Aus dem beschaulichen Nest Cambridge kommt Edie Sedgwick (Sienna Miller) in das pulsierende New York der 60er-Jahre. Dort trifft sie Andy Warhol (Guy Pearce), der von ihrem Charisma fasziniert ist. Edie wird zu Warhols Muse, und gemeinsam werden sie zu den Stars der New Yorker Kunstszene. Für beide gibt es scheinbar keine Grenzen mehr. Eine stillgelegte Hutfabrik verwandelt Warhol in seine Factory, einen rauschenden Lust- und Kunsttempel, dem Sinnbild für das ungezügelte Leben in den 60er-Jahren. Kunst, Drogen und freie Liebe prägen hier den Alltag, und mittendrin ist Edie, Warhols "Poor little rich girl". Scheinbar an der Spitze angelangt, verliebt sie sich in einen angesagten Rockstar (Hayden Christensen). Hin- und hergerissen zwischen Warhol und ihrer neuen Liebe wird Edie schließlich von beiden fallen gelassen.