La bibliothèque Henry Miller Memorial Library est à la fois le cœur et l'âme culturelle de Big Sur. Nommée en hommage à l'écrivain américain célèbre qui vécut à Big Sur entre 1944 et 1964, cette bibliothèque se décrit comme un endroit où jamais rien ne se passe. En effet, les mois d'hiver, c'est un endroit tranquille où vous pouvez vous reposer, boire du café et parcourir la vaste collection de livres de l'auteur, y compris des œuvres importantes comme Tropique du Cancer, Sexus et (bien sûr), Big Sur et les oranges de Jérôme Bosch, lettre d'amour de Miller à la région. On peut également voir des tirages de certains de ses arts visuels - il a peint des aquarelles - ainsi que des œuvres d'artistes locaux qui sont exposés.
De mai à octobre, cependant, une foule d'événements y est organisée. le festival annuel du court-métrage de Big Sur (Big Sur International Short Film Screening Series) est un festival en plein air qui se déroule les jeudis soirs sur une période de 13 semaines, de juin à août, dans la petite cabane côtière du domaine. Et si la musique vous attire plus que le cinéma, vous avez de la chance ! Le live de la Henry Miller Libraryseries présente une grande variété d'artistes, des actes acoustiques intimes qui se produisent à l'intérieur de la bibliothèque, aux tirages de plus grands noms - les Red Hot Chili Peppers et les Pixies, pour n'en nommer que quelques-uns - jouent pour 300 spectateurs chanceux dans un bosquet de séquoias luxuriants à côté de la bibliothèque.