Fundada per l’escriptor i polític català Víctor Balaguer i Cirera, aquesta biblioteca museu es va inaugurar el 26 d’octubre del 1884. És un dels primers edificis a Catalunya construïts de nova planta amb la finalitat específica de mostrar col·leccions al públic i facilitar l’accés a la cultura.
L’estructura arquitectònica inicial estava formada per dues ales simètriques: una destinada a biblioteca i l’altra, a museu. Tot i les ampliacions successives que han fet créixer l’espai expositiu i modificat la planta, la façana encara conserva l’aspecte d’un temple ornamentat amb diversos elements decoratius d’inspiració egípcia i grega.
La col·lecció original estava formada pel conjunt de llibres i objectes artístics que el fundador havia aplegat al llarg de la seva vida, juntament amb nombroses donacions que van fer créixer el fons des del primer moment. A la planta baixa es troba la biblioteca històrica i les sales on s’exhibeixen les col·leccions que van ingressar en vida de Balaguer, i al primer pis s’exposen els llegats artístics que van arribar a la ciutat de Vilanova i la Geltrú en el transcurs del segle xx.