Lambertus Hendrikus van Baaren (1888-1964) was aannemer, later vooral makelaar en taxateur. Hij vergaarde zijn fortuin door de aankoop van onroerende goederen. Samen met zijn zus Josephina Francisca (1890-1959) bewoonde hij het pand 'De drie regenbogen' aan de Oude Gracht 317 in Utrecht. In het begin van de jaren 30 begonnen broer en zus, die beiden ongehuwd zijn gebleven, met het aanleggen van een verzameling van kunstvoorwerpen: schilderijen, porselein, zilver en enkele meubelen. Zij kochten voornamelijk Franse schilderkunst uit de periode 1850-1950 en Nederlandse schilder- en beeldhouwkunst uit dezelfde tijd. De collectie weerspiegelt de gevestigde Nederlandse smaak van de tijd waarin ze ontstond. Pas toen broer en zus in de jaren ’50 besloten dat de collectie na hun overlijden bijeen moest blijven, voerden ze een inhaalslag uit om moderner werk toe te voegen.

Na het overlijden van Lambertus werd het woonhuis aan de Oude Gracht verbouwd tot het Museum Van Baaren, waarbij de oude sfeer zoveel mogelijk werd gehandhaafd. In januari 1966 werd het museum voor het publiek opengesteld.

Van 20 mei tot en met 15 september 1976 waren in het Centraal Museum 150 schilderijen en tekeningen uit de collectie te bezichtigen, dit naar aanleiding van het voornemen om de hele collectie als bruikleen onder te brengen in het Centraal Museum. Dat gebeurde uiteindelijk in 1980.