In 1951 schonk de familie Fentener van Vlissingen (van de Steenkolenhandelsvereniging SVH) het pand Maliebaan 42 aan de gemeente Utrecht. Voorwaarde was dat de stadsvilla voor het publiek toegankelijk zou worden en een culturele bestemming zou krijgen. Besloten werd er een dependance van het Centraal Museum te vestigen, en wel voor de afdeling Moderne Kunst, "hetgeen een uitkomst betekent uit het ruimtegebrek", aldus het jaarverslag 1951.

In 1985 werd de museale bestemming van het pand aan de Maliebaan beëindigd. Met de tentoonstelling "Van de Kelder tot de Zolder" werd afscheid genomen, een expositie, waarin een gedetailleerd beeld werd gegeven van het leven van een rijke koopmansfamilie eind 19de, begin 20ste eeuw. In zijn laatste jaar trok het 'Fentener van Vlissingenhuis' bijna 30.000 bezoekers, ongeveer eenderde deel van het totaal aantal bezoekers van het Centraal Museum

Direct na de tentoonstelling werd een begin gemaakt met de ontruiming van het pand om plaats te maken voor de Utrechtse gemeentelijke Kunstuitleen.