Le périmètre du bâtiment est inclus dans l’enclos de la cité médiévale de Montferrand, et probablement dans l’enceinte castrale du premier château comtal du XI^e siècle.

Cet emplacement, au XVI^e siècle, est encore dénommé « Palais Vieux » et abrite la Cour des Aides d’Auvergne, du Limousin et de la Marche, soit la plus importante juridiction civile du Massif Central.

Aux XVII^e et XVIII^e siècles, l’ordre des soeurs de Sainte Ursule y installe un couvent et édifie une chapelle, laquelle est consacrée en 1702. A la Révolution française, les Ursulines sont chassées et leur couvent requis comme Bien National. Après le Concordat de 1801, l’Evêché transforme le bâtiment en Grand Séminaire, jusqu’en 1905. Au XX^e siècle, le vaste ensemble ecclésiastique devient Hôpital militaire pendant la Première Guerre mondiale ; puis, propriété du Ministère des armées, il devient la Caserne Battesti jusqu’en 1984. Lorsque les militaires quittent le site, devenu vétuste, pour des locaux plus fonctionnels, l’ancien ensemble conventuel est acheté par la Ville de Clermont-Ferrand, qui décide d’aménager un nouvel espace muséographique pour transférer ses collections d’art, jusqu’alors conservées au musée Bargoin.