Pierre-André Hèbre de Saint-Clément acquiert l'hôtel particulier en 1758.

1805 : Acheté par la ville en 1805, le bâtiment est restructuré pour s'adapter à ses nouvelles fonctions éducatives et culturelles.

C'est sous l'impulsion du maire Eugène Roy-Bry que l'hôtel devient un musée en 1860. Une quarantaine de toiles et une centaine de dessins cédés par le collectionneur Alexandre Fiocchi sont exposés au public.

La bibliothèque de la ville y est installée en 1864 (elle est transférée en 1988 à la corderie).

Entre 2002 et 2006, le bâtiment est à nouveau restructuré, accueillant désormais les collections dans un cadre moderne et ouvert.

Au rez de chaussée, le Centre d'interprétation de l'architecture et du patrimoine permet de découvrir l'histoire et l'évolution de cette ville-arsenal.