Dès 1797, en vain, François Cacault, diplomate en Italie, fait connaître au gouverneur français son vœu de voir fonder, dans chaque département, une collection d’œuvres d’art.
C’est à Clisson, où il a choisi de s’établir, que François concrétise son rêve : créer un « musée-école ».
Clisson possède alors la plus riche collection de tableaux qui existe hors de Paris. Les inventaires dressés en 1808 font apparaître « 1155 peintures, 64 sculptures et 134 recueils d’estampes ». Destinée à servir de modèle et d’exemple pour les élèves et le public, la collection Cacault propose un panorama relativement complet de l’art occidental (grande variété de peintures du XIII au XIX è s., de sculptures).
Construits entre 1799 et 1804, les bâtiments abritant le musée se trouvaient à coté de l’ancien presbytère de la Madeleine qui servait d’habitation aux frères Cacault. L’édifice adoptait le style italien et le parti des grandes galeries organisés autour d’une cour carrée. De larges baies au sommet des murs en vis-à-vis éclairaient largement les salons et galeries.
Dans un soucis pédagogique, les collections étaient présentées par genres, selon un parcours didactique : paysages, scènes de genre, batailles, portraits, sujets historiques et religieux, sculptures…
La visite du musée fut possible jusqu’en 1807. François mourut en 1805. Pierre, après avoir vainement cherché des solutions pour maintenir la collection à Clisson, fut contraint d’en négocier la vente à la ville de Nantes en 1810. Elle constitue aujourd’hui un fond d’art ancien très important pour le Musée des Beaux-Arts de Nantes.