Après la mort de Pierre en 1810, le projet aurait été repris par Lemot qui pense placer les deux frères Cacault dans le mausolée.
Le projet du temple est confié à Mathurin Crucy. Il s’établit un premier plan : s’inspirant des temples grecs, l’architecte propose, en 1811, un temple périptère d’ordre dorique sans base, avec 6 colonnes en façade surmontées d’un fronton. Lemot simplifie le plan, retenant une « cella » et 4 colonnes doriques surmontées d’un fronton triangulaire en façade. Ce choix rappelle le Temple de la Sybille à Tivoli et se retrouve dans d’autres monuments contemporains (Temple de l’Amitié à Betz, monument commémoratif des victimes de Quiberon à Auray).
Le Temple est édifié, entre 1812 et 1825, sur les fondations de l’ancienne église paroissiale de St Gilles. Le transept est ajouté après 1844 à l’image des deux bras de croix à l’ancienne église romane.
Ce temple devait recevoir les tombeaux des Cacault. Antoine Peccot (1766-1814), ami de Crucy, des Cacault et de Lemot, avait proposé, avant 1814, que soit inscrite une dédicace « vis à vis »le tombeau des Messieurs Cacault ». Le poème invitait le passant à se souvenir des « talents »,des « vertus » et des « prodigues bienfaits » de ces deux frères. L’inscription ne fut jamais gravée. D’ailleurs, la famille des Cacault s’opposa au transfert des cendres de Pierre et François dans le Temple. Ceux-ci seraient inhumés à Nantes. C’est finalement Lemot lui-même qui y est enterré en 1827 (ainsi que certains membres de sa famille).
Ce Temple, classé Monument Historique, est propriété du Conseil Général. Il a fait l’objet, en 1995, d’une restauration.