A propos du père Cestac, j'ai trouvé il y a quelques mois, un peu par hasard il faut bien le dire, quelques traces de ce saint prêtre dans un carton des Archives Nationales, qui me semblent relativement intéressantes dans la mesure où elles nous montrent comment un ecclésiastique hors du commun pouvait être perçu par l'administration concordataire. Toutes les lettres dont je cite quelques extraits sont contenues dans le carton F19 2821 des Archives Nationales, conservé au site de Pierrefitte-sur-Seine.

1. Lettre de l'abbé Cestac, chanoine de la cathédrale de Bayonne, à son évêque, du 5 juin 1858

L’œuvre que la bonté divine a daigné me confier, prenant chaque jour de nouveaux accroissements, réclame désormais tout mon temps et m’impose impérieusement l’accomplissement d’un devoir sacré. C’est de me démettre du canonicat dont Votre Grandeur avait daigné m’honorer.
Ce devoir je viens l’accomplir aujourd’hui en remettant entre vos mains, Monseigneur, ma démission de chanoine titulaire de la cathédrale de Bayonne.
Ce sera, sans doute, un secours de moins pour les pauvres si nombreux dont nous sommes chargés, mais la T.S. Vierge que nous aimons comme notre mère et que nous honorons comme notre souveraine maîtresse daignera, nous en avons la ferme confiance, remplir ce vide et suppléer par d’autres moyens à ce qui pourrait nous manquer. C’est sur elle que nous avons toujours compté et jamais nous n’avons été trompés dans notre espérance. [...]
J’espère que cette démarche attirera sur une œuvre qui vous est si chère, la bénédiction du Ciel, et que bénie de notre divin Sauveur et sa T.S. Mère cette œuvre donnera de nouvelles consolations à votre cœur paternel.

2. Lettre de l'évêque de Bayonne du 9 décembre 1849

Il [l'abbé Cestac, vicaire de la cathédrale] s’est constamment distingué par ses talents, par une haute piété, une grande modestie et surtout par son zèle à soigner les pauvres et à exercer la charité. Il est fondateur et directeur d’un établissement d’orphelins et d’une maison de refuge pour les filles repenties.

3. Lettre du préfet des Basses-Pyrénées du 30 décembre 1849 à l'occasion de la nomination de Louis-Edouard Cestac à un canonicat de la cathédrale de Bayonne

M. l’abbé Cestac est un prêtre distingué par les talents et les vertus. Il est très bien vu de la population et il est grand ami des pauvres.