L’œuvre que la bonté divine a daigné me confier, prenant chaque jour de nouveaux accroissements, réclame désormais tout mon temps et m’impose impérieusement l’accomplissement d’un devoir sacré. C’est de me démettre du canonicat dont Votre Grandeur avait daigné m’honorer.
Ce devoir je viens l’accomplir aujourd’hui en remettant entre vos mains, Monseigneur, ma démission de chanoine titulaire de la cathédrale de Bayonne.
Ce sera, sans doute, un secours de moins pour les pauvres si nombreux dont nous sommes chargés, mais la T.S. Vierge que nous aimons comme notre mère et que nous honorons comme notre souveraine maîtresse daignera, nous en avons la ferme confiance, remplir ce vide et suppléer par d’autres moyens à ce qui pourrait nous manquer. C’est sur elle que nous avons toujours compté et jamais nous n’avons été trompés dans notre espérance. [...]
J’espère que cette démarche attirera sur une œuvre qui vous est si chère, la bénédiction du Ciel, et que bénie de notre divin Sauveur et sa T.S. Mère cette œuvre donnera de nouvelles consolations à votre cœur paternel.
Il [l'abbé Cestac, vicaire de la cathédrale] s’est constamment distingué par ses talents, par une haute piété, une grande modestie et surtout par son zèle à soigner les pauvres et à exercer la charité. Il est fondateur et directeur d’un établissement d’orphelins et d’une maison de refuge pour les filles repenties.
M. l’abbé Cestac est un prêtre distingué par les talents et les vertus. Il est très bien vu de la population et il est grand ami des pauvres.