L’histoire de l’église de La Goulette commence en janvier 1848 lorsque, par l’entremise de Joseph Raffo, le bey accorde un terrain à Monseigneur Sutter, archevêque de Tunis, pour qu’il puisse y construire un lieu de culte.
Ce terrain qui se trouve à l’intérieur de la ville verra le 19 mai 1848 la pose de la première pierre de l’église.
Celle-ci ne sera complètement édifiée qu’en 1879. A l’époque, cinq prêtres s’étaient succédé à la tête de la paroisse qui englobait alors Carthage et le Kram.
Le plus fameux d’entre eux est demeuré le père Vincent qui compléta les travaux, procéda à la construction du clocher et installa les cloches de l’église.
Ce capucin quittera La Goulette en 1891 et sera remplacé par l’abbé Leynaud qui restera dix ans à la tête de la paroisse et à qui l’on doit les statues de Saint-Antoine, Saint-Vincent de Paul et Saint-François d’Assise. On lui doit aussi l’autel de la vierge de Trapani.Viendra ensuite le fameux abbé Xavier Saliba demeuré dans la mémoire des sportifs comme le fondateur de la Jeanne d’Arc, une équipe de foot qui attira beaucoup de jeunes. Très vite, la Jeanne d’Arc aura un club de gymnastique et une clique de cinquante musiciens.
L’abbé Saliba conduira la paroisse pendant 38 ans, de 1901 à 1939. C’est de son époque que date la fameuse procession de la vierge de Trapani.
Cette procession de Notre-Dame de Trapani quittait l’église vers le port pour bénir les bateaux des pêcheurs. Une foule se formait à sa suite et comprenait de nombreux musulmans qui eux-aussi cherchaient la bénédiction de la madone.
A la mort de l’abbé Saliba, c’est l’abbé Bédu qui lui succédera. Ensuite, la vie de cette église sera marquée par la présence des Augustiniens. C’est depuis cette époque que l’église porte le double nom de Saint-Fidèle et Saint-Augustin.
En effet, Fidèle était le prénom de Monseigneur Sutter, fondateur de cette église. On lui ajouta Saint-Augustin comme co-titulaire en 1954, après la célébration du seizième centenaire de la naissance de Saint-Augustin.A l’époque, Sainte-Rita commencera à être célébrée à La Goulette. Une famille de Tunis, les Merciera, offrirent en 1952 une statue de Sainte-Rita et, depuis, des milliers de fidèles se sont pressés à ses pieds pour lui demander des guérisons miraculeuses.
Née en Ombrie, célébrée à Malte et en Italie, Sainte-Rita est nommée la sainte de l’impossible et pare de ferveur la paroisse goulettoise.
Ainsi va la vie de cette paroisse qui fut confirmée dans son rôle, avec à sa tête les ermites de Saint-Augustin dont le dernier rendit l’âme à l’hôpital de Sidi Daoud.
Aujourd’hui, cette église est sous la houlette des Lazaristes après avoir été dirigée par des religieux salésiens.
Avec le père Narcisse et le père Eric, Lazaristes, quatre soeurs de Mère Térésa continuent à faire vivre cette petite église de La Goulette.