Le territoire de cette ville est occupé par un grand nombre de vestiges et de débris appartenant à l'époque gallo-romaine.
Au VIIIe siècle, la bourgade antique des bords de la Risle était appelée Deux-Ponts. Quant au nom de Pont-Audemer, il ne s'offre authentiquement pour la première fois, que dans une charte de 1027, donnée par Richard Il, duc de Normandie, en faveur de l'abbaye de Fécamp.
Après l'établissement des Normands, Pont-Audemer devint le domaine d'une famille qui joua un rôle important dans l'histoire de Normandie. Le premier personnage que l'on connaisse, se nommait Torf ; il eut pour successeur son fils aîné, Touroude, père d'Onfrei, surnommé de Vieilles, qui hérita de cette seigneurie.
Onfroi fonda l'abbaye de Saint-Pierre-des-Préaux, qui a conservé des droits sur la ville, jusqu'à la Révolution.
Les successeurs de ce seigneur, Roger de Beaumont, Robert et Galeran1, se rendirent célèbres à différents titres. La ville fut fortifiée ainsi que le château, dont la position, sur le promontoire de Long-Val, lui permettait de surveiller le pont principal et le passage de la Risle.
Pont-Audemer n'eut pas trop à se plaindre des premières guerres normandes, mais, en 1122, la révolte de Galeran de Meulan, contre Henri Ier, roi d'Angleterre, devait lui être funeste.
De Montfort, Henri Ier s'y porta avec son armée, brûla d'abord la ville, qui était très-grande et fort riche, et attaqua vivement le château, qui tint pendant sept semaines. Quand elle eut capitulé, les assiégeants la brûlèrent et firent un grand butin. S'il faut en croire Simon de Durham, Galeran, dans un retour offensif, incendia la ville, que les habitants commençaient à relever de ses ruines.
Selon toute apparence, ce fut Henri Ier, resté en possession de Pont-Audemer jusqu'en 1135, qui restaura la forteresse et entoura la ville de remparts.
Galeran, remis en possession de ce domaine après la mort du roi, dirigea une attaque contre le château de Montfort-sur-Risle, en 1153. Mais Galeran et ses vassaux, vigoureusement reçus, furent obligés de prendre la fuite.
En 1160, Henri II, sous prétexte de se prémunir contre le roi de France, s'empara de toutes les forteresses de Galeran, et y mit garnison. Mais Galeran ne tarda pas à recouvrer ses domaines.
Robert, fils aîné de Galeran, par suite de ses alliances avec la France, fut dépouillé, comme son père, par Henri II, et enfin par Richard Cœur de Lion, qui réunit toutes les possessions de ce seigneur au domaine ducal.
A l'avènement de Jean sans Terre, Robert fut remis en possession de son domaine, mais le nouveau roi s'en saisit à son tour, et les revenus en furent portés, en 1203, au rôle de l'échiquier de la province.
L'année suivante, Philippe-Auguste s'empara de Pont-Audemer, et confisqua, d'une manière définitive, le domaine de Robert de Meulan.
Pendant le reste du XIIIe siècle, il n'est plus guère fait mention de Pont-Audemer qu'à l'occasion des voyages du roi saint Louis ( 26 mars 1255, mars 1256, juillet 1269 ), et de réunions de conciles, notamment sous l'épiscopat d'Eudes Rigaud.
Dans la première moitié du XIVe siècle, les États de la province y furent plusieurs fois rassemblés ( 1337, 1347, 1350 ).
Le 22 février 1353, le roi Jean concéda à Charles le Mauvais, roi de Navarre et comte d'Évreux, des domaines étendus, en Normandie, parmi lesquels se trouva compris Pont-Audemer.
Cette concession fut l'occasion d'une longue lutte en Normandie, pendant laquelle Pont-Audemer fut, à diverses reprises, envahi et ravagé par les troupes des deux partis.
Du Guesclin ruina la forteresse qui ne fut jamais rétablie.
Pris par les Anglais, avant la fin de l'année 1417, repris par les Français, le 8 août 1447, Pont-Audemer obtint, de Charles VII, le 5 septembre de la même année, une exemption d'impôt de six ans, pour lui permettre de reconstruire ses maisons.
En 1550, Henri II, en échange des droits de Madeleine d'Annebaut, sur le marquisat de Saluces, en Italie, abandonna à cette dame la forêt de Montfort et la vicomté de Pont-Audemer, avec tous les offices qui en dépendaient. Mais, bien que cette ville, à certains égards et par suite de cet échange, se trouvât dans la dépendance de seigneurs particuliers, elle n'en conserva pas moins sa situation de ville royale.
Les guerres de religion causèrent de nombreux désastres à Pont-Audemer. Au mois de mai 1562, la ville tomba au pouvoir des protestants : le 16 juillet, elle fut reprise par le duc d'Aumale, dont les soldats emportèrent jusqu'à « la bucherie, les coffres, les serrures, tourouils et gonds des portes, ne laissant que les parois à toutes les maisons ».
Au commencement de mai 1589, Pont-Audemer se rangea au parti de la Ligue. Replacée, en juin, sous l'autorité royale, la ville paya une rançon de 1 250 écus, pour éviter le pillage. Le 21 novembre, le duc d'Aumale la reprend pour la Ligue, lui impose une taxe de 4 159 écus, et fait emprisonner les principaux officiers et bourgeois, pour en hâter le payement.
Le 21 janvier 1590, la ville, assiégée, se rend à Henri IV. Deux ans plus tard, son gouverneur la livre par trahison au duc de Mayenne, qui massacre une partie des habitants et ruine le reste. Enfin, en 1594, elle reconnaît volontairement Henri IV pour roi de France, mais on lui laisse le gouverneur qui l'avait trahie.
la Fronde, cette ville fut encore attaquée deux fois.
En 1773, Pont-Audemer, ayant été donné à Clément de Basville, avocat général à la cour des aides de Paris, en échange de sa terre de Montgommery, celui-ci voulut faire de ce domaine un fief supérieur, et ses prétentions ameutèrent contre lui la noblesse et la bourgeoisie. « Ce fut un chaos de procédures acharnées. » Un arrêt du conseil du roi, décida que le sieur de Basville n'aurait d'autre droits que ceux qui pouvaient être admis par la coutume.
Pont-Audemer a été une ville maritime importante, et c'est grâce à elle que Roger de Beaumont put fournir soixante navires à Guillaume, au moment de la conquête d'Angleterre.
A la fin du XVe siècle, la tannerie et la draperie étalent très-florissantes dans cette cité.
Pont-Audemer a possédé plusieurs établissements religieux : 1° la chapelle de l'Ermitage ; 2° la chapelle de l'ancienne Forteresse ; 3° le prieuré de la Madeleine, fondé au XIe siècle ; 4° le prieuré des lépreux Saint-Gilles, doté par Galeran; 5° l'hôpital Saint-Jean ; 6° les Templiers ; 7° le couvent des carmes, fondé au XIVe siècle ; 8° le couvent des Cordeliers, fondé en 1471 ; 9° le couvent des carmélites, datant de 1641 ; 10° le couvent des Ursulines, dont l'établissement fut approuvé en 1671.
Les églises de Pont-Audemer étaient au nombre de quatre : celle de Saint-Aignan est détruite ; celle de Notre-Dame-du-Pré ne possède plus que la nef ; celle de Saint-Germain appartient au territoire de la commune de Saint-Germain-Village. Quant à l'église actuelle de Saint-Ouen, qui est fort belle, on en fait remonter l'origine au XIe siècle. Les vitraux sont classés parmi les plus beaux qui existent en Normandie.
Cette ville, qui a été le siége d'une élection, d'un bailliage, d'une vicomté, d'une justice royale et d'une maîtrise des eaux et forêts, avait de fortes murailles et quatre portes. Anciennement, « il existait, autour d'elle, mille châteaux forts ( mille pour un grand nombre ), qui ne pouvaient être pris qu'avec du canon, et dont chacun était peuplé de mille voleurs qui coloraient leurs brigandages de prétextes politiques. » ( Résumé extrait de l'ouvrage de M. Le Prevost. )
Pont-Audemer occupe une situation pittoresque entre deux collines boisées. La Risle, qui le baigne, est navigable sur un parcours de 19 kilomètres, à partir de cette ville jusqu'à la Seine. Il s'y fait un commerce maritime assez important, l'industrie y est représentée par de belles tanneries, hongroyeries et mégisseries ; on y trouve également des fabriques de colle-forte, une filature de lin et de coton, des éperonneries, des papeteries, un laminoir de zinc, des selleries, des moulins à blé, etc.
Pont-Audemer renferme, comme institution publiques ou particulières, plusieurs écoles de garçons et de filles, avec pensionnats, une salle d'asile, un petits séminaire, une bibliothèque, composée de plus de 4 000 volumes, une Société de secours mutuels, une caisse d'épargne, un hospice, une section de la ligue d'enseignement, une compagnie de sapeurs-pompiers, une musique, des imprimeries et lithographies, des librairies, un journal d'annonces légales, un télégraphe, etc., etc.
Les foires et les marchés de Pont-Audemer, sont excellents. Le commerce est très-développé. Service de bateaux à vapeur pour le Havre, chemin de fer.
