La chapelle se situe dans le pavillon central du l’hôpital donnant sur la route des Falaises. Le pavillon est couvert d'un dôme surmontéd'un lanternon fortement ajouré, surmonté lui-même d'une croix. L'intérieur présente un décor de pilastres cannelés et une coupole enduite sur charpente
Les bâtiments actuels de l’hospice Saint-Jacques sont reconstruits entre 1781 et 1785. L'édifice est inauguré en grande pompe le 27 septembre 1785.
L’hôpital Saint-Jacques est l'héritage d'une fondation ancienne. Au XIIIe siècle l'hospice Saint-Jacques est une halte accueillant les pèlerins en dehors de la ville sur la route de Compostelle. Au XVIIe siècle, on y rattache les maladeries de Pont-Saint-Pierre, Gamache-en-Vexin et les Andelys. A la fin du XVIIIe siècle, le duc de Penthièvre, petit-fils du roi Louis XIV, devenu seigneur des Andelys fait reconstruire l'hospice, qui était fortement délabré, d'après les plans de l'architecte Gambier. L'ancien édifice est détruit en 1781 et l'inauguration du nouvel hôpital a lieu en 1785. Aujourd'hui l'hôpital Saint-Jacques est un établissement public de santé accueillant plus particulièrement des personnes âgées.