Le collège des Oratoriens, situé sur le quai Henri IV, a été bâti à l’emplacement de l’ancienne maison de l’armateur dieppois Jehan Ango "La Pensée" en 1614.
Suite à la Grande Bombarderie, attaque anglo-hollandaise, qui a eu pour conséquence la destruction du centre-ville de Dieppe en 1694, dont le collège. Au début du 18e siècle, est érigé le nouvel édifice en briques et pierres de taille, en trois parties, entourant une cour rectangulaire.
Le collège des Oratoriens a une fonction d’éducation, jusqu’à la Révolution, où le bâtiment est réquisitionné, avant de retrouver sa fonction première d’enseignement, en devenant tour à tour un collège public, puis un lycée. Suite à l’incendie de 1938, une école est construite en 1959 sur les hauteurs de Dieppe.
Aujourd’hui, une partie du bâtiment est occupée par l’école maternelle, dont la cantine, se trouve dans l’ancienne chapelle. L’autre partie est occupée par des appartements.
