L’Hôtel d’Anvers a été érigé en 1697 , suite à la destruction de Dieppe par la Grande Bombarderie, attaque anglo-hollandaise qui a provoqué la quasi destruction de la ville.
Son architecture classique est représentative du style Ventabren, architecte missionné par Louis XIV à la reconstruction de Dieppe : les boutiques sont situées au rez-de-chaussée et à l’entresol tous deux en arcades, surmontées de deux étages d’habitations. La façade se caractérise par sa symétrie, les références à l’architecture antique propre au style classique : fronton triangulaire et des pilastres, qui relient les étages qui rappellent ceux des temples grecs. On suppose que l’Hôtel d’Anvers appartenait à un riche négociant, qui vivait dans l’hôtel particulier, et qui entreposait ses marchandises dans les bâtiments sur cour.
Au début du 20e siècle, les colonnes qui soutiennent les balcons ont été ajoutées lors de la réhabilitation de l’édifice. Cet ajout fait écho à la toile peinte par William Turner en 1826, lors de son séjour à Dieppe, sur laquelle il a ajouté des colonnes de chaque côté du porche de l’Hôtel d’Anvers. Autre intérêt architectural : la frise représentant une vue d’Anvers réalisée au 17e siècle située dans le passage couvert donnant sur la cour.
En 1991, l’Hôtel d’Anvers et sa frise sont inscrits à l’inventaire supplémentaire des monuments historiques.