La Tour aux crabes fait partie de la muraille défensive, qui protège l’accès au chenal, menant au port au 15e siècle. Haute de 11 mètres et large de 9 mètres, la tour comprend également un épais mur de silex et de briques. Si à l’origine, la tour prend le nom de Tour du Pollet, dû au quartier où elle se situe, elle est désormais surnommée aux Crabes, à cause des crustacés, qui s’accrochent à sa base à marée basse, la tour ayant les pieds dans l’eau.
Si la tour a été démantelée en 1841, le mur demeure encore aujourd’hui. En 2000 y a été apposé une plaque commémorant le retour d’exil de Louise Michel en 1880 à Dieppe. Héroïne de la Commune de Paris, elle a passé sept ans exilée en Nouvelle-Calédonie.