Les Tourelles sont le dernier vestige des sept portes de la muraille qui entoure Dieppe. Cette porte s’est appelée Porte du Port d’Ouest puis Tour Jumelle avant d’être les Tourelles que nous connaissons aujourd’hui. Elle fait partie des cinq portes qui font face à la mer lors de la construction de la muraille au 14e siècle. Le but de cet ouvrage défensif est de protéger Dieppe des attaques anglaises et flamandes lors de la Guerre de Cent Ans (1337-1453). Le but de ces portes est alors de permettre le ravitaillement de Dieppe, et le passage contrôlé des individus par voie terrestre et maritime.
À la fin du 18e siècle, la muraille inusitée tombe peu à peu en ruine jusqu’à sa destruction en 1837 pour la construction de l’actuel boulevard de Verdun. La reconversion de la tour en prison jusqu’au 19e siècle la préserve de la destruction. Depuis 1886, les Tourelles sont classées Monuments Historiques.