Sous Henri II Plantagenêt, Roi d'Angleterre et Duc de Normandie, une seconde campagne de travaux est entamée.

Une vaste enceinte, longue de plus de 800 mètres et protégée par huit tours, enveloppe le donjon central. Ces dernières présentent une grande diversité et des innovations architecturales majeures : tour quadrangulaire à bec, tour en u, tour circulaire à plusieurs niveaux d'archères.

La ville de Gisors fut encerclée successivement par deux enceintes urbaines. C'est Henri II Plantagenêt qui érige la première qui suit parfaitement le cours de l'Epte. La rivière sert de douves naturelles, mais aussi de frontière entre le royaume anglo-normand et français. La muraille enveloppait le centre historique, alors percé de quelques venelles étroites. Il n'en subsiste qu'une tour et quelques pans de murs accolés à la Tour du Prisonnier.

Lors de la Guerre de Cent Ans, après un siège de 3 semaines, le château et la ville sont pris par les Anglais, tout comme l'ensemble de la Normandie de 1419 à 1449. De retour dans le giron français, la forteresse fait l'objet de nombreux remaniements. Les bâtiments royaux et les communs sont restaurés mais les travaux les plus importants concernent l'adaptation de la forteresse aux progrès de l'artillerie. La construction d'une fausse braie avec des remparts de terre, l'intégration d'un bastion avec casemates et souterrain, l'aménagement d'une galerie couverte aux pieds des remparts et l'arasement des anciens remparts.

C'est à cette époque qu'intervient la construction de la deuxième enceinte urbaine. La ville s'étend vers l'est, au delà de la rivière, autrefois frontière. Quelques vestiges de cette deuxième enceinte sont encore visibles rue du Filoir.

Avec la fin des Guerres de religion, en 1599, le château est déclassé des sites militaires français. En effet, non seulement il n'a plus d'intérêt stratégique, mais il peut même s'avérer dangeureux et servir dans les temps troublés de place forte à toutes sortes d'insurgés et de contestataires. La majorité des communs est détruite. Un certain nombre de bâtiments est reconverti en cachots, comme la tour de Philippe Auguste. Dans cette tour, des graffitis et des bas-reliefs sont réalisés par des prisonniers au cours des 16e-18e siècles. A la Révolution française, le château devient bien communal.