Des travaux considérables sont entrepris de 1850 à 1856 pour fortifier le château.
Vauban avait fait une erreur en construisant celui-ci trop en retrait par rapport à la ville, l’ennemi pouvant passer entre les deux sans qu’on le voit, ni d’en haut, ni d’en bas.
Villefranche de Conflent, vue du Fort Libéria
Toujours obnubilé par le possible retour des Espagnols, Napoléon III plaque trois ouvrages mi-bastions, mi-tours carrées côté vallée Mont Louis , Vernet les Bains et Prades qui serviront de canonnières avec feux croisés. L’entrée du château sera transférée au nord-est de celui-ci protégée par une tour ronde, se dérobant ainsi aux feux d’Ambulla.
Un canon d’une portée de 4 Km
Mais surtout il fera construire le fameux souterrain dit « des milles marches ».
Vauban avait déjà envisagé de percer ce souterrain.