Rénovation toiture et bâtiment de france

Bonjour,
je dois effectuer la rénovation de ma toiture,
ma maison se situe dans une zone classée.
Les travaux comportent le remplacement d'une fenêtre de toit.
J'ai reçu un avis favorable de la mairie ainsi que des bâtiment de France sous réserve de déplacer ou de supprimer la fenêtre de toit existant, celui-ci étant "visible" depuis un gr ainsi que le chemin de saint jacques.
Suis je vraiment obligé de respecter cet avis sachant que cette fenêtre existe déjà ?
Que dit la législation à ce sujet ?
Merci