Une charreterie pour construire notre maison ???

Entre notre future maison et le chemin il reste 1m71, notre constructeur maison nous informe qu'il a besoin d'un courrier de notre part disant que nous voulons construire une charreterie...Il ne peut obtenir le permis de construire sinon...(il dit qu'il doit y avoir trois mètres). Ne serons nous pas obligés de la construire ? Il nous dit que non, sauf si nous désirons vendre la maison dans les dix ans...