Opposition du voisinage

Bonjour,
le gendre d'une voisine et peut-être une autre voisine... s'opposent verbalement pour le moment eu fait que je prévoit un étage dans une construction. le permis vient d'être déposé, les règles d'urbanisme sont respectées, l'archi de la ville sera entendu, et verra le projet, je respecterai le délai de recours aux tiers, je ferai constater par huissier la pose du panneau travaux etc.. je ne devrai pas avoir de soucis pour obtenir mon permis!
Jusqu'où un voisin peut aller, sans entrainer pour moi des frais d'avocat (juste pour préjudice, ombre portée qu'il ne peut justifier!) pour arrêter la construction???
Par avnce merci de votre réponse