Bien que situé dans le territoire de la cité et du comté de Béziers, Vendémian est intégré, au XIIe s., dans l’espace politique des seigneurs de Montpellier : les Guilhem.

Le village n’est alors qu’un « château », un point fort contrôlant l’une des traversées du causse au carrefour d’une voie reliant Pézenas à Aumelas et Montpellier. De cette époque ne subsiste que la base de l’actuel clocher.
La tour primitive surmontait et protégeait en fait une porte monumentale permettant de pénétrer à l’intérieur de l’enclos seigneurial.

Jusqu’au milieu du XIVe s. les populations paysannes se sont installées à proximité de ce noyau fortifié. Des lotissements ont organisé un espace d’environ 0,3ha densément bâti aux abords de la tour.