L'ancien Palais Episcopal
A la suite de la prise de la ville par les protestants en 1573, la cité épiscopale est en grande partie dévastée : la cathédrale est partiellement saccagée, l'abbaye Saint-Sauveur et le palais épiscopal sont détruits. Après la restauration de la cathédrale par l'évêque Plantavit de la Pause en 1627, celui-ci fait construire une résidence à la sortie de la ville : Prémerlet. Mais à partir de 1667, Mgr de Harlay entreprend, d'après les plans de l'architecture Nicolas Desbièvres, connu à Pézenas à la fin du XVIIe siècle, la construction d'un nouveau palais à proximité de l'ancienne demeure des évêques, sur l'emplacement du rempart ouest de la cité épiscopale. Il est d'ailleurs possible que les matériaux utilisés pour la construction soient issus de récupérations des ruines des remparts, canourgues et de l'ancien palais. Les plans dressés en 1736 par Darles de Chambertin permettent d'appréhender l'organisation de l'édifice sous l'Ancien Régime. Le corps principal du bâtiment est achevé sous l'épiscopat de Georges de Souillac (évêque de Lodève de 1732 à 1750). En 1779, Henri de Fumel (évêque de 1750 à 1790) y adjoint une aile en retour afin d'y installer la bibliothèque diocésaine, ce qui donne à l'édifice son plan actuel en « L ». Après 1791, plus aucun évêque ne réside à Lodève. Depuis 1809, l'édifice est le siège de l'Hôtel de Ville.