Cet hôtel construit au 18e siècle appartenait, à la veille de la Révolution, à la famille Morel de Villiers, propriétaire du château de Villiers-le-Duc.

Il est appelé hôtel du Congrès car, du 7 février au 11 Mars 1814, il fut le siége de négociations sans lendemain entre les ambassadeurs des souverains alliés et le représentant de Napoléon Ier, Caulaincourt