Die Mönche errichteten hier eine Kirche, die nach einer Teilrestaurierung (1450) ihre endgültige Form erhielt. Neben der Kirche wurde das Priorat erbaut; dieses wurde 1569 durch das Schloss von Rougemont ersetzt (Residenz der Berner Landvögte). Nach dem Sturz der Grafenschaft von Gruyère stand Rougemont unter der Berner Vorherrschaft, um von 1798 an zum Waadtländischen Kanton zu gehören.

Bis Ende des XIX. Jahrhunderts lebte die Bevölkerung von der Viehzucht und von der Herstellung von Milchprodukten. Zu dieser Zeit entstand die Hotelindustrie, die 1905 nach Bau der Eisenbahn erblühte.

Rougemont besteht aus schönen alten Chalets, Gärten, Wäldern und liegt zwischen Wiesen und Feldern.

Alle Gebäude sind nach Süden gerichtet. Viele Chalets sind einige Jahrhunderte alt. 

Man findet die Chalets mit ihren blumengeschmückten Balkons und ihren Holztreppen auf zahlreichen Postkarten. Die Chalets besitzen oft Schindeldächer und sind mit Inschriften versehen.