Das Château de Pontivy wurde von der Mitte des 15. bis zum Beginn des 16. Jahrhunderts für die Vizegrafen von Rohan erbaut und ist eines der letzten befestigten Schlösser in der Bretagne. Es ist charakteristisch für die bretonische Militärarchitektur vom Ende des 15. Jahrhunderts.

Das am nördlichen Ende der Altstadt gelegene Schloss Pontivy wurde von der Mitte des 15. bis zum frühen 16. Jahrhundert erbaut. Der größte Teil des Baus wurde auf Initiative von Jean II. de Rohan, bekannt als „Grand Viscount“, durchgeführt. Da Pontivy 1396 Hauptstadt der Viscounty Rohan wurde, brauchte Johannes II. eine seinem Rang würdige Burg.

Mit seinen dicken Mauern, seinen breiten Wassergräben und seinen massiven Türmen, die stark aus den Ringmauern hervorragen, ist das Schloss von Pontivy Zeuge einer Militärarchitektur, die sich Ende des 15. Jahrhunderts an die Entwicklung der Feuerartillerie anzupassen versuchte. Charakteristisch für die befestigten Burgen der Halbinsel sind das Vorhandensein „bretonischer Machikolationen“ oder die Verwendung von Schiefer und Granit für den Bau. Die Verteidigungsfunktion geht mit einem anhaltenden Augenmerk auf Komfort und Dekoration einher: Skulpturierte Oberlichter, kunstvolle Fallrohre, Kamine und Latrinen zeugen noch heute davon.

Das Schloss beherbergt dauerhaft eine zeitgenössische Installation des japanischen Künstlers Koki Watanabe sowie eine Ausstellung, die dem Bildhauer Gaston Schweitzer (Montreuil-sous-Bois, 1879 – Paris, 1962) gewidmet ist.