La fortificación, ubicada en el paraje de la Albera, fue reconstruida por el arquitecto Alexandre Comalat bajo las órdenes de Tomàs de Rocabertí, Conde de Peralada. Las obras finalizaron en 1899, otorgando al conjunto su actual aspecto neogótico que respeta el perímetro original de la antigua fortaleza medieval.
“"Una gran mansión de residencia de ocio y ostentación, que el conde Tomàs no vio terminar porque murió en 1898."
A lo largo del siglo XX, el castillo sufrió saqueos durante la Guerra Civil e incendios, pero recuperó notoriedad al ser escenario de películas como El perfume. Incluso Salvador Dalí intentó adquirirlo en 1968 antes de decidirse por el castillo de Púbol.
