Foi mandado construir no século XIX por Jorge O’Neill, descendente dos príncipes de Tyrone e de Glen-Boy, Reis da Irlanda, para sua casa de veraneio. Em 1910 foi vendida aos condes de Castro Guimarães. O projecto arquitectónico do palácio foi elaborado por Francisco Vilaça e os arquitectos responsáveis pela edificação foram Albrecht Haupt e Luigi Manini.
O edifício encontra-se classificado como Imóvel de Interesse Público através do Decreto nº 45 de 30 de Novembro de 1993. Em nossos dias conserva o seu traçado original, abrigando o Museu Conde de Castro Guimarães, que reúne todas as peças da vasta colecção de arte dos condes.
Trata-se de um palácio em estilo revivalista, instalado numa pequena enseada. Aquando das marés altas, a base do edifício é tocada pelas ondas. O seu estilo conjuga o Romantismo – em voga à época – com uma aparência de château medieval, que culmina com a grande torre. Encontra-se rodeado de um interessante jardim.
O edifício tem elementos de origem irlandesa, como os trevos presentes na porta de ferro forjado e na pintura do tecto da Sala dos Trevos, a sala de entrada do museu, e o brasão de armas de Jorge O’Neill e dos seus antepassados, pintados no tecto do torreão.
