Son pocas las fortalezas medievales que lograron mantenerse en pie en Galicia. En el territorio de A Costa da Morte hay algunas que consiguieron desafiar el paso del tiempo y mantener su estructura, como la de Vimianzo, Mens (Malpica), A Penela (Cabana de Bergantiños) o la de Nogueira (Coristanco). De todas ellas, la que preservó mejor su edificación fue el castillo de Vimianzo, auténtico símbolo del dominio de los Moscoso de Altamira en estas tierras más occidentales de Galicia.
Se yergue este castillo medieval sobre una colina que domina el valle de Vimianzo, edificado en planta poligonal con cuatro torreones, que coinciden con los puntos cardinales. La torre del homenaje, situada en la parte sur, es la única que conserva las almenas y merlones. Se accede al interior del patio a través de una puerta de arco ojival y en la parte superior se muestran los escudos con los símbolos de los Moscoso y de los Castro. El estilo gótico de la construcción se muestra en la puerta de entrada y en las ventanas arqueras.
La fortaleza fue cabeza rectora de la extensa jurisdicción de Vimianzo, constituida por 36 parroquias y tres villas: Camariñas, Vimianzo y Laxe. Los primeros propietarios fueron los Mariño de Lobeira, y una vez que estos cayeron en desgracia, pasará a manos de los Moscoso de Altamira en la segunda mitad del siglo XV.
El primitivo castillo fue derribado durante la revuelta irmandiña de 1467 y pocos años después reconstruido por orden del arzobispo santiagués Alonso II de Fonseca, enfrentado a los Moscoso por el dominio territorial. Al poco de ser levantado, Lopo Sánchez de Moscoso, I Conde de Altamira, lo tomará por asalto, pasando a propiedad de esta estirpe hasta el año 1872, cuando fue adquirido por la familia Martelo. El poeta Ramón Martelo Paumán, lo adaptará como vivienda.
La corporación municipal republicana de Vimianzo intentó expropiar esta fortaleza que estaba en estado de abandono para trasladar allí la casa consistorial y otros servicios, iniciativa que no se logró por el golpe militar de 1936. Los impulsores de este proyecto sufrirán graves consecuencias. En 1973 la Diputación de A Coruña adquirió la propiedad del edificio y, una vez restaurado, le cederá el uso al ayuntamiento de Vimianzo. Actualmente está abierto al público y en su interior se pueden observar paneles explicativos sobre la historia del castillo y de A Costa da Morte y contemplar en vivo una representación de la artesanía de la zona.
El primer fin de semana del mes de julio se celebra en esta construcción defensiva y en su entorno A Festa do Asalto ao Castelo, en la que se representa una recreación histórica de la revuelta irmandiña y se organizan actuaciones musicales y otras actividades. Fiesta muy concurrida, en la que se congregan miles de participantes.