Son poucas as fortalezas medievais que lograron manterse en pé en Galicia. No territorio da Costa da Morte hai algunhas que conseguiron desafiar o paso do tempo e manter a súa estrutura, como a de Vimianzo, Mens (Malpica), A Penela (Cabana de Bergantiños) ou a de Nogueira (Coristanco). De todas elas, a que preservou mellor a súa edificación foi o castelo de Vimianzo, auténtico símbolo do dominio dos Moscoso de Altamira nestas terras máis occidentais de Galicia.
Érguese este castelo medieval sobre un outeiro que domina o val de Vimianzo, edificado en planta poligonal con catro torreóns, que coinciden cos puntos cardinais. A torre da homenaxe, situada na parte sur, é a única que conserva as ameas e merlóns. Accédese ao interior do patio a través dunha porta de arco oxival e enriba dela móstranse os escudos cos símbolos dos Moscoso e dos Castro. O estilo gótico da construción amósase na porta de entrada e nas fiestras seteiras.
La fortaleza foi cabeza reitora da extensa xurisdición de Vimianzo, constituída por 36 parroquias e tres vilas: Camariñas, Vimianzo e Laxe. Os primeiros propietarios foron os Mariño de Lobeira, e unha vez que estes caeron en desgraza, pasará a mans dos Moscoso de Altamira na segunda metade do século XV.
O primitivo castelo foi derrubado durante a revolta irmandiña de 1467 e poucos anos despois reconstruído por orde do arcebispo santiagués Alonso II de Fonseca, enfrontado aos Moscoso polo dominio territorial. Ao pouco de ser levantado, Lopo Sánchez de Moscoso, I Conde de Altamira, tomarao por asalto, pasando a propiedade desta estirpe ata o ano 1872, cando foi adquirido pola familia Martelo. O poeta Ramón Martelo Paumán, adaptárao como vivenda.
A corporación municipal republicana de Vimianzo intentou expropiar esta fortaleza que estaba en estado de abandono para trasladar alí a casa consistorial e outros servizos, iniciativa que non se logrou polo golpe militar de 1936. Os impulsores deste proxecto sufrirán graves consecuencias. En 1973 a Deputación da Coruña adquiriu a propiedade do edificio e, unha vez restaurado, cederalle o uso ao concello de Vimianzo. Actualmente está aberto ao público e no seu interior pódense observar paneis explicativos sobre a historia do castelo e da Costa da Morte e contemplar en vivo unha representación da artesanía da zona.
A primeira fin de semana do mes de xullo celébrase nesta construción defensiva e na súa contorna a Festa do Asalto ao Castelo, na que se representa unha recreación histórica da revolta irmandiña e se organizan actuacións musicais e outras actividades. Festa moi concorrida, na que se congregan milleiros de participantes.
