Moi preto da vila de Baio, no km 55 da estrada C-552 da Coruña a Fisterra, sitúase o pazo das Torres do Allo, unha das máis significativas construcións deste tipo de vivenda de Galicia. Ao longo da historia esta casa do Allo sufriu poucas modificacións porque se mantivo sempre en mans da mesma familia, os Rioboo, oriúnda da torre da Penela.
Ata a investigación levada cabo polo historiador José A. Sánchez García, críase que toda a construción era da mesma época, pero a raíz desa nova información sóubose que a torre norte edificouse entre os anos 1490 e 1512, a iniciativa de Alfonso Gómez de Rioboo Villardefrancos, mentres que a torre sur e o corpo central levantaríanse entre 1669 e 1685 por decisión de Gómez de Rioboo e Seixas e a súa dona Jacinta de Luces Caamaño, que decidiron conservar as formas do estilo gótico tardío da torre primitiva.
As torres son case simétricas. Na parte baixa ábrese unha porta con arco de medio punto con grandes doelas, propio da arquitectura do século XVI. O segundo andar é o que mostra unha maior riqueza decorativa nos elementos da fachada: fiestra con arcos xeminados, portaventá, con varanda na torre norte e balcón, na sur. Todo o conxunto enmarcado por un arco mixtilíneo. No terceiro andar simplemente se abre unha fiestra.
Nos escudos aparecen os símbolos das familias que emparentaron cos Rioboo e habitaron esta casa fidalga. A torre envolta en silvas, dos Rioboo; o piñeiro e as lanzas, dos Caamaño; as cinco pombas, correspondentes aos Seixas; os dous lagartos baixo unha lousa, dos Losada; e as cinco follas de figueira, que identifican aos Figueroa.
O corpo central componse de dúas alturas e tellado a dúas augas, no que destaca unha robusta cheminea. Na planta baixa ábrense tres portas e na planta superior móstranse seis fiestras rectangulares con mainel. Na cornixa resaltan as figuras das gárgolas.
Na primeira metade do século XX deixaron de habitar o pazo os propietarios e fixérono os apoderados, e xa na segunda metade, quedou deshabitado. A Deputación da Coruña, consciente do valor histórico e arquitectónico do edificio, chegou a un acordo coa familia López-Rioboo e adquiriuno en 1998. Dous anos despois comezaron as obras de rehabilitación e abriuse ao público en 2005, xestionado polo concello de Zas. No interior móstrase como era a vida rural na época dos pazos, a liñaxe da familia Rioboo e información sobre outros pazos da Costa da Morte. Acolle tamén actividades culturais.
A uns 200 m do pazo sitúase a igrexa parroquial de San Pedro do Allo, que actuou como capela particular dos Rioboo, na que se soterraron varios dos seus membros. Conserva unha interesante fachada-retablo renacentista.
