O pazo García Flórez foi levantado a finais do século XVIII por Antonio García Estévez Fariña e mais a súa esposa Tomasa Suárez Flórez, aproveitando e respectando outro pazo anterior de menores proporcións.

É, por tanto, unha gran casa señorial urbana con pórtico de soportais de tres arcos sobre robustas columnas na súa fachada frontal, de grandes proporcións. Conta esta fachada con tres portas de decoración circundante no primeiro andar e dúas no segundo, que dan a senllos balcóns que dobran cara ás fachadas oriental e occidental e que flanquean o grandioso escudo helmado, noutrora dourado e policromado, e dúas gárgolas nas esquinas do tellado. Na súa fachada meridional presenta unha única porta na parte oriental da planta baixa, correspondéndose os vans cos da principal nos dous pisos, cun só balcón corrido. A fachada que dá á rúa Pasantería ofrécenos unha "movida distribución de ocos" que marca claramente o ritmo das escaleiras na súa parte central.

No momento de ser adquirido para museo estaban alugados os dous andares ó Concello, e o baixo á viúva de Paz Vidal como almacén para o seu negocio de funeraria. Un dos últimos destinos do edificio foi o de sede da Escola Normal de Mestras desde 1881 ata 1930. Nos primeiros anos da década dos trinta o primeiro andar ocupouno a Escola Graduada de Nenos e o segundo albergou a vivenda do seu director.

Para a súa adecuación a museo as reformas exteriores foron mínimas, entre elas a construción da ponte que une este edificio co Castro Monteagudo. Nas esquinas do tellado colocáronse, pola fachada principal, as estatuas pétreas que representan a Esperanza e a Fortaleza, procedentes da portada do antigo pazo de San Román, no seu día recollidas pola Sociedad Arqueológica.

A remodelación interior afectou principalmente á división e distribución de espazos no primeiro e segundo andar para adaptalos ás necesidades expositivas e administrativas; as novas dependencias inauguráronse o 15 de agosto de 1943.

Máis complexas resultaron as obras afrontadas en 1946 na planta baixa. Derrubáronse ou modificáronse muros e colocáronse elementos arquitectónicos de interese histórico-artístico alleos ó edificio. Tamén se modifica e adapta este andar para instalar a recreación da cámara de oficiais da fragata Numancia.