El pazo García Flórez fue levantado a finales del siglo XVIII por Antonio García Estévez Fariña y su esposa Tomasa Suárez Flórez, aprovechando y respetando otro pazo anterior de menores proporciones.

Es, por tanto, una gran casa señorial urbana con pórtico de soportales de tres arcos sobre fuertes columnas en su fachada frontal, de grandes proporciones. Cuenta esta fachada con tres puertas de decoración circundante en el primer piso y dos en el segundo, que dan a sendos balcones que doblan hacia las fachadas oriental y occidental y que flanquean el grandioso escudo yelmado, antaño dorado y policromado, y dos gárgolas en las esquinas del tejado. En su fachada meridional presenta una única puerta en la parte oriental de la planta baja, correspondiéndose los vanos con los de la principal en los dos pisos, con un sólo balcón corrido. La fachada que da a la calle Pasantería nos ofrece una "movida distribución de huecos" que marca claramente el ritmo de las escaleras en su parte central.

En el momento de ser adquirido para museo estaban alquilados los dos pisos al Ayuntamiento y el bajo a la viuda de Paz Vidal como almacén para su negocio de funeraria. Uno de los últimos destinos del edificio fue el de sede de la Escuela Normal de Maestras desde 1881 hasta 1930. En los primeros años de la década de los treinta el primer piso lo ocupó la Escuela Graduada de Niños y el segundo albergó la vivienda de su director.

Para su adecuación a museo las reformas exteriores fueron mínimas, entre ellas la construcción del puente que une este edificio con el Castro Monteagudo. En las esquinas del tejado se colocaron, por la fachada principal, las estatuas pétreas que representan la Esperanza y la Fortaleza, procedentes de la portada del antiguo pazo de San Román, en su día recogidas por la Sociedad Arqueológica.

La remodelación interior afectó principalmente a la división y distribución de espacios en el primer y segundo piso para adaptarlos a las necesidades expositivas y administrativas; las nuevas dependencias se inauguraron el 15 de agosto de 1943.

Más complejas resultaron las obras afrontadas en 1946 en la planta baja. Se derrumbaron o modificaron muros y se colocaron elementos arquitectónicos de interés histórico-artístico ajenos al edificio. También se modifica y adapta esta planta para instalar la recreación de la cámara de oficiales de la fragata Numancia.