Después de que la Diputación Provincial aprobase la moción fundacional del Museo de Pontevedra, el 30 de diciembre de 1927, la primera tarea que deben afrontar sus impulsores es la de buscar un edificio en el que albergar los fondos. La elección no es fácil pero sí rápida, resulta elegido el pequeño pazo del siglo XVIII situado frente a la plaza de A Leña, en el número 12 de la entonces llamada calle de Gregorio Fernández, hoy Pasantería.

El levantamiento de la primitiva sede del Museo es de 1760, tal como figura en el documento guardado en el interior de una bolsita de lienzo encontrada en el momento de realizar las obras de reforma para la Escuela Unitaria de Niños. El documento en cuestión está escrito en latín y en él se hace constar que fue edificado desde los cimientos por José de Castro y Monteagudo, primer auditor en la provincia marítima de Pontevedra.

Antes de su adquisición tuvo destinos muy diversos: en el bajo, local comercial La Imperial, casa de comidas La Flor, taller de carpintería Rarrá; en el piso, la citada escuela unitaria; en parte del jardín, dando a la calle Pasantería, un cobertizo que antes de su adquisición era una cuadra de cerdos.

En las obras de restauración del inmueble influye positivamente Alfonso Daniel Rodríguez Castelao, patrón fundador, que dirige varias y extensas cartas con pormenorizados dibujos al también fundador Francisco Javier Sánchez Cantón, ya en Madrid. En ellas le da ideas sobre la ejecución de las reformas y le pide su intercesión ante el arquitecto Juan Argenti Navajas y el director Casto Sampedro y Folgar.

El primitivo pazo sería objeto de una nueva remodelación en su fachada norte tras la apertura del edificio García Flórez para Museo en 1943, con la consiguiente construcción del puente que comunicaría ambos edificios sobre la calle Flórez.