Se construyó entre 1695 y 1714 de acuerdo con las pautas del barroco internacional y, posiblemente, según los planos trazados en Roma, adaptados a fórmulas de tradición local. En su origen fue sede del colegio de la Compañía de Jesús, al lado de su iglesia, la actual parroquia de San Bartolomeu. Jorge de Andrade, el hacendado sacerdote establecido en Perú, favoreció su construcción, auspiciada por el Ayuntamiento, para reunir en un único centro los estudios existentes en la -por aquel entonces- villa, que había creado una fundación establecida en 1644. De su patronato formaban parte también los Mosquera, los Villar y Pimentel, los Guimarey y los marqueses de Aranda.

En la parte exterior, por la calle Sarmiento, el edificio presenta una larga fachada de cantería que consta de bajo y un piso, con un portalón dintelado en el ángulo más próximo a la iglesia, decorado con placas y pilastras, sobre el que figura el escudo de armas. En el interior destacan dos zonas: por un lado, el claustro de dos plantas, con proporciones muy de estilo gallego y de arte poco refinada, con arcos ciegos y ventanas abiertas en ellos, muy semejante al de la iglesia de la Compañía de Villafranca del Bierzo (León); por otro, la suntuosa escalera pétrea en la esquina sudoriental, firmada por López en 1722, que desde la planta baja conduce al segundo piso. Destaca además el sótano de la parte de naciente, que presenta unas fuertes arcadas. Al primitivo edificio se le va a añadir posteriormente la parte que da a la calle Padre Amoedo, con una fábrica de menor calidad.

Tras la expulsión de los jesuitas, en 1767, el colegio fue sede de las más variadas empresas: las Escuelas de Primeras Letras y Latinidad patrocinadas por el Ayuntamiento, la fábrica de tejidos de los hermanos Lees, almacenes, sociedades o el primer instituto de Pontevedra. En 1894 la Sociedad Arqueológica de Pontevedra estudió la posibilidad de instalar en los bajos su Museo. Desde 1903 hasta 1974 estuvo ocupado por el Hospicio y por la Inclusa, unificados bajo el nombre de Hogar Provincial en 1955.

En 1978 el Ministerio del Interior autoriza la cesión del inmueble con el fin de que sea utilizado por el Museo.

Las obras de reparación y acondicionamiento se iniciaron en 1979 y, aunque ya en septiembre de 1981 se había celebrado en el claustro una muestra sobre grabados de Goya y en 1982 se habían instalado algunas salas, la inauguración definitiva no tuvo lugar hasta el 11 de agosto de 1984.