A Fray Juan de Zumárraga, primer obispo y arzobispo de México, se le debe la construcción de este edificio del siglo XVI que fue sede del Real Hospital del Amor de Dios.
Como Academia de San Carlos, el edificio luce un estilo renacentista italiano, y en el primer cuerpo de la fachada se agregan seis medallones con los rostros de Jerónimo Antonio Gil, Carlos III, José Bernardo Couto, Manuel Tolsá, Miguel Ángel y Rafael. Su domo prefabricado es art nouveau, hecho de hierro y vidrio por la empresa L. Lapeyrer de París.
Desde 1910, es posible ver una reproducción en bronce del San Jorge de Donatello, regalo del gobierno italiano con motivo de las fiestas del Centenario de la Independencia.
Como parte de la colección del museo está la de Estampas y la de Numismática.
No hay que perder de vista la biblioteca que reúne más de 13 mil libros orientados al arte y el diseño: Arte contemporáneo, Teoría del arte, Fotografía, Textiles, Mujeres en el arte, Diseño gráfico, Artes visuales, Diseño editorial, Escultura, Arte urbano, Numismática, Cine y Joyería es parte de la compilación. Actualmente, alberga a la división de la Escuela Nacional de Artes Plásticas, al Museo de la Academia y tiene salas para exposiciones temporales.
