El inmueble histórico donde el obispo domingo Pantaleón Álvarez de Abreu erigiera en el siglo XVIII el colegio de san Pantaleón fue una centuria antes el asiento principal del mayorazgo Pérez de Salazar, en el que tenía edificada su casa de morada do Jerónimo Pérez de Salazar, creador del linaje que trascendería en la historia de Puebla por más de cuatro centurias. La obra arquitectónica fue desde su trazo grandiosa y es muy probable que sea de la autoría de José Miguel de Santa María, el gran maestro arquitecto, poblano de nacimiento, que introdujo en Puebla el original revestimiento de ladrillo y azulejos en las fachadas que dieron originalidad y caracterizaron a la arquitectura novohispana de Puebla. El patio principal de la casa tiene colocado al centro una fuente de cantera labrada, para la cual la nobilísima ciudad le dio merced de agua. La portada que permite el acceso al colegio es magnífica en ambos niveles de la casa y en el remate mismo que se eleva hasta la altura del pináculo que la corona. El vano del segundo nivel cuyas jambas están adornadas por un par de pilastras y pináculo estilizado al que remata una esfera de basalto gris, daba acceso a la sala rectorial y se encuentra protegido con un balcón de hierro forjado. Sobre el dintel se puede leer el año de consagración del del colegio. El remate de la portada está bellamente ornamentado y en su centro tiene un nicho vacío en donde debió figurar la escultura de San Pantaleón como patrono de dicho colegio. Una balaustrada de cantera blanca protege la parte superior de la finca.

La creación del colegio de San Pantaleón se debió a que los existentes de San Juan y San Pedro centros de formación sacerdotal diocesana se habían visto rebasados y no eran suficientes sus instalaciones para dar cabida al creciente número de alumnos. El edificio costó mas de treinta y cinco mil pesos y duró cinco años en levantarse, siendo inaugurado en 1762. La espléndid sala general con que fue dotado el colegio due ricamente amueblada por el obispo Grancisco Fabián y Fuero en 1765. A mediados del siglo XIX el edificio de San Pantaleón, que había parado en manos de particulares tras la enajenación de bienes eclesiásticos decretadas por el gobierno juarista, sirvió de vivienda de numerosas personas. En 1867 fue propiedad del industrial Manuel García Teruel, quien lo alquiló para palacio de Justicia. El Estado lo adquiere en 1895 y de 1897 a 1914 alberga la Jefatura Política de Puebla, convirtiéndose posteriormente y de nuevo en palacio de justicia.