Palacio que sirvió de morada para los obispos del Siglo XVII al XIX. La fachada decorada con ladrillo rojo clocado en petatillo y azulejos de Talavera, es uno de los ejemplos más característicos del uso de estos materiales en la Ciudad de Puebla durante el siglo XVIII. Forma parte de los Antiguos Colegios Palafoxianos y está conectado con los colegios de San Pedro, San Juan y la Biblioteca Palafoxiana.

Durante la época colonial era el único edificio en Puebla que se denominaba "palacio", por ser la residencia particular de los obispos desde principios del siglo XVII. En 1792 sufrió una remodelación importante que probablemente sea la más cercana a la estructura actual. Como consecuencia de las Leyes de Reforma, el edificio dejó de funcionar como residencia del obispado. Entre 1861 y 1863 fungió como palacio de gobierno; en 1914 sirvió como plantel escolar y posteriormente se destinó a oficinas de Tránsito.

Actualmente funciona como sede del Palacio Federal y la oficina de Correos y Telégrafos