Antigua finca de dos niveles, conserva gran parte de su partido arquitectónico original y al igual que en los edificios circundantes, se puede apreciar en ella la tradicional fachada poblana decorada con azulejo y ladrillo, lambrines de talavera, vanos con balcones protegidos con herrería forjada y una abundante ornamentación de yeso y argamasa con roleos y follajes de estilo barroco. El interior conserva un patio principal mutilado, con su escalera central decorada con azulejos y un segundo patio de servicio.

La calle donde se ubica el inmueble histórico se conoció en el siglo XVI como Calle de Santo Domingo por pasar frente a lo que fue la puerta principal de dicho convento. A partir de la siguiente centuria pasó a ser denominada como Calle de Raboso por estar ubicada en una de sus aceras "la casa de morada" de la célebre familia Raboso de la Plaza. El primero en habitarla fue el capitán toledano Alonso Raboso de la Plaza, alguacil mayor de la ciudad de Puebla y dueño del productivo ingenio azucarero de San Juan Bautista Atotonilco, ubicado en jurisdicción de Izúcar, base patrimonial de la familia. Al morir don Alonso, en 1680, la casa la heredó su hijo Miguel Raboso de la Plaza, igualmente capitán y alguacil mayor. El joven alguacil murió a los 36 años de edad, en 1693, durante la peste que asoló la región de Puebla-Tlaxcala y el oficio que había estado en poder de su familia por tres generaciones fue rematado en almoneda pública a favor de don Miguel Antonio de Vargas Villanueva Guzman, heredero de mayorazgo fundado en el siglo XVI por el poderoso conquistador y fundador de Puebla Gonzalo Díaz de Vargas. En el siglo XVIII el inmueble perteneció al Dr. Juan de Dios Bracamontes, arcediano que fue de la santa iglesia catedral y después al Lic. Rafael de Santervas Miguel y Catarroja, presbítero domiciliario del obispado de Puebla, y después del arzobispado de México. En 1770 vendió la casa, que reacondicionó primero, al capitán Gabriel de Segura Cevallos, descendiente de uno de los 33 caballeros fundadores de la ciudad de Córdoba, Veracruz. El último propietario particular que usó la casa como vivienda entre 1885 y 1905 fue el canónigo Bernardo Fuentes. Hasta 1920 es ocupada por las oficinas de "La Piedad S.A." y a partir de 1924 sirvió de "Palacio Federal".