El antiguo Hospicio, hoy Museo Municipal de Madrid, había sido fundado en tiempos de Felipe IV gracias al beato Simón de Rojas y su Congregación del Santo Nombre de María para proporcionar asilo a los  pobres y enfermos que vivían en condiciones precarias en la ciudad. En 1668 estaba alojado en un pequeño local de la calle Santa Isabel de donde se trasladó provisionalmente, en 1674, a unas casas de la calle Fuencarral, junto a los pozos de la nieve. La nueva Hermandad del Ave María y San Fernando, creada por la reina Mariana de Austria, se hizo cargo de la institución a partir de este momento.