До революции на территории Касимова располагалось 12 храмов, многие из которых до нашего времени не сохранились. Одними из уничтоженных в советское время были две церкви – Всесвятская и Преображенская на территории старого православного кладбища. Уже в конце 70-х годов XVIII века здесь располагался деревянный храм, но в 1817 году протопопом Вознесенского собора Поликарпом было подано прошение о строении на этом месте новой каменной церкви с планом фасадов предполагаемых построек, поскольку рядом было предусмотрено устройство двух деревянных богаделен.

Одной из главных причин возведения нового здания стало желание почтить память тех погребенных в некрополе офицеров и воинов, кто положил свою жизнь в борьбе за свободу отечества с наполеоновской Францией. 12 сентября 1825 года Всесвятская церковь была освящена Преосвященным Филаретом, впоследствии прославленным в лике святых для общецерковного почитания. Позднее храм расширили: стараниями И.Г. Скорнякова был устроен новый иконостас, стены внутри были отделаны под мрамор и крашены живописью. Рядом в 1867 году, опять-таки не без участия мещанина Скорнякова, появилась теплая Преображенская церковь, а затем деревянный дом на каменном основании, где помещался кладбищенский причт, образовавшийся лишь к последней трети XIX века, до этого все службы совершались клириками Вознесенского собора. К приходу относилась богадельня и приют братьев Шаниных.