В конце ХVIII века на Соборной площади Касимова появился дом Скорнякова.  Он находится правее Вознесенского собора по направлению к Рязанскому спуску: это здание, построенное в стиле ампир, массивный двухэтажный каменный особняк с флигелем и широкими каменными воротами. На центральной части его фасада располагается балкон с четырьмя колоннами. Эти колонны упираются в треугольный фронтон, выполненный в форме полукруга. Здание большое, со стенами толщиной около 1 метра.  
Кто же такой Скорняков и какова история появления его дома в центре города?

Скорняков был земским деятелем. Поговаривают, что он очень удружил некогда купцу Баташову и добился для него дворянского звания с особыми привилегиями. Стоила такая услуга немало, а потому полученных денег с лихвой хватило на возведение такой грандиозной постройки. Впрочем, и сам Скорняков был человеком небедным: предок его служил при дворе императрицы, дослужился до званий лейб-кучера и получил от Елизаветы Петровны дворянское звание и герб с изображением «коня в каретном уборе».
Внутри дома Скорнякова размещались многочисленные чуланчики и тайники. Был и полупотайной вход, ведущий в боковые антресоли. По одной из легенд, от этого дома до Оки был вырыт подземный ход, благодаря которому хозяин мог в любой момент исчезнуть из дома и незаметно в нём появиться. Хотя, справедливости ради, нужно сказать, что подземные ходы в XVIII веке делались преимущественно на случай пожаров - в те времена они были нередки. Так, в 1828 году в результате пожара город Касимов  практически выгорел дотла.  
В дальнейшем хозяева дома неоднократно менялись. В 1914 году здесь размещался лазарет. После революции дом Скорнякова стал общежитием утюжного завода, а на втором этаже размещался естественный отдел краеведческого музея. Сейчас в этом доме живут обычные люди.