На улице Набережной расположено немало памятников архитектуры XVIII-XIX веков. Один из них - дом Кастрова, построенный в 1844 году по проекту И.С. Гагина. Кастровская усадьба представляет собой особняк с мезонином; его окружают соединённые между собой здания, имеющие въездные ворота с калиткой, украшенные столбами с тяжёлыми полуколоннами и белокаменными завершениями в виде ваз.

За период с конца XVIII века до революционных событий 1917 года у владения сменился не один хозяин. Изначально участок, на котором располагалась нынешняя усадьба, принадлежал купцам Казлининым, затем, в 1815 году, собственность перешла заводчику Дмитрию Кирилловичу Вереину и, впоследствии, его наследникам. В 1894 году Вереины продали владение купцу А.С. Замешаеву, который в свою очередь в первой половине 1900-ых годов продал усадебный комплекс татарскому торговцу мерлушкой Хайрулле Сайфуловичу Кастрову. А уже после революции усадьба использовалась как жилой фонд. В 2000-х годах в доме всё ещё располагались жилые квартиры. Однако вскоре, ввиду непригодности жилья, проживавших тут граждан начали расселять (последний житель съехал в 2010 году). Комплекс был в аварийном состоянии - крыша отсутствовала, а одно из зданий сильно пострадало от пожара. Городская дума приватизировала весь комплекс зданий и установила способ его приватизации для физических и юридических лиц – продажу на конкурсе. Дом был приобретён одной из организаций. В ноябре, практически сразу после приобретения дома, началась его консервация в целях предотвращения от дальнейшего разрушения. Этой весной началась реставрация. Интересно, что в ходе работ специалисты нашли под слоем краски на стенах ценный отделочный материал - оселковый мрамор. Теперь интерьер будет полностью отреставрирован с сохранением данного вида штукатурки.

Возрождение первозданной внешности и внутренней отделки усадебных имений является частью программы, направленной на развитие туризма внутри региона (Государственная программа Рязанской области «Развитие культуры и туризма на 2015-2020 годы»). Усадьба Кастрова стала первой, восстановленной в рамках этого проекта. Также предполагается, что уже к концу этого года в Касимове будут разработаны специальные градостроительные регламенты для лучшего сохранения памятников архитектуры.
Как заявляют главные представители Министерства культуры и туризма Рязанской области, в отреставрированных зданиях усадьбы Кастрова появится гостинично-ресторанный комплекс. Ремонтно-восстановительные работы планируют завершить до декабря 2019 года.