Немало интересных зданий сохранилось на территории бывшей Татарской слободы, несколько из них принадлежало представителям богатой купеческой семьи – Кастровым. Для многих дом Кастрова - это особняк на улице Набережной, но его они приобрели лишь в начале XX века. Намного раньше они обосновались в самом центре слободы - на Ханской площади (ныне – площадь Победы).
Род касимовских купцов Кастровых происходит из крестьян и ведет свое начало от Мурсалима Кастрова, который в начале 1840-х годов стал купцом третьей гильдии. Разбогател он на производстве и продаже тулупов. Его сын Сайфулла удачно продолжил семейное дело и в 1854 году объявил капитал уже по второй гильдии. Позднее семья Кастровых получила потомственное почетное гражданство и стала одной из ведущих татарских торгово-промышленных фамилий Касимова. Сайфулла Мурсалимович оставил сыновьям богатое наследство. Хайрулле достался каменный двухэтажный дом в 60 квартале и земельные угодья в уезде; Хасаметдину – дворовое место в 74 квартале и дом в 73 квартале и земельные угодья в уезде.
Дом Хайруллы занимал угол Ханской площади (площадь Победы) и улицы Долгой (Большакова). Автор проекта неизвестен. Здание выглядело внушительно, фундамент и стены сложены из кирпича, высокий цоколь облицован белокаменными блоками. Вход в дом был со стороны усадьбы, высокая кирпичная стена с воротами и калиткой отделяли её от улицы. Усадьба носила промышленный характер: во дворе были производственные помещения, где выделывали мерлушку. Производство мерлушки – меха из выделанной шкуры ягненка – в Касимове традиционно было татарским видом промысла. Рядом с усадьбой находилось медресе, которое называли «кастровским», так как Кастровы с конца 1860-х годах являлись его попечителями.
В начале XX века владельцем дома являлся Ахмед Хайруллович Кастров, по его имени старожилы и называют этот дом. После национализации в здании находился детский дом, затем располагалось родильное отделение ЦРБ и женская консультация. С 2012 года дом опустел - роддом переехал в новое современное здание.
Дом Ахмеда Кастрова входит в список выявленных объектов культурного наследия Рязанской области как памятник архитектуры.
