Как рассказали в Касимовском историко-культурном музее-заповеднике, этот двухэтажный дом с четырёхколонным портиком — самый старый в этой части города. По преданию, его построил гусевский заводчик Баташов для земского деятеля Скорнякова в благодарность за помощь в получении дворянского звания. Здание также называли «Воеводским домом»: там стоял трон касимовского воеводы, который перенесли сюда после упразднения этой должности в 1775 году. Дом переходил по наследству по женской линии — Губаревым, Виноградовым, Львовым. Внутри была очень сложная и запутанная планировка с переходами, чуланчиками и тайниками. Горожане связывали с домом легенды о подземном ходе к Оке и спрятанных кладах.

Ранее мы сообщали, что старинный дом в центре Рязани уйдет с молотка.