Прежде всего, в 1824 году именно здесь останавливался путешествующий по Вятской губернии император Александр I. Тогда дом принадлежал представителям выдающейся династии слободских купцов Герасимовых. Почетный гражданин города Слободского, первой гильдии купец Захар Давидович Герасимов имел на левой стороне Глазовской улицы два каменных двухэтажных дома с каменными флигелями и деревянными службами под №80 – один купленный, а другой построенный им на собственный капитал. И жил он в этих домах со своими многочисленными домочадцами, торгуя солью и другими законопозволенными товарами. В 1820-1823 и 1826-1829 годах был городским бургомистром, его сын Владимир в 1835-1838 годах служил городским главой.
Внезапно в середине ХIХ века Герасимовы выставили этот роскошный и удобный для проживания дом со львами в центре города на продажу. Было непонятно, почему? Представитель семейства следующих владельцев дома Александр Александрович Прозоров, известный на Вятке адвокат и театральный общественный деятель, оставил в своих мемуарах воспоминания: «Дом был куплен в обстановке крайне массивной, резной. В зале и гостиной с потолка спускались бронзовые люстры. Невольно удивляешься, как мог прежний владелец дома Николай Захарович Герасимов продать такой благоустроенный дом и сам остался жительствовать в Слободском? На подобные вопросы он отвечал: «Мне в нем млится». Слово это прислугой передавалось из уст в уста, и она была настолько суеверной и трусливой, что вечером по коридору горничные ходили, держась одна за другую.
Находились и данные к такому поверью. В верхнем этаже находился внутренний в каменной стене шкаф, расположенный под лестницей, ведущей на подволоку. Шкаф был со сводом, спадающим от дверей почти до пола, в чем усматривали ранее зарытый подземный ход. В среднем этаже никаких следов лестницы не наблюдалось. На высоком подполье подвала, выходящем на двор, находилась железная дверь, а за ней каменная лестница среди каменных стен, упирающаяся в свод как основу среднего этажа. Под дверью был бассейн с водой в 9 аршин длины и 1 аршин ширины и глубины. Говорили, что на месте бассейна раньше был подземный выход за наружные стены дома. Но никому не удавалось проверить. Кто был строитель этого дома, и какое значение имела эта возбуждающая фантазию лестница? Проверять не проверяли, но друг друга пугали».