Вскоре Александр Матвеевич привел в «супружеское гнездышко» свою племянницу – молодую красивую девушку. Вот как эти события описала в дневнике Анна:
«Приехали в город, начались веселья у нас в доме, в которых я не могла участвовать. Племянницу свою взял к себе жить. Днем все вместе, а когда расходились спать, то ночью приходила к нам его племянница и ложилась с нами спать. А ежели ей покажется тесно или для других каких причин, которых я тогда не понимала, меня отправляли спать на канапе».
Так Анна, не совсем осознавая, что происходит вокруг, жила в доме на правах то ли приживалки, то ли воспитанницы. Карамышев, впрочем, к ней не притрагивался, однако Анне от этого было ненамного легче:
«Ночью, так как от болезни сна у меня не было, я лежала молча, опасаясь обеспокоить мужа моего, вижу, что он встает очень тихо и подходит ко мне, спрашивает, сплю ли я?
Но я не отвечала ему, и он, уверившись, что я сплю, пошел в другую комнату, где спала девка, и я увидела все мерзости, которые он с ней делал!
Я видела свое несчастие и считала худшим…».
Однако худшее было впереди. Муж Анны совсем распоясался:
«Была у нас девочка десяти лет, которая служила матушке: водила ее и подавала что должно; он и до этой девочки добрался. Меня не было дома…»
Анна прекрасно понимала, насколько безнравственен и порочен ее муж, но поделать ничего не могла: разводы в империи были большой редкостью и требовали от женщины огромных усилий и денег. Где все это было взять пятнадцатилетней девочке?
С Карамышевым Анне пришлось много попутешествовать по России. Семья жила в Екатеринбурге, в Петрозаводске, на Медвежьих островах. И повсюду Александр Матвеевич находил себе «подруг».
В 1774 году Карамышевы перебрались в Петербург, где прожили более пяти лет. Анне наконец-то повезло, ее покровителем и добрым ангелом стал знаменитый русский поэт Михаил Херасков. Михаил Матвеевич был вице-президентом Берг-коллегии и непосредственным начальником Карамышева. В Хераскове барышня «нашла себе второго отца, который всячески оберегал ее от несправедливостей мужа».
В своих мемуарах Анна отзывается о Михаиле Матвеевиче и его супруге Елизавете Васильевне с исключительной теплотой. В доме Херасковых к ней относились как к дочери, заботились об ее образовании и воспитании.
После того как Карамышева назначили директором банковской конторы в Иркутске, Анне снова пришлось покинуть столицу. На протяжении нескольких лет она жила с мужем в Иркутске и Нерчинске. И здесь Анне приходилось терпеть несправедливости от супруга: