О важности и месте, которое занимало доверенное лицо, о влиянии его на государя и цене, которую государь давал своему фавориту в предшествующие и эти времена, можно судить по подаркам, одариваемым фавориту. Аракчеев получил это имение еще от императора Павла Первого, который после того, как потерял расположение к графу, все же дозволил ему жить в подаренном ему имении. При Александре это имение очень расширилось. За Аракчеевым еще при жизни его, в эти годы его взлета и доверия со стороны Александра, ходило прозвище «временщик». Временщиком часто называют человека бестолкового, негодного к тому делу, на которое он назначен, а порой негодным вообще к какому-либо занятию. Но про Аракчеева такого сказать нельзя было. Попавши в опалу в предпоследний год царствования Павла, он был возвращен к службе Александром лишь в 1803 году. Артиллерия при Павле и последних годах правления Екатерины переживала не самые лучшие свои времена, и Аракчееву как способному, хоть и грубому начальнику, было поручено в кратчайшие сроки буквально возродить сей вид войск в армии империи. И за несколько лет ему это удалось, за что ему пожаловали звание генерала артиллерии.
Уточним, за что он был отдален от двора при Павле. Император Павел Петрович был крайне раздражительным и мнительным человеком, настроение и вообще отношение к чему-либо или кому-либо могли измениться в любой момент и в любую сторону. Бывало, что чиновник или генерал терял расположение по какому-то пустяку, неуместно сказанному слову или даже неправильному приветствию в сторону императора. Аракчеев, успевший изучить своего императора, когда тот был еще великим князем, не совершал таких оплошностей, потому и в немилость попал по серьезному делу. Существует даже две версии, почему так произошло. Первая версия гласит, что в минуту крайней раздражительности Алексей Андреевич выбранил одного из своих приближенных, какого-то иностранного подполковника, который считался в обществе за хорошего, честного и благородного человека. Этот подполковник с этими высокими качествами был так ошарашен бесчестной выходкой тогда еще барона Аракчеева, что решился его пристрелить, а потом покончить и с собственной обруганной и обесчещенной, как ему казалось, жизнью. До убийства Аракчеева, правда, не дошло, но себе этот обиженный подполковник мозги вышиб, заведомо оставив предсмертную записку на имя императора и наследника, в которой красноречиво оправдал свое грешное деяние правдивой и неприкрытой характеристикой барона Аракчеева. Другая версия была менее кровавой и вообще рассказывает о некоем Алексее Андреевиче Аракчееве, который совсем не подходит под описание того Алексея Андреевича Аракчеева, которого мы знаем во времена его неофициального могущества в правление Александра Первого. По этой версии, Аракчеев, узнав о каком-то нечестном и незаслуживающем прощения поступке своего брата, тоже генерала, переложил вину его на другое лицо, но Павел узнал о случившимся и, конечно же, потерял всякое доверие к некогда верному своему барону.