Несмотря на невероятные козни, чинимые приближенными к императрице вельможами, вопреки их злобным наскокам и наветам, он во всех делах оставался честным и неподкупным. Именно по этой причине императрица Елизавета Петровна ценила его, была милостиво расположена к своему генерал-прокурору, лично принимала доклады и часто вставала на его сторону.
25 декабря 1761 года новый император Петр III отправил Шаховского в отставку, и некоторое время тот «оставался не у дел». Короткое царствование Петра III закончилось дворцовым переворотом, и на российском престоле оказалась Екатерина II. Она вновь призвала Шаховского на службу, назначив сенатором. В день своей коронации императрица пожаловала ему орден Святого Андрея Первозванного.
Яков Петрович часто сопровождал молодую императрицу в поездках по России, причем нередко сидя с ней в одном экипаже. В пути он много говорил о деяниях Петра Великого и затеянных им преобразованиях. В одной из таких поездок он как-то вспомнил, что по замыслу Петра I один из сенаторов должен каждый год объезжать губернии и ревизовать тамошние дела, вскрывать злоупотребления и лихоимство. Эта идея понравилась Екатерине II. Тогда Шаховской тут же вызвался лично произвести такую проверку в городах, которые они проезжали, и осуществил свое намерение в Ярославле, Ростове и Переславле-Залесском, чем привел в трепет местные власти.
1 апреля 1766 года действительный тайный советник и сенатор Я. П. Шаховской по состоянию здоровья вышел в отставку. Он поселился в Москве, а летнее время проводил в своей подмосковной деревне. Вставал по обыкновению в шесть часов утра и выходил в сад, за которым сам ухаживал. Изредка встречался со своими друзьями. Привыкший к напряженной работе, Яков Петрович и на отдыхе не мог сидеть без дела. Вскоре он принялся за написание воспоминаний о своей бурной, насыщенной яркими событиями жизни, которые озаглавил так: «Записки князя Я. П. Шаховского, полицмейстера при Бироне, обер-прокурора Св. синода, генерал-прокурора и конференц-министра в царствование Елизаветы и сенатора при Екатерине II». Они впервые были опубликованы в Москве в 1810 году.
Яков Петрович был женат дважды. Первой его женой была княжна Александра Алексеевна Путятина, второй – Евдокия Егоровна Лопухина (урожденная Фаминцына). От этих браков он имел четверых детей.