Павел Первый очень благоволил князю Юсупову и рассердился на него всего только один раз, за несколько часов до своей ужасной кончины. Князь Николай Борисович был в числе гостей императора в Михайловском замке в ту ночь, когда Павел был убит. Вечер проходил весело, ничто не предвещало ночного кошмара, и вдруг царь нахмурился: он сосчитал своих гостей, а их оказалось числом 13! Император помрачнел и вышел из-за стола. В зале было зеркало чудной работы, изготовленное на подмосковной фабрике князя Юсупова. В идеальной чистоте зеркале царь вдруг увидел свое искаженное воображение, и он отругал Юсупова, якобы за плохое качество изделия.
20 мая 1801 года указом императора Александра I Юсупов был назначен верховным маршалом предстоящей коронации и руководителем Коронационной комиссии, торжества проходили в Москве. «В самый день коронации ему были вручены алмазные знаки к ордену Св. Андрея Первозванного». Однако вскоре, как и многие придворные, входившие в ближайшее окружение императора Павла I, князь вышел в отставку по причине расстройства здоровья. К этому времени он имел чин действительного тайного советника, сенатора, был кавалером орденов Св. Владимира 1-й степени, св. Александра Невского, Св. Анны 1-й степени, Св. Иоанна Иерусалимского, Прусских Черного и Красного орла, Польских Св. Станислава и Белого орла. Современница князя Е. П. Янькова вспоминала, что «он имел все российские ордена, портрет государя, алмазный шифр, и когда не знали уже, чем его наградить, то была ему пожалована одна жемчужная эполета». После выхода в отставку Юсупов начинает энергично заниматься обустройством своих имений и вотчин.
Тайна. До сих пор остается загадкой все, что связано с внезапным появлением в феврале 1799 года в московском доме двух детей – Бориса Николаевича и Елизаветы Николаевны Ракитянских, происхождение которых и их родство между собой не установлены.
Детей привезли из слободы Ракитной и по распоряжению князя, который в то время был в Петербурге, поселили в «верхних барских покоях». Их воспитанием и образованием Юсупов занимался лично, и они пользовались всеми преимуществами детей из дворянских фамилий.
В ноябре 1805 года после длительной «легочной болезни» Борис Николаевич умер. Для князя это был страшный удар, от которого он смог оправиться лишь несколько месяцев спустя. Примечательно, что еще летом, когда у мальчика только появились первые признаки заболевания и об этом дали знать князю, находившемуся в Ракитной, он тотчас прервал свою поездку и возвратился в Москву.