Однако Ламздорфу такая перспектива близости к императорской чете не улыбалась. «Изменчивый» в настроении монарх то и дело кого-то арестовывал, разжаловал и ссылал. Это касалось прежде всего придворных и людей военных. Опальные люди наполняли казематы Петропавловской крепости, гарнизонные гауптвахты, высылались в отдаленные города и собственные деревеньки, а порой и в такую далекую от столицы Сибирь.
Царедворец попытался ускользнуть от такой действительно большой при дворе чести быть воспитателем великих князей. Самодержцу это не понравилось, и он сказал Ламздорфу, два года назад отправленному в отставку, достаточно строго и требовательно:
«Если вы не хотите взяться за это дело для меня, то вы обязаны исполнить это для России, одно только скажу вам – чтобы вы не сделали из моих сыновей таких шалопаев, каковы немецкие принцы».
После такого разговора Ламздорфу не оставалось другого выхода, как с благодарностью верноподданного принять новое назначение. Оно давало ему еще больший вес при дворе, повышенное жалованье и нескрываемые от окружающих надежды на то, что кто-то из его малолетних воспитанников в будущем «пойдет в гору». Испытывать же собственную судьбу царедворец дальше не стал. Можно было попасть в опалу со ссылкой не просто в свое родовое имение с обустроенным барским домом, а в самую что ни есть отдаленную деревеньку. Ламздорф досаждать маленьким великим княжатам науками не стал, но с первых дней стал держать их по-прусски в подчеркнутой строгости, что родителю понравилось.
Исследователи сходятся на том, что императорская чета в выборе воспитателя младших сыновей сделала неудачный выбор. По суждениям современников, Ламздорф «не обладал не только ни одною из способностей, необходимых для воспитания особы царственного дома, призванной иметь влияние на судьбы своих соотечественников и на историю своего народа, но даже был чужд всего того, что нужно для человека, посвящающего себя воспитанию частного лица».
Павловичи подрастали, а отец все также урывками занимался их личным воспитанием, с удовольствием играя с ними. Отец и мать баловали вниманием только наследника Александра, что, впрочем, так и должно было быть в царствующих домах Европы и Востока. Николай в «Воспоминаниях о младенческих годах» описывает такие случаи: