В октябре 1933 года Дмитрий Яковлевич переехал в Москву, поселился в общежитии. Решено было, что его жена пока останется в Хабаровске, её заработок мог быть серьёзной поддержкой семье. Однако ревность Дмитрия очень скоро сделала своё дело: он потребовал немедленного приезда Милы в Москву. Пришлось подчиниться.
В ноябре 1933 года в столице собралась вся семья Сердеевых. Жилья не было, у Людмилы Петровны не было и работы. Она и дети временно поселились у знакомых, имевших всего одну комнату, под Москвой, в Павшино. Митя продолжал жить в общежитии вуза. Единственным источником их существования в это время была его стипендия и остатки того, что он заработал в Средней Азии. Почти каждый день он приезжал домой. И тут выявилась одна его странность: оказалось, что он совсем не может переносить езды в городском транспорте: трамвае, троллейбусе и автобусе.
Года три тому назад, в период раскулачивания на Дальнем Востоке, при проверке принятого зерна в одном из сёл его контузило. На него было совершено покушение, в результате чего Митя упал с высоты более шести метров, сильно ушибся головой и получил тяжёлое сотрясение мозга. После травмы он болел недолго, но теперь, через несколько лет, она давала себя знать, особенно при нахождении в тряском, дребезжащем трамвае. Приступ головной боли, головокружение во время таких поездок доводили его до потери сознания. Естественно, что он был вынужден обратиться в больницу.
В Комвуз принимались только совершенно здоровые люди, и поэтому при первом же обращении к врачу Дмитрия Яковлевича направили на медицинскую комиссию, где после обследования было решено его отчислить. Согласно приказу по Комвузу Дмитрий поступал в распоряжение ЦК ВКП(б). Партийные кадры были нужны везде. В особенности нехватка партийных работников ощущалась на юге страны, где было необходимо восстанавливать разрушенное троцкистами и бухаринцами сельское хозяйство. Дмитрия Сердеева, как коммуниста с большим стажем и некоторым опытом хозяйственной и административной работы, направили директором совхоза Хуторок в Северо-Кавказский край около Армавира. Это произошло в декабре 1933 года.
Он приехал на новое место работы, где, по существу, кроме названия и нескольких глинобитных мазанок не было ничего. В голой степи не имелось даже колодцев – для питья использовали дождевую воду, собираемую в особые чаны. Дмитрий понял, что, начав работать здесь, он не только не обеспечит мало-мальски приличное существование семье, но, во-первых, всё равно должен будет жить от неё отдельно (ведь школы-то там не было), а во-вторых, рискует потерять свой партийный билет. В сельском хозяйстве он разбирался очень слабо, однако, достаточно для того, чтобы понять, что с теми материальными ресурсами, которыми в то время располагал совхоз Хуторок, добиться более или менее положительных результатов невозможно. Он решил от этого дела отказаться и лучше вернуться обратно в Хабаровск на свою прежнюю должность, чем рисковать головой без видимой перспективы на успех.