В пятнадцатиметровой комнате, перегороженной старой мебелью на «столовую» и «спальню», помещалось четыре человека, Устинья Андреевна воспитывала сироту-племянницу. Она рассказывала Жирмунской – какой «Юрочка музыкальный» определили еще в детском саду: «Приведу его домой – в руки балалайку… Он радио слушает и мотивы подбирает. Залихватски „цыганочку“ играл…» Позже освоил аккордеон, случалось подрабатывать на танцах. Польза была очевидной. А вот сочинительства Устинья Андреевна, по словам Т. Жирмунской, никак не одобряла, повторяла, что литература – жестокое дело, что знай она это раньше, нипочем бы не пустила сына на это поприще: «Она так и выразилась по старинке: „поприще“». В раннем детстве Казаков читал мало. Было не до того. Надо было выживать, полагаясь лишь на самих себя. Устинья Андреевна была женщиной грубоватой, напористой, с готовностью встречала любые жизненные передряги и в семье, безусловно, главенствовала.
В годы войны все у них с матерью упиралось в заботы «о хлебе, одеже», о том, как обменять карточные талоны на продукты, они откровенно голодали, соглашаясь на самую черную работу. По рассказам Устиньи Андреевны, они с сыном возили кряжи для топки бани, разгружали баржи с картошкой и капустой в осажденной Москве, чистили кирками лед на Крымском мосту… Чтобы как-то помочь семье, Казакову не терпелось поскорее обрести самостоятельность, получить конкретную профессию, определиться при деле. Словом, после восьмого класса, в 1944 году, он поступил в московский Архитектурно-строительный техникум, а в 1946-м – в Музыкальное училище имени Гнесиных.
Военное отрочество, послевоенная юность – глухая, безрадостная полоса в биографии Казакова.
Много лет спустя в письме к Эдуарду Шиму он жаловался: «А вообще-то грустно, как начнешь перебирать юность, не знаю, как у тебя, – у меня это самое печальное время. Хоть брось!..»
Спасительной отдушиной обещала стать музыка. В 1942 году Казаков учился в музыкальной школе по классу виолончели. «Но так как заниматься музыкой я начал довольно поздно (с 15 лет) и пальцы мои были уже не столь гибки, то я, – рассказывал он, – скоро понял, что виртуозом-виолончелистом мне не стать, и перешел на контрабас, потому что контрабас вообще менее „технический“ инструмент, и тут я мог рассчитывать на успех».