Благодаря необыкновенной музыкальной памяти Алексей не только знал всю ткань множества оркестровых произведений, но и мог рассказать, как то или иное место исполнял тот или иной дирижер и почему это было хорошо или плохо. Его зрительная память фиксировала все особенности дирижерской техники, и он на всю жизнь сохранил поразившие его исполнительские традиции Сафонова – дирижера симфоний Скрябина. Поэтому никто из музыкантов не удивлялся, когда он, мальчик, приходил с двумя юношами, своими братьями, и слушал неотрывно долгие репетиции или концерты.
Когда ему подарили игрушечный театр, величиною со стол, с декорациями и освещением, он увлеченно, до самозабвения, создавал всё новые и новые декорации к операм. Его мало занимали фигуры, но ему нужно было поэтичное театральное освещение, для того чтобы, установив декорации к мизансценам, он мог за дирижерским пультом продирижировать любимую музыку.
В лесу возле деревни Звонко́вой [под Киевом – примеч. ред.], где семья обычно проводила лето, была поляна, окруженная мощными соснами наподобие амфитеатра. Посреди поляны долго сохранялся пенек, на котором одиннадцатилетний мальчик наизусть дирижировал про себя, для себя все симфонии Скрябина. Это с тех дней пошло у него дирижирование наизусть. Он говорил, что наизустное дирижирование без партитуры перед глазами дает чувство свободы, раскованности.
Интересно, что до Первой мировой войны эту мирную украинскую деревню на берегу тихой реки Ирпень облюбовал известный украинский дирижер Виноградский. В историю русской музыки он вошел как человек, открывший композитора Калинникова. (Алексей Федорович впервые исполнил его Симфонию № 1 и всячески до самого конца поддерживал и помогал, даже воевал за него с самим Римским-Корсаковым.)
Вот черточка давно забытых нравов: когда Виноградскому на репетиции не хватило нескольких минут (а задерживать оркестрантов в то время категорически воспрещалось), Виноградский, выбросив руки, закричал: «За каждую лишнюю минуту плачу вам, каждому, по золотому!» И заплатил изрядный куш. За ним потянулась в те годы в Звонковую музыкальная и художественная элита Киева. Жила там и великолепная пианистка Штосс-Петрова, прозванная высокопарными критиками за свою красоту Аспазией. Один музыкальный энтузиаст привозил на дачу два рояля, чтобы братья Козловские могли давать концерты.