Многие коллеги Анофриева вспоминали его как очень веселого и обаятельного человека. Он любил быть в центре внимания и всегда собирал вокруг себя людей. Будучи женатым человеком, Олег Андреевич последние годы легко признавался, что в киноэкспедициях любил приударить за хорошенькими женщинами. Артист не скрывал, что «соблазнял» тех, кто ему очень нравился, но никогда не помышлял о разводе, потому что очень любил свою жену. «Я не влюбчивый, но я был ловелас страшный. Но всегда гордился тем, что ни одной женщине не сказал, что я ее люблю. Это пакостно, конечно. Но я старался оставаться честным по отношению к моей жене», – говорил Олег Анофриев.
Олег Анофриев был женат всего раз – он всю жизнь прожил с Натальей Георгиевной Отливщиковой, которая долгое время работала врачом в московском бассейне «Чайка». По словам дочери Марии, отец очень любил мать и ревновал до последнего дня своей жизни. Олег Андреевич всегда хотел видеть рядом жену и настоял, чтобы супруга вышла на пенсию, как только ей исполнилось 55 лет.
Внучка Анофриева, Наталья, вспоминала деда: «У него душа ребенка. Не помню, чтобы он мне или моему сыну сказал: «Я сейчас занят». Я никогда не воспринимала его как артиста. Просто дедушка, просто поет. Дед был веселым, всегда хулиганил, очень любил жить…», – сказала Наталья.
Голос Олега Анофриева известен всем, а сила и диапазон его вокала поражала телезрителей. Например, Анофриев спел все партии для мультфильма «Бременские музыканты». Он озвучил Трубадура, Атаманшу, Разбойников, Петуха, Кота, Пса, Охранников Короля, исполнив песни Геннадия Гладкова на стихи Юрия Энтина. Благодаря потрясающему тембру и тщательному подходу к каждому герою, этот мультфильм и сегодня один из самых смотрибильных. Чего стоит только песня главаря разбойников, образ которой Олегом Анофриевым был взят по образу знаменитой артистки. В песне «Говорят мы бяки, буки» с первых нот узнаётся Раневская Фаина Георгиевна. Он озвучил столь непохожих и разных героев культового мультфильма «Львенок и черепаха». Он вживался в образы, пытался находить в них изюминки, и это у него получалось на отлично.
Профессионал своего дела не любил дилетантов. Его отношение к процессу всегда был профессиональным: выполнение точное, быстрое, качественное. Его приглашали на самую ответственную работу, когда прямые эфиры и нужно было вести без дублей и ассистентов. Шутил, импровизировал так, что невозможно было оторваться от экрана. При съёмке новогодней передачи он долго ждал своей очереди. Проходили минуты, часы в томительном и ненужном ожидании, а команда операторов не спешила снимать актёра. Тогда он просто встал и ушёл со съёмочной площадки, потому что любил профессионализм…