Житие святого Филиппа говорит о его отце в самых общих словах, как о знатном и благочестивом советнике Василия III, «…украшенном многими добродетелями, исполненным ратного духа, большом знатоке Божественных заповедей и государевых законов (исправлений)».
Мать будущего митрополита звали Варварой, и в конце жизни она постриглась в монахини, приняв имя Варсонофия. Автор Жития ласково именует ее «многоцветущей и плодовитой лозой». Что ж, детьми эту женщину Бог и впрямь не обидел. В популярной литературе ее называют «набожной женщиной», опираясь на сам факт принятия ею иноческого сана. Но постриг может объясняться совершенно иначе: после смерти мужа и ухода старшего сына Федора в монахи ей не на кого была опереться, и монастырь оказался наилучшим исходом. Уход в монашество после кончины супруга было обычным делом среди русских женщин старомосковской эпохи.
О семейном быте четы Колычевых Житие сообщает в нескольких строках: супруги соблюдали закон Божий и Заповеди евангельские, жили в достатке, много жертвовали «сирым и убогим», были глубоко верующими людьми и любили друг друга. Вот и всё.
Помимо Федора, у Степана Ивановича было еще трое сыновей: Прокофий, Яков и Борис. Все четверо числились в новгородских помещиках. Из них первые три сына ушли из жизни бездетными. Быть может, Прокофий и Яков умерли рано – на государевой службе их не видно, во всяком случае, заметного положения они не добились.
Изо всех продолжил род только Борис. Вообще, Борис Степанович Лобанов-Колычев, в отличие от отца и старшего брата, пошел по традиционному пути служилых аристократов. Это был военный человек, к зрелым годам выслуживший воеводские назначения. Он был таков, каким предстояло стать Федору Колычеву и каким он никогда не станет. Младший сын в каком-то смысле заменил старшего, прожил его жизнь…
Между 1559 и 1561 годами его биография пресеклась. Как – неизвестно.
В 1561 году Филипп вписал в заупокойный помянник Соловецкого монастыря имена своего отца Степана, матери, инокини Варсонофии, и брата Бориса. Как судьба обошлась с двумя его другими братьями – Прокофием и Яковом, – остается только гадать. Возможно, к тому времени они все еще были живы, но с той же вероятностью могли умереть намного раньше, еще в юности, и потому не попали в соловецкий помянник{ По сообщению писателя-краеведа Романа Гацко, отец и мать святителя похоронены в селе Ворсино-Колычево под Подольском.}.