Первым браком Иван был женат на Марье Борисовне, дочери великого князя тверского. От нее у него был сын, Иван Молодой. Но великая княгиня вскоре померла – ходили глухие слухи, что недруги отравили ее. Не прошло и двух лет, как Иван задумал снова жениться. В 1469 году был прислан в Москву от известного философа-гардинала Виссариона, одного из греческих митрополитов, подписавших флорентийскую унию, гречин Юрий. В своем письме к Ивану гардинал-философ предлагал ему руку царевны византийской Софии, которая после гибели Царьграда от руки агарян жила в Риме и славилась на всю Европу своей неимоверной толщиной. Гардинал уверял великого государя, что Софья из преданности вере своей греческой уже отказала в руке королю французскому и дуксусу медиоланскому. Иван сразу учел выгодность для себя такой партии – в лице Софьи к Москве как бы переходила вся былая слава Византии – и отправил в Рим итальянца-выходца, монетного мастера Ивана. Иван на Москве от буйства латынского отстал и, к делам веры вообще довольно равнодушный, нагородил и наобещал всего в Риме горы. Папа Павел, надеявшийся через Софью привлечь Московию если не к латынству, так хоть к унии, послал с ним Ивану портрет царевны и опасные грамоты для проезда московского посольства по царевну через католические земли.
В 1472 году необъятная Софья была вывезена в Московию. Ее самолюбию не очень льстило, что она идет за какого-то татарского данника. Но по дороге ей повсюду в Русской земле были устроены чудесные встречи. Псковичи, все сильнее чувствовавшие тяжелую длань государя московского, отвалили ей в дар целых пятьдесят рублей да фрязину Ивану за хлопоты десять рублей дали. За Софьей шел на Москву легатос папский со своим латынским крыжом. Прознав о том, Иван скорее запросил синклит свой боярский, как с этим легатосом и крыжом быть. И бояре порешили: как он идет, так пусть себе и идет – кака беда?.. Но митрополит Филипп, со свойственной святителям мудростию, заявил великому государю:
– Не можно тому быть никак! Не только в святый град не может латынщик поганый войти, но даже и приблизиться к нему ему не подобает. А ежели позволишь ему так учинить, то он в одни ворота – а я в другие. Недостойно нам того и слышать, не только видеть, потому что возлюбивший и похваливший чужую веру, тот своей вере поругался…