Некоторые исследователи считают, что библиотека сгорела при одном из пожаров, которые регулярно опустошали Москву. Но так как библиотека благополучно сохранялась во всех пожарах того полустолетия, которое прошло между посещениями ее Максимом Греком и Веттерманом, в том числе в страшнейшем пожаре 21 июня 1547 г., о последствиях которого в летописи записано: «…и оружничая полата вся погоре с воиньским оружием, и постелная полата с казною выгоре вся; и в погребех на царьском дворе, под полатами, выгоре вся древяная в них», то, значит, она должна наверняка сохраниться и в последующих пожарах.
Есть предположение, что библиотека была разграблена. Но тогда бы книги и рукописи из нее, безусловно, оказались в каком-нибудь книжном собрании и стали известны, а до сих пор они нигде не обнаружены, несмотря на специальные поиски. Значит, библиотека не была разрознена.
О сокровищах библиотеки московских государей на Западе стало известно во второй половине XVI в., и тогда же ею заинтересовались. О миссии Сапеги и Аркудия говорилось выше. В 1662 г. в Москву прибыл газский митрополит грек Паисий Лигарид, ученик Аркудия, он обратился к царю Алексею Михайловичу с просьбой разрешить ему пользоваться книгами закрытой для всех царской библиотеки, ибо, пишет он, «вертоград, заключенный от алкающих, и источник, запечатленный от жаждущих, по справедливости считаются несуществующими. Я говорю сие к тому, что давно уже известно о собрании вашим величеством из разных книгохранилищ многих превосходных книг; поэтому нижайше и прошу дозволить мне свободный вход в ваши книгохранилища для рассмотрения и чтения греческих и латинских сочинений». Ответ царя на письмо газского митрополита неизвестен, но ему ответил патриарх Никон: «…о книгах пишешь до царского величества, яко от многих стран собраны суть и запечатлены без пользы; несть была на се царская воля, но мы трудились в тех и есть ныне в дальних наших монастырех отвезены». Лигариду были предоставлены рукописи и книги из Патриаршей библиотеки. Видимо, в России при царском дворе о тайной библиотеке Ивана Грозного уже никто не помнил и не знал.
Правда, все же какие-то слухи ходили. Голландский дипломат Никлас Витсен, находившийся в России приблизительно в то же время, что и Паисий Лигарид, в одной из дневниковых записей 1664 г. рассказывает, что на его расспросы о царской библиотеке «говорят определенно, что здесь находятся древние книги Александра Великого, а также летописи страны и карты», но она недоступна посторонним, «только одни наши братья имеют туда доступ». Скорее всего, в ответе смешались предания о легендарной библиотеке древних рукописей и сведения о государственном архиве, но Витсен явно интересовался библиотекой Ивана Грозного.