В первой половине VI века Керчь (в то время она называлась Пантикопей) вошла в состав Византийской империи. С этого времени она получила новое название – Боспор. Один из святейших монахов – Епифаний, который был в Боспоре проездом в 815—820 годах, упоминал в своих записях о храме Святых Апостолов внутри города. Он сообщал, что в основании храма установлен ковчег с мощами Апостола Симона Калита. Византийский Боспор был окружён высокой стеной, и храм располагался на территории города.
В VIII Хазарский каганат захватывает город, и он меняет своё название на Чарша. Однако хазары не разрушали храм. Они не тронули ни прихожан, ни священнослужителей, и службы шли вплоть до X века.
В 964 году сын князя Игоря Святослав напал на Хазарию. Хазары сохранили за собой лишь земли по реке Кубани и берегу Керченского пролива. В 986 году, сказано в сочинении Иоанна Мниха, русское войско совершенно свободно прошло через Северный Кавказ, вдоль Терека, до Каспийского и Чёрного моря и захватили хазарские земли. Восемнадцатимильный Керченский пролив не был преградой. Была взята и Чарша.
После вхождения в состав Тмутараканского княжества город называют Корчевом. Считается, что название происходит от «къркъ» – горло (имеется в виду Керченский пролив). По другой версии название Корчев получилось от слова «корчить», т.е. корчевать. Во время взятия Керчи при уличных боях, в храме возник пожар. По указу князя Мстислава началась реставрация храма, которая длилась более 60 лет. Была восстановлена кладка храма, роспись внутренних стен, а также крестово-купольная система постройки. В процессе реконструкции церковь частично была разобрана, а затем собрана с использованием прежних конструктивных элементов (мраморных колонн с коринфскими капителями, обожжённого кирпича – плинфы и т.д.) и на основе имеющегося крестово-купольного плана.
В конце XI века Керчь захватывают половцы (кипчаки), которые в середине XI века захватили большую часть Крымского полуострова. Половецкие ханы запретили посещение храма, и он приходит в упадок. Храм ветшает и начинает разрушаться. Но владычество половцев было относительно кратковременным. Уже в конце XI века Византия прочно удерживала под своим контролем южную часть Крымского полуострова до Боспора (Керченского пролива), а половцы кочевали в степи.