Руководить строительством крепости поручили воеводе Семёну Фёдоровичу Сабурову с помощниками Иваном Судаковым (Мясным) и Василием Биркиным. По своим размерам крепость была небольшой. Это наглядно видно на схеме крепости, наложенной на участок современного плана Воронежа в районе улиц Володарского, Платонова и Плехановской.
А ещё нагляднее это будет заметно экскурсантам, стоящим в начале нашего маршрута на Университетской площади. Крепостные стены образовывали неправильный многоугольник, а направления и длина их определялись профилем обрывистых склонов. В стены встроили шесть башен. Из них пять были проездными, а одна, возведённая на самом опасном, восточном направлении, предназначалась только для оборонительных боёв, и в ней отсутствовали ворота. Одновременно со строительством крепости стали строиться за её пределами дома для проживания служилых людей и ведения хозяйства на приусадебных участках. В крепости-то им жить было негде, там нужно нести ратную службу.
Не всем соседям Русского государства было тогда по нраву появление пограничных русских крепостей. В 1590 г. в Воронеж прибыл отряд черкас из польской Украины якобы для того, чтобы согласовать совместные планы борьбы с Крымским ханством. Их пустили в крепость, хорошо угостили, а ночью они открыли крепостные ворота, впустили большой отряд, а потом вырезали всех спящих защитников крепости и подожгли её. Но крепость очень скоро восстановили, и она ещё долго несла свою пограничную службу. А когда границы державы отодвинулись на юг, надобность в приграничной цитадели отпала. На её месте стали возникать разные постройки, в том числе храмы.