Родившись в интеллигентной семье и получив хорошее домашнее начальное образование, он продолжил обучение, поступив в четвертый класс Второй Санкт-Петербургской гимназии, к этому моменту уже в совершенстве владея французким и немецким языками и занимаясь переводами литературных произведений. Гимназию А. Ф. Кони окончил с семью похвальными грамотами и в мае 1861 года сдал экзамены на математическое отделение Санкт-Петербургского университета. На экзамене по тригонометрии его ответы на сложные вопросы сверх программы так восхитили экзаменатора – академика О. И. Сомова, что он готов был немедленно на руках отнести чудо-абитуриента, чтобы представить его ректору.
Однако вскоре, в декабре того же года, столь блестяще начатое обучение неожиданно прервалось: университет был закрыт на неопределенное время из-за студенческих волнений и беспорядков. Чтобы продолжить образование, А. Ф. Кони переехал в Москву и поступил сразу на второй курс Московского университета, но не на математический, а на юридический факультет.
С блеском закончив университет и получив ученую степень кандидата прав, в 1865 году А. Ф. Кони начал юридическую карьеру, отказавшись от предложения остаться в университете, поскольку считал неправильным преподавать, не имея практического профессионального опыта.
Некоторое время прослужив на юридической должности в Главном штабе Военного министерства, он, чувствуя непреодолимое влечение к судебной работе, в апреле 1866 года перешел в Санкт-Петербургскую судебную палату на должность помощника секретаря по уголовному департаменту и в последующие годы сменил несколько должностей в разных городах. В Санкт-Петербург А. Ф. Кони возвратился через 6 лет, в 1871 году, и уже прокурором Санкт-Петербургского окружного суда.
В этой должности он работал более четырех лет, в течение которых руководил расследованием наиболее сложных уголовных дел и выступал обвинителем в суде. Именно в это время А. Ф. Кони приобрел широкую известность как судебный оратор, его обвинительные речи печатались в газетах.
Вскоре в его судьбе произошел резкий поворот: в июле 1875 года он был назначен вице-директором департамента министерства юстиции и вновь вернулся к судебной работе лишь в январе 1878 года – уже в должности председателя Санкт-Петербургского окружного суда.