Поначалу серебряными рудниками, заводами, мастеровыми, крестьянами и ссыльнокаторжными управляли из Нерчинской горной конторы.
В 1743 году на рудниках числилось 90 каторжан.
Число каторжников резко возросло после 1754 года: правительство империи заменило смертную казнь на каторгу, которая называлась «вечными работами» на рудниках.
В 1758 году появилась Нерчинская горная экспедиция. В 1760-х годах на Нерчинские рудники следовали уже до 1000 каторжан в год.
Помимо обычных убийц и воров на каторгу прибывали экзотичные личности, вошедшие в историю.
Из имеющихся документов нам известно, что на Нерчинских рудниках в 1760-х годах затерялись следы двух самозванцев, именовавших себя Петром III. Первый самозванец – Гаврила Кремнёв, который появился в 1765 году в Воронежской губернии и объявлял себя в деревнях неким капитаном, а позже чудом выжившим Петром III. Естественно, его поймали, выжгли на лбу клеймо «БС» – «Беглец и самозванец» и отправили на вечные работы в Нерчинские рудники. Вторым самозванцем тоже был солдат, Пётр Чернышов. «Объявился» он на Украине, в Изюмском уезде. Был пойман и тоже отправлен на Нерчинские рудники. Но в отличие от первого самозванца, Чернышов убеждал каторжников, что он действительно Пётр III. Местные люди несли ему баранину и прочую снедь, а потом и вовсе устроили побег. Но каторга – всё Забайкалье, и не местному человеку, скрыться невозможно. Чернышова поймали, принародно высекли и отправили в Мангазею. По дороге он умер.
В числе народов, заселявших Сибирь, были и поляки. Часть из них относилась к ссыльнокаторжным с XVIII века. Так на Нерчинские рудники в конце 1760-х и начале 1770 годов были отправлены сломленные Барские конфедераты, после чего появилась возможность первого раздела Речи Посполитой. В 1794 году на Нерчинские рудники были отправлены участники восстания Т. Костюшко.
В 1773 году в Даурскую землю прибыли сосланные сюда участники пугачёвского восстания – яицкие казаки. Ими основано несколько населённых пунктов Забайкалья: Чащино-Ильдикан, Калга и, возможно, другие. Писатель Константин Седых в биографии подчёркивал, что мать его происходила из яицких казаков, отправленных на каторгу после пугачёвского восстания.
Таковы типы известных каторжников XVIII века.
5 января 1787 года Екатерина Вторая подписала указ, согласно которому Нерчинские заводы передавались Кабинету Его Императорского Величества. Известные и оставшиеся в истории наименования тюрем, которые были закреплены за каждым заводом: Петровск-Забайкальская, наиболее удалённая от всех остальных, далее уже скученно, ближе к Шилке и Аргуни – Казаковская, Мальцевская (женская), Кутомарская, Кадаинская, Карийская, Александровско-Заводская, Алгачинская, Акатуевская, Горно-Зерентуйская.