23 ноября 1923 года ЦИК СССР утвердил Положение о Верховном Суде Союза Советских Социалистических Республик.[28] В Положении определялись функции, правомочия, структура и штаты Прокуратуры Верховного Суда Союза ССР. Прокурор Верховного Суда СССР и его заместитель в соответствии со статьей 46 Конституции СССР назначались Президиумом ЦИК Союза ССР и были подотчетны Президиуму. В статье 21 указывалось, что Прокурор и его заместитель состоят при Верховном Суде. Однако Прокурор Верховного Суда СССР занимал самостоятельное положение.
В составе Верховного Суда СССР, согласно статье 46 Конституции СССР 1924 года, учреждался пост Прокурора Верховного Суда СССР, однако правом назначения на эту должность обладал Президиум ВЦИК, т. е. высший законодательный, исполнительный и распорядительный орган власти СССР (статья 29). При Прокуроре Верховного Суда СССР состояли два помощника, утверждаемые по его представлению ЦИК СССР: один – по военной прокуратуре, другой – по надзору за ОГПУ. Увольнение и назначение военных прокуроров осуществлялось приказом Прокурора Верховного Суда СССР по представлению прокуроров соответствующих союзных республик. Вопросы организации и деятельности прокуратуры, подчинения и подотчетности в других советских республиках законодательно оформлены примерно в том же плане, что и в РСФСР.[29]
Прокурор Верховного Суда СССР руководил деятельностью всех военных прокуроров и возглавлял в союзном масштабе надзор за законностью деятельности ОГПУ. В ноябре 1930 года Прокурору Верховного Суда СССР было передано непосредственное руководство деятельностью прокуроров железнодорожного транспорта. Это было еще одно из важных мероприятий по созданию единого центра прокурорского надзора. Прокурор Верховного Суда получил право вмешиваться по некоторым отраслям надзора в деятельность прокуроров союзных республик, но не объединял всю их деятельность, а тем более не подчинял себе органы прокурорского надзора союзных республик.
С годами органы прокуратуры набирали силу, приобретали опыт, все более расширялась их компетенция. На данном этапе возникала необходимость определения статуса прокуратуры как самостоятельного государственного органа. Этому было посвящено Постановление ЦИК и СНК СССР от 20 июня 1933 года «Об учреждении Прокуратуры Союза ССР».