Война 1914 года приостановила коммерческую деятельность Шварца, тем более что его делами активно начал интересоваться чиновник для поручений Московской сыскной полиции Иван Косоверьев.
Несколько раз Шварца приглашали для беседы в тверскую полицейскую часть и даже в Гнездниковский переулок, где находилась Московская сыскная полиция.
От греха Герман Шварц решил уехать в Петроград, где на некоторое время затих, а потом занялся знакомым промыслом. Перед самой Февральской революцией его делом заинтересовался лично начальник Петроградской сыскной полиции статский советник Кирпичников.
Так фамилия Шварца попала в оперативную картотеку российского сыска.
Двенадцатого сентября 1925 года в Музее быта на Шестой линии Васильевского острова появился посетитель. Он не походил на студентов и мелких служащих в толстовках и дешевых пальто. Посетитель был одет в серый твидовый реглан, шляпу-борсалино, дорогие туфли. Он обошел музей и надолго задержался у картины Рюисдаля, любуясь утками, плавающими по мирной глади пруда.
А ночью того же дня четверо фартовых ребятишек подъехали на извозчике к музею. Спортивный молодой человек поднялся по водосточной трубе на второй этаж, «пластырем» (тряпкой, намазанной клеем) выдавил стекло, проник в зал, вынул картину из рамы и спустился по трубе на улицу.
Фартовые, сделав дело, уехали на извозчике в неизвестном направлении.
Герман Шварц, слушавший лекцию профессора Новикова год назад в Берлине, не знал, что злополучную картину атрибутировали, оценили и внесли в реестр госценностей. Поэтому Ленинградский уголовный розыск занялся этим делом весьма серьезно. Сыщиков заинтересовал рассказ о богатом посетителе, долго стоявшем у знаменитой картины.
Один из инспекторов ЛУРа, бывший сотрудник сыскной полиции, поднял архивы и нашел оперативное производство на Германа Шварца. В деле имелась фотография антиквара.
Работники музея опознали в нем богатого посетителя. Все остальное было делом техники. Утром в номер гостиницы «Европейская», где проживал антиквар, пришли сотрудники ЛУРа.
Шварц раскололся на первом же допросе. Ему сказали, что если он поможет следствию, то по возвращении картины его выпустят в Финляндию.
Кстати, так и произошло, но если бы сыщики знали, что Шварц готовил в Москве ограбление Музея изящных искусств, они вряд ли выполнили бы свое обещание. Но они об этом не знали.