После возвращения из Рима Якоб отправился в Австрию, по стопам своего беспокойного деда Франца, дабы изучить перспективы бума горнодобычи. Эта поездка знаменовала важное изменение статуса Якоба. Он ехал в Австрию не как ученик или младший партнер, а как полноправный коммерсант с серьезными обязанностями и полномочиями принимать ответственные решения. Он сполна воспользовался предоставленным шансом. Именно в Австрии Фуггер впервые проявил свою великолепную деловую хватку. Его австрийские сделки показывают умение завлекать клиентов, готовность масштабно рисковать и необыкновенный талант к переговорам.
До этого момента семья Фуггеров занималась исключительно покупкой и продажей текстиля. Но горнодобыча представлялась многообещающим направлением бизнеса и сулила куда более высокие прибыли. Соблазн привел Фуггера в деревню Швац, двадцатью милями ниже по реке Инн от Инсбрука. Большую часть своей истории эта деревня оставалась бедной крестьянской общиной. Вследствие расположения в предгорьях местный климат не способствовал урожайности, да и период вегетации был коротким. Хуже того, река каждые несколько лет выходила из берегов, уничтожая урожай. Все изменилось в 1409 году, когда дочка крестьянина, пасшая корову за деревней, наткнулась на кусок блестящего металла; быстро выяснилось, что это серебро. Находка оказалась как нельзя кстати. Серебро встречалось редко, поэтому цена на него в пятнадцатом столетии достигла своего пика: серебро продавалось максимально близко к цене золота. Монетные дворы требовали серебра для чеканки монет. Богачи желали кушать с серебряной посуды – тарелок, кубков и так далее; для них это была форма сбережений, что-то вроде вложения в недвижимость.
Охотники за удачей наводнили деревню Швац и обеспечили ей кратковременный «золотой век». В лучшие дни население деревни достигало сорока тысяч человек, больше, чем в Аугсбурге; деревня даже стала вторым по численности жителей населенным пунктом в Австрии после Вены. Таверны и постоялые дворы возникали словно из ниоткуда. Горняки из Богемии прибывали в таких количествах, что им пришлось строить собственную церковь. Работы хватало всем. Швац оставался крупнейшим в мире месторождением серебра до открытия месторождений Нового Света в Потоси и Сакатекас столетие спустя. В пору расцвета Швац производил четыре из каждых пяти тонн европейского серебра.