.
Гл.3 Рациональное использование ресурсов.
Если тебе повезло, владелец продукта пробил бюджет и под задачи твоего проекта выдали КТС, то есть серверы виртуальные, физические или даже baremetal, то их утилизация становится головной болью значительно большей чем разработка и размещение софта на этих тачках. Коллеги из Инфраструктуры уже заботливо установили туда своих агентов и меряют утилизацию в Прометеусе. И не дай бог если твоя утилизация составит менее 85% процессорного времени и памяти, тебя сожрут с потрохами за такой раздутый сайзинг. Если же из-за активной работы свободное место на жестком диске сервера становилось менее 10%, то ты по ночам подрывался на инцидент вместе с ребятами из сопровождения. Жесть, да?! Но все это не про нашу команду. Гладко было на бумаге. Проблему с утилизацией мы поручили решить стажеру, который проходил у нас практику от МГТУ и он написал несколько сервисов и приложений почти бесполезных, с пустыми циклами внутри, но зато незаменимых для повышения нагрузки. Хитрая система шедулинга в Cron обеспечивала нам избыток ресурсов для работы основного ядра, во время активности которого фейковые сервисы ставились на стоп. Проблемы с жестким диском не было, периодически мы подчищали нерационально накопленные логи и старые данные в базах, благо на нас не наезжали безопасники с нормативными требованиями хранить каждый чих 3 года. Но однажды наш тим лид, как самый головастый, увидел в квоте, выделенной нам недавно в Биг Дате какие-то warning-и. И поручил мне разобраться, как самому в этом вопросе компетентному, читай единственному, ну да был у меня небольшой опыт в прошлой конторе, чуть-чуть поработал с hadoop-ом и ozon-ом, я даже знал как запускать spark в hue, поймите меня правильно. Вообще эту квоту выделили Грише, но он хрен забил. Офис нашей компании, где мы сидели располагался на Боровой улице, здесь же в бывшей промке располагался нехилый ЦОД с кучей машинных залов забитых серверами, думаю половина из них принадлежала нашей компании, фирма не экономила на железе. Но вообще мне говорили знакомые админы, что основные мощности давно перевезли в Сколково, где в подземных хранилищах заполнены стойками площади размерами в несколько футбольных полей и серверы все сплошь были новыми экспериментальными, с квантовыми, прости господи, процессорами. Обычные админские байки, но в силу некоторых открывшихся обстоятельств я скорей был склонен верить, чем не верить… Я дал команду hdfs dfsadmin -report… но сервер мне выдавал какие-то издевательски-кривые цифры, 15 раз посчитав нули я прикинул что наша квота измеряется экзабайтами…одна только папка