Рис. 2.4. Функция активации, то есть зависимость исходящего сигнала (вертикальная ось) от суммы входящих (горизонтальная ось)
Простейший вид функции активации – ступенька. Если число на входе меньше порогового значения U, то функция превратит это число в ноль. Если больше порога, то в единицу. Так вся бесконечная числовая ось отображается в две точки: ноль или один. Удобно, не правда ли? Удобно, но возникает несколько вопросов.
Почему ноль – понятно. Но вот почему именно единица? Почему не корень из двух, почему не минус сто, почему не потенциал ионизации атома водорода? Да потому что сравнивать не с чем. Все нейроны одинаковые. Эталон сигнала мы выбираем сами. Так что мешает положить максимально возможный сигнал равным единице? Ничего не мешает. Вот мы и кладём. Чтобы считать было легче.
А почему, либо ноль, либо единица? А если порог почти-почти преодолён? Или сумма входных сигналов застыла прямо на пороге? Направление вашей мысли понравилось бы любому специалисту по нейронным сетям. Чем дальше в лес, тем более хитрые зависимости выходного сигнала от входного придумывали учёные. Вместо ступеньки теперь часто рисуют «сигмоиду» – такую гладенькую возрастающую выпуклую кривую (рис. 2.5), прижимающуюся к единице по мере возрастания входного сигнала. То есть нейрон как бы верещит, но не громко.
Рис. 2.5. Пример гладкой функции активации
Особо хитрые учёные вообще говорят не об отклике нейрона на сигнал, а о вероятности отклика. Логика та же. На вход нейрона подаётся сигнал. Чем сигнал выше, тем больше вероятность, что нейрон в следующую секунду заверещит. То есть нейрон может (редко, но может) откликнуться на очень слабый сигнал и промолчать на очень сильный. Но у нас никаких «следующих секунд» нет, у нас пока всё синхронно и мгновенно. Поэтому не беспокоимся. И начинаем связывать нейроны в единую сеть.
Задача идеальной имитации электрических сигналов, которыми обмениваются нейроны, до сих пор не решена. Как мы уже сказали, настоящие нейроны генерируют довольно сложные последовательности всплесков и пиков. Тем не менее большинство моделей смело игнорируют эту сложность и не теряют эффективности. А рынок легальных препаратов, влияющих на высшую нервную деятельность, ширится и углубляется едва ли не быстрее, чем рынок препаратов нелегальных.