1. Изображение пропускается через сверточные и полносвязные слои.
2. На каждом из этих слоев используются нейроны с функцией активации ReLU. ReLU активирует нейроны для всех положительных значений, а все отрицательные преобразует в ноль, ускоряя вычисления и обучение.
3. После ряда слоев сеть дает прогноз по объекту, показанному на изображении.
Особенность: ReLU хорошо справляется с глубокими сетями, позволяя избежать затухания градиентов, так как не сглаживает значения. Однако если нейроны получают очень большие или слишком маленькие значения, они могут "умирать", становясь всегда равными нулю и отключаясь от дальнейшего обучения. Поэтому для глубоких сетей иногда используют его модификацию – Leaky ReLU, которая сохраняет небольшие отрицательные значения, предотвращая «умирание» нейронов.
tanh (гиперболический тангенс)
Задача: Предсказание изменения цены акций в зависимости от рыночных факторов (например, макроэкономических показателей).
Решение: Для этой задачи строится нейросеть, которая оценивает разностные данные (рост или падение) – то есть она должна различать положительные и отрицательные значения.
1. Данные об изменении рынка подаются на входные нейроны.
2. Нейроны скрытых слоев используют функцию активации tanh, которая нормирует выходные значения от -1 до 1. Благодаря этому сеть может выдать как положительные, так и отрицательные значения, полезные для предсказания роста или падения.
3. На выходе сеть дает прогноз по изменению цены.
Особенность: Поскольку tanh учитывает знак значений, он подходит для задач, где важно различать положительные и отрицательные выходные данные, например, изменение цен, температуры или других разностных характеристик. Однако tanh также подвержен затуханию градиентов, но его диапазон шире, чем у сигмоида, и он лучше подходит для данных, которые изменяются в обе стороны.
Каждая функция активации помогает сети обрабатывать данные по-разному, обеспечивая подходящий баланс между скоростью, стабильностью обучения и интерпретируемостью вывода. Выбор функции зависит от сложности задачи, глубины сети и особенностей данных.
Обратное распространение ошибки и процесс обучения сети
Обратное распространение ошибки (backpropagation) – ключевой процесс, используемый для обучения нейронных сетей. Он начинается с того, что сеть выдает какой-то результат, который затем сравнивается с эталонным (правильным) значением. После этого сеть рассчитывает, насколько велика ошибка между предсказанием и реальным результатом.