Слой нормализации

Нормализация отклика помогает замедлить скорость обучения параметров сети . Слой локальной нормализации приносит пользу при использовании нейронов с функцией активации ReLU – локальная окрестность возбужденного нейрона становится более чувствительной по сравнению с ее соседями, одинаково большие отклики в любой локальной окрестности нейрона уменьшаются, причем, если все отклики велики, нормализация уменьшает все их значения. Таким образом, этот слой является имитацией латерального торможения – нейробиологической концепции, описывающей способность возбужденного нейрона подчинить своих соседей. Результат нормализации bx, yi может быть формализован следующим образом:
bx, yi= ax, yi(k+αj=max(0, i-n2) min(N-1, i+n2)(ax, yj)2)β (17)
где ax, yi – активация нейрона, значение которого найдено при помощи фильтра i в позиции (x, y),
n – количество соседних фильтров в определенном месте,
N – общее число фильтров в слое,
k, α, β – некоторые константы.
Значения n, k, α и β определяются при помощи валидационной выборки . Использование слоя нормализации позволяет уменьшить тестовую ошибку: четырехслойная сверточная нейронная сеть на наборе данных CIFAR-10 достигла ошибки 13% без нормализации и 11% с нормализацией

.
Полносвязный слой
Последний слой в архитектуре сверточной нейронной сети является полносвязным, то есть соединенным со всеми нейронами предыдущего слоя. Это скрытый слой многослойного перцептрона, который действует как классификатор – на выходе получается класс, к которому принадлежит изображение. Пусть l – полносвязный слой, который состоит из m1(l-1) карт признаков. Тогда i–ый выход yi(l) слоя l вычисляется по следующей формуле:
yi(l)=f(zi(l)), причем
zi(l)= j=1m1l-1r=1m2l-1s=1m3l-1W(i, j, r, s)lu, vYj(l-1)r, s (18)
где f – функция активации,
W(i, j, r, s)l – весовые коэффициенты, связывающие нейрон в позиции (r, s) в карте признаков с номером j в слое (i-1) и нейроны карты признаков слоя l с номером i.
Если предыдущий слой также является полносвязным, то его параметр zi(l) описывается как zi(l)=k=1m1l-1w(i, k)(l)*Yk(l-1), где w(i, k)(l) обозначает вес, связывающий i–ый нейрон слоя (l-1) с k–ым элементом слоя l.
Выход слоя является вектором, в котором каждый элемент представляет собой предсказанную метку класса