Понятие нейронные сети. Однослойные и многослойные ИНС. Метод обратного распространения ошибки.

Введение
Сегодня нейронные сети являются важнейшим направлением научных исследований в области разработки искусственного интеллекта, основой которых послужило стремление создать систему, схожую по функциям с нервной системой человека. Одной из важнейших функций биологической нейронной сети является ее способность к самообучению и исправлению ошибок, что легло в основу создания идеи искусственных нейронных сетей, позволяющих выполнять распознавание образов и их классификацию, решать задачи оптимизации, осуществлять прогнозирование, а также решать ряд других научных и инженерных задач.
Искусственные нейронные сети (ИНС) нашли применение в таких областях как: робототехника, медицина, информационные технологии, информационная безопасность, логистика, экономика, строительство, инженерия и входят в состав различных информационных систем.
Понятие нейронной сети
Нейронная сеть в общем виде является последовательностью нейронов, соединенных между собой синапсами.
Понятие «нейронной сети» включает в себя две разновидности сетей – биологическую нейронную сеть (БНС), функционирующую в головном мозге человека и искусственную нейронную сеть, формируемую средствами вычислительной техники по различным алгоритмам. В данном реферате будут рассмотрены оба типа сетей, так как именно биологическая нейронная сеть легла в основу идеи формирования ИНС.
В общем виде биологическая нейронная сеть является рядом взаимосвязанных нейронов, которые посредством своей активности определяют узнаваемый линейный путь. Нейроны могут взаимодействовать со своими соседями, через несколько связанных аксонов при помощи синапсов в дендритах других нейронов. Если сумма входных сигналов нейрона в одном превосходит определенный порог, то нейрон может передать через потенциал действия на холмик аксонов посредством электрического сигнала вдоль аксона. Таким образом, нейронная схема является функциональным объектом, из соединенных между собой нейронов, способным к регуляции собственной активности, используя контур обратной связи аналогично контуру управления. Биологические нейронные сети послужили основой для создания дизайна искусственных нейронных сетей.
Современные компьютеры в тысячи раз превосходят человеческий мозг по способностям производить числовые и символьные вычисления. Тем не менее, человек способен легко решать сложные задачи восприятия внешних данных (такие как распознавание объектов и образов) мгновенно и с такой точностью, что пока недостижимо технике. Данное различие в их производительности обусловлено различиями в архитектуре биологической нейронной системы и архитектуры вычислительных систем, основанных на принципах Фон Неймана.
Искусственная нейронная система была создана по аналогии с биологической. Эта вычислительная система включает в себя огромное число параллельно функционирующих простых процессоров, имеющих множество связей. Модели ИНС схожи с принципами организации, свойственными человеческому мозгу. Моделирование биологической нейронной системы с использованием искусственной позволяет лучше понимать биологические функции для развития искусственного интеллекта и в том числе технологии искусственного зрения. Такие технологии производства, как VLSI в совокупности с оптическими аппаратными средствами позволяют подобное моделирование.
На основании исследований биологических нейронных сетей были поставлены следующие задачи для искусственных нейронных сетей:
распознавание образов;
классификация образов;
кластеризация или классификация образов «обучение без учителя»;
аппроксимация функций для решения научных и инженерных задач моделирования;
прогнозирование;
оптимизация;
адресация памяти по содержанию;
задача оптимального управления.
Все эти функции нейросетей и симбиоз таких наук, как нейрофизиология, наука о познании, психология, физика, теория управления, теория вычислений, статистика и математика, параллельные вычисления и аппаратные средства в совокупности позволяют создавать искусственный интеллект.
Нейроны и синапсы
Основой любой нейронной сети как биологической, так и искусственной являются нейроны и синапсы, отвечающие за связь между нейронами

. В биологической нейронной сети между нейронами передается электрический сигнал, который при распространении может измениться, а его величина выражается числом. За изменение величины электрического сигнала в БНС отвечают синапсы, способные усиливать или ослаблять проходящие по ним электрические сигналы. Аналогично в ИНС для связей искусственных синапсов присваиваются веса wi (Рис. 2), которые будут умножаться на проходящее число. Таким образом, посредством замены величины эклектического сигнала на число, способное так же менять значение, осуществляется переход от БНС к ИНС.

Рис. 2. Схематическое распространение сигнала в ИНС
Биологический нейрон при прохождении по нему электрического сигнала может, как возбуждаться, так и не реагировать на возмущение. Искусственный нейрон в зависимости от входящего значения, будет давать на выходе значение в интервале от -1 до 1.
Рассмотрим строение нейрона более подробно. На рисунке 3 представлена схема нейрона с синапсами. Со входов xn некая информация через синусы с весом wn поступает в нейрон. На сумматоре нейрона значения складываются по формуле i=1nxiwi=net, получая взвешенную сумму. Взвешенная сумма характеризует общее возбуждение нейрона. Следующей составляющей нейрона является функция активации φ которая отвечает за принятие решения, т.е. при действии φ на net мы получим значение на выходе нейрона равное от -1 до 1 ( out=φ(net) ).

Рис. 3. Принципиальная схема нейрона
Выбор функции активации, иначе называемой передаточной функцией является очень важным компонентом искусственного нейрона, который определяет его возможные выходные значения и области применения.
Если рассмотреть примеры передаточных функции приведенных на рисунке 4, то можно увидеть существенные различия между ними. Так функция единичного скачка делит все на «да» и «нет», логистическая функция дает некие послабления в оценке, допуская неполное соответствие желаемому, а гиперболический тангенс способен выдать отрицательное значение, повлияв на входное значение для последующего нейрона в сети.

Рис. 4 Возможный вид функции активации (передаточной функции)
Принципы работы нейронной сети
Существует всего два этапа работы любой системы, в основе которой лежит нейронная сеть – это ее обучение и классификация.
По характеру обучения выделяют следующие типы нейронных сетей:
нейронные сети, основанные на обучении с учителем,
нейронные сети, основанные на обучении без учителя;
нейронные сети, основанные на обучении подкреплением.
Рассмотрим каждый тип более подробно.
Нейронные сети, основанные на обучении с учителем, представляют входные данные и ожидаемые выходные данные как набор обучающих пар. В этих парах каждый входной вектор задается выходным вектором, а нейронная сеть корректирует веса, посредством сравнения текущих и эталонных выходов. Во время обучения необходимо минимизировать ошибки по всем парам. Особенность таких сетей заключается в том, что целью обучения является правильная реакция на любой допустимый входной сигнал, а в обучающей выборке содержится только часть возможных вариантов входных сигналов.
Нейронные сети, основанные на обучении без учителя, подразумевают анализ особенностей входных данных с целью поиска структур и закономерностей самой нейронной сетью. Подстройка весов происходит так, чтобы на выходе были получены согласованные векторы, что означает получение близких выходов на основании близких входов, и наоборот. В процессе обучения нейронная сеть группирует входную информацию, а в завершении обучения начинает работать как векторный классификатор.
Нейронные сети, основанные на обучении подкреплением, являются чем-то средним между двумя предыдущими подходами. Они используют оценку, формируемую внешней средой как эталонное значение выхода нейронной сети. Такая оценка предоставляет большую информативность, чем оценка сетей без учителя, но гораздо меньшую, чем при обучении с учителем. Такие сети применяются в основном для поиска оптимальной последовательности действий.
Среди искусственных нейронных сетей, наибольшее распространение получили ИНС, обучаемые с учителем, а среди них – многослойные нейронные сети типа MLP (Multi-Layered Perceptron – многослойный персептрон).
В качестве примера использования ИНС можно рассмотреть оценку стоимости квартир, которая зависит от множества факторов и очень сложно поддается формализации