Нейронные сети Кохонена

Введение
Нейронные сети - это новая и перспективная компьютерная технология, которая предлагает новые подходы к исследованию динамических проблем в финансовом секторе. Во-первых, нейронные сети открыли новые возможности в области распознавания образов, затем были добавлены статистические и искусственные методы для поддержки принятия решений и решения проблем в финансовом секторе.
Способность моделировать нелинейные процессы, работать с зашумленными данными и быть адаптируемыми позволяет использовать нейронные сети для решения различных финансовых проблем. В последние годы многие программные системы были разработаны на основе нейронных сетей, которые можно использовать, например, для операций на товарном рынке, оценки вероятности банкротства, оценки кредитоспособности, мониторинга инвестиций и предоставления кредитов. Приложения нейронной сети охватывают различные области интересов: распознавание образов, обработка зашумленных данных, дополнение изображений, ассоциативный поиск, классификация, оптимизация, прогнозирование, диагностика, обработка сигналов, абстракция, управление процессом, сегментация данных, сжатие информации, сложные назначения, моделирование сложных процессов, обработка изображений, распознавание речи.
1. История развития нейронных сетей
В начале развития электронных компьютерных технологий в середине 20-го века среди ученых и дизайнеров все еще не было единого мнения о том, как и по какому принципу должна быть реализована типичная электронная компьютерная машина. Сейчас мы изучаем архитектуру машины фон Неймана в основах информатики, на которой построены почти все существующие компьютеры. Кроме того, в тех же учебниках не сказано ни слова о том, что в те же годы были предложены принципиально разные архитектуры и принципы работы компьютеров. Одна из этих схем называется компьютером нейронной сети или просто нейронной сетью.
Основными частями нервной клетки являются ее тело, которое содержит ядро ​​и другие органеллы, единственный аксон, который передает импульсы от клетки и дендритов, к которым импульсы приходят из других клеток. Первый интерес к нейронным сетям был вызван новаторской работой Мак Каллока и Питса, опубликованной в 1943 году и предлагающей компьютерную схему, основанную на аналогии с работой человеческого мозга. Они создали упрощенную модель нервной клетки - нейрона. Человеческий мозг состоит из белых и серых веществ: белый - это тело нейронов, а серый - это соединительная ткань между нейронами или аксонами и дендритами. Мозг состоит примерно из 10 ^ 11 нейронов.
Рис. 1
Главные части нервной клетки - это ее тело, содержащее ядро и другие органеллы, единственный аксон, передающий импульсы от клетки, и дендриты, к которым приходят импульсы от других клеток связанных между собой. Каждый нейрон получает информацию через свои дендриты, а передает ее дальше только через единственных аксон, разветвляющийся на конце на тысячи синапсов (см. рис. 1). Простейший нейрон может иметь до 10000 дендритов, принимающих сигналы от других клеток.
Таким образом, мозг содержит примерно 10^15 взаимосвязей. Если учесть, что любой нейрофизиологический процесс активизирует сразу множество нейронов, то можно представить себе то количество информации или сигналов, которое возникает в мозгу. Нейроны взаимодействуют посредством серий импульсов, длящихся несколько миллисекунд, каждый импульс представляет собой частотный сигнал с частотой от нескольких единиц до сотен герц. Это невообразимо медленно по сравнению с современными компьютерами, но в тоже время человеческий мозг гораздо быстрее машины может обрабатывать аналоговую информацию, как-то: узнавать изображения, чувствовать вкус, узнавать звуки, читать чужой почерк, оперировать качественными параметрами. Все это реализуется посредством сети нейронов, соединенных между собой синапсами. Другими словами, мозг — это система из параллельных процессоров, работающая гораздо эффективнее, чем популярные сейчас последовательные вычисления.
Технология последовательных вычислений подошла к пределу своих технических возможностей, и в настоящее время остро стоит проблема развития методов параллельного программирования и создания параллельных компьютеров. Так что, может быть, нейросети являются только очередным шагом в этом направлении.
2. Типы архитектур нейросетей
Вы можете создавать множество графических фигур из точек слоя и связей между ними, называемых диаграммами. Если мы рассматриваем каждую точку как нейрон, а связи между точками как дендриты и синапсы, мы получаем нейронную сеть. Но не каждое соединение нейронов будет функциональным или даже уместным. Поэтому на сегодняшний день существует всего несколько функциональных и программно-реализованных архитектур нейронных сетей. Я только кратко опишу их структуру и классы задач, которые они решают сеть прямого распространения. В соответствии с архитектурой соединений нейронные сети можно разделить на два класса: сети прямого распространения, в которых соединения не имеют петель, и повторяющиеся сети, в которых возможна обратная связь (см. Рис. 2).
Рис

. 2 Рекуррентная сеть
Сети прямого распространения подразделяются на однослойные персепротроны (сети) и многослойные персептроны (сети). Название персептрона для нейронных сетей было изобретено американским нейрофизиологом Ф. Розенблаттом, который разработал первый элемент нейропроцессора (NPE), а именно нейронную сеть. Во время обучения он продемонстрировал сходимость области решения для персептрона. Сразу после этого начались интенсивные исследования в этой области и был разработан самый первый нейрокомпьютер, Многослойные сети характеризуются тем, что между входными и выходными данными имеется несколько так называемых скрытых слоев нейронов, которые добавляют больше нелинейных связей к модели. Представьте себе простое многослойное устройство нейронной сети.
Каждая нейронная сеть состоит из входного слоя и выходного слоя. Соответственно, независимые и зависимые переменные предоставляются. Входные данные преобразуются сетевыми нейронами и сравниваются с выходными. Если отклонение больше указанного, веса нейронных соединений друг с другом и пороговые значения нейронов изменяются особым образом. Опять процесс расчета выходной стоимости и сравнения ее со стандартом. Если отклонения меньше указанной ошибки, процесс обучения останавливается. Помимо входного и выходного слоев в многослойной сети существуют так называемые скрытые слои. Это нейроны, которые не имеют прямого ввода исходных данных, но назначаются только на выход входного слоя и на вход выходного слоя. Таким образом, скрытые слои преобразуют информацию дальше и добавляют нелинейность модели.
Когда однослойная нейронная сеть очень хорошо справляется с задачами классификации, выходной слой нейронов сравнивает значения, полученные из предыдущего уровня, с порогом и дает либо ноль, то есть меньше порога, либо один - более одного порога (в случае функции внутреннего порога нейрона) и многослойный персептрон с сигмоидальными решающими функциями не в состоянии решить большинство практических проблем (как продемонстрировали Минский и Пейперт), доказано в форме предложения). В то же время, однако, не известно ни необходимое количество слоев, ни необходимое количество скрытых нейронов, ни время, необходимое для обучения сети. С этими проблемами все еще сталкиваются исследователи и разработчики нейронных сетей. Лично мне кажется, что весь энтузиазм по поводу использования нейронных сетей основан на доказательстве этой теоремы. Подумайте о том, как нейроны могут моделировать различные функциональные классы.
Класс повторяющихся нейронных сетей намного больше, а сами сети более сложны. Поведение повторяющихся сетей обычно описывается дифференциальными или дифференциальными уравнениями первого порядка. Это значительно расширяет области применения нейронных сетей и методы их обучения. Сеть организована таким образом, что каждый нейрон получает входные данные от других нейронов, возможно, от самого себя и от окружающей среды. Этот тип сети важен, потому что он может использоваться для моделирования нелинейных динамических систем. Сети Хопфилда и сети Кохонена можно отличить от повторяющихся сетей. В сетях Хопфилда вы можете обрабатывать неупорядоченные (рукописные буквы), которые располагаются в соответствии с временными (временные ряды) или пространственными структурами (графические изображения). Самая простая повторяющаяся нейронная сеть была введена Хопфилдом и состоит из N нейронов, каждый из которых взаимосвязан, кроме себя, и все нейроны выводятся. Нейронная сеть Хопфилда может использоваться как ассоциативная память.
Сеть Кохонена также известна как «карта самоорганизующихся объектов». Этот тип сети предназначен для самостоятельного изучения. Нет необходимости давать ей правильные ответы во время тренировки. Во время обучения различные образцы подаются на вход в сеть. Сеть записывает характеристики своей структуры и делит выборки на кластеры. Сеть, которая уже была обучена, присваивает каждый вновь поступающий пример одному из кластеров на основе критерия «близости». Сеть состоит из входного и выходного слоя. Количество элементов в выходном слое напрямую определяет, сколько разных кластеров может распознать сеть. Каждый из выходных элементов получает входной вектор целиком. Как и в любой нейронной сети, каждому соединению присваивается определенный синоптический вес. В большинстве случаев каждый выходной элемент соединен также со своими соседями. Эти внутрисловные связи играют важную роль в процессе обучения, так как корректировка весов происходит только в окрестности того элемента, который наилучшим образом откликается на очередной вход. Выходные элементы соревнуются между собой за право вступить в действии "получить урок". Выигрывает тот из них, чей вектор весов окажется ближе всех к входному вектору.
3. Сеть Кохонена
При управляемом обучении наблюдения, которые составляют обучающие данные, наряду с входными переменными, также включают в себя соответствующие выходные значения, и сеть должна восстановить отображение, которое передает первое во второе. В случае неконтролируемого обучения данные обучения содержат только значения входных переменных.
На первый взгляд это может показаться странным