Вероятностые методы в обработке информации

Введение

Период человеческой истории, в которой мы живем, часто называют веком информации , и он часто приурочен к работе Винера и Шеннона по кибернетике и теории информации. Каждый из этих людей был назван «отцом информационного века» . Работа Винера и Шеннона количественно описала фундаментальные феномены общения, и последующие события, связанные с этой работой, оказали глубокое влияние на изменение многих областей, включая когнитивную психологию, по сравнению с тем, что было до 1950-х годов . Другое тесно связанное влияние в тот же период - это статистическая проверка гипотез Фишера , отца современной статистики и экспериментального дизайна , и Ежи Неймана и Эгона Пирсона . В США в первой половине 20-го века бихевиористский подход доминировал в психологии . Однако в 1950-х годах, основанный главным образом на прогрессе, достигнутом в разработке систем связи, а также на статистике, подход к обработке человеческой информации возник в результате так называемой когнитивной революции .
Информационный век оказал и продолжает оказывать огромное влияние на психологию и общество в целом. Начиная с 1950-х годов наука и технологии развивались с каждым днем. Перспектива подхода к обработке информации состояла в том, чтобы довести знания человеческого разума до уровня, на котором можно смоделировать когнитивные механизмы для объяснения процессов между восприятием людей и их действиями. Это обещание, хотя и далеко не полностью выполненное, все более и более реализуется. Однако, как и любой другой период в истории человечества, информационный век закончится в будущем и будет заменен другим веком. Мы не утверждаем, что информация устареет в новом веке, просто она станет необходимой, но недостаточной для понимания людей и общества в новую эпоху. Понимание того, как иПочему революция обработки информации в психологии должна подготовить психологов к изменениям, которые сопровождают новую эру.
В настоящей статье мы рассматриваем информационный век с исторической точки зрения и исследуем его влияние на возникновение современной когнитивной психологии. Наш анализ исторических истоков когнитивной психологии показывает, что прикладные исследования, включающие в себя несколько дисциплин, предоставили концептуальные и методологические инструменты для развития этой области. Вывод, который мы кратко рассмотрим, заключается в том, что междисциплинарные исследования, ориентированные на решение прикладных проблем, вероятно, станут источником следующего прогресса в концептуальных и методологических инструментах, которые откроют новую эпоху психологии. В следующих разделах мы рассмотрим вехи информационного века и свяжем их с конкретным языком и методологией проведения психологических исследований.
Кибернетика и теория информации
Винер и кибернетика
Норберт Винер - человек, влияние которого в области психологии не было признано должным образом. Винер, математик и философ, был вундеркиндом, который получил докторскую степень. из Гарвардского университета в возрасте 18 лет. Он является самым известным за то, что он установил то, что он назвал Кибернетикой которая также известна как теория управления, хотя он сделал много других заметных вкладов. Ключевой особенностью интеллектуального развития и научной работы Винера является его междисциплинарный характер .
До колледжа Винер находился под влиянием физиолога Гарварда Уолтера Б. Кэннона , который позже, в 1926 году, разработал термин гомеостаз : «тенденция организма или клетки регулировать свои внутренние состояния, обычно система контроля обратной связи… ». Во время обучения в бакалавриате и магистратуре Винер был вдохновлен несколькими философами Гарварда , в том числе Уильям Джеймс , Джордж Сантаяна (позитивистский идеализм) и Джозия Ройс (идеализм и научный метод). По мотивам Ройса Винер взял на себя обязательство изучать логику и завершил диссертацию по математической логике. После окончания аспирантуры Винер отправился в аспирантуру, чтобы продолжить изучение математики и логики, работая с философом / логиком Бертраном Расселом и математиком / генетиком Годфри Х. Харди в Англии, математиками Дэвидом Гилбертом и Эдмундом Ландау в Европе, а также философом / психологом. Джон Дьюи в США
Карьера Винера характеризовалась стремлением применять математику и логику к реальным проблемам, что было вызвано его работой в армии США. Согласно Гульберту он вернулся в Соединенные Штаты в 1915 году, чтобы выяснить, что он мог бы сделать дальше, в 21 прыжке среди рабочих мест ... Его работа в 1918 году на Абердинском полигоне армии США была особенно полезной ... Занимаясь с коллегами-математиками бесценной работой по наведению зенитных ударов, он нашел дух товарищества и независимость, к которой стремился. Вскоре на процветающем послевоенном академическом рынке для умственных людей, необходимых в эпоху науки, Норберт нашел свою нишу. В Массачусетском технологическом институте социальные грации и родословные не имели большого значения, как и военный технический опыт. Он был нанят. Новейшие математические инструменты были очень востребованы, так как электронные коммуникационные технологии появились в 1920-х годах.
Винер начал свои ранние исследования в прикладной математике по процессам стохастического шума . Винеровский процесс, названный в его честь, широко используется в технике, финансах, физических науках и, как будет описано позже, в психологии. С середины 30-х годов до 1953 года Винер также активно участвовал в серии междисциплинарных семинаров и конференций с группой исследователей, в которую вошли математики, инженеры и психологи . «Модели человеческого мозга» - одна из тем, которые обсуждались на этих встречах, и концепции, предложенные на этих конференциях, оказали значительное влияние на исследования в области информационных технологий и гуманитарных наук .
Один из основных вкладов Винера был во Второй мировой войне, когда он применил математику к проблемам электроники и разработал метод статистического предсказания для теории управления огнем. Этот метод предсказывал положение в космосе, где самолет противника будет расположен в будущем, так что артиллерийский снаряд, выпущенный на расстоянии, поразил самолетю. По словам Конвея и Зигельмана, «сосредоточенность Винера на практической проблеме реального мира привела его в то парадоксальное царство природы, где не было никакой определенности, только вероятности, компромиссы и статистические выводы…» . Прогресс в вероятности и статистике предоставил Винеру и другим участникам инструмент для исследования этой парадоксальной области. В начале 1942 года Винер написал секретный отчет для Национального исследовательского комитета по обороне (NRDC) «Экстраполяция, интерполяция и сглаживание стационарных временных рядов», который был опубликован в виде книги в 1949 году. Этот отчет зачислен как основополагающая работа в инженерная коммуникация, в которой Винер пришел к выводу, что связь во всех областях с точки зрения информации. По его словам,

Надлежащая область инженерии связи намного шире, чем обычно назначается для нее. Коммуникационная инженерия занимается передачей сообщений. Для существования сообщения действительно важно передавать переменную информацию. Передача одного фиксированного элемента информации не имеет коммуникативной ценности. У нас должен быть список возможных сообщений, а над этим - мера, определяющая вероятность этих сообщений .
Далее Винер сказал, что «такая информация, как правило, носит статистический характер» .
С 1942 года Винер развил свои идеи теории управления более широко в кибернетике , как описано в статье Scientific American :
Под одним заголовком он объединяет изучение того, что в человеческом контексте иногда слабо описывается как мышление, а в технике - управление и коммуникация

. Другими словами, кибернетика пытается найти общие элементы в функционировании автоматов и нервной системы человека и развить теорию, которая охватит всю область управления и коммуникации в машинах и в живых организмах ,Винер в этой статье ясно показал , что термин кибернетика был выбран, чтобы подчеркнуть концепцию механизма обратной связи . Пример, который он использовал, был одним из действий человека:
Предположим, я взял карандаш. Для этого мне нужно двигать определенными мышцами. Только опытный анатом знает, что представляют собой все эти мышцы, и даже анатом вряд ли сможет выполнить действие, сознательно приложив желание сжать каждую мышцу подряд. На самом деле мы хотим не двигать отдельными мышцами, а подбирать карандаш. Как только мы определились с этим, движение руки и кисти происходит таким образом, что мы можем сказать, что количество, на которое карандаш еще не поднят, уменьшается на каждой стадии. Эта часть действия не полностью осознана .
Обратите внимание, что в этом примере Винер обращается к центральной идее, лежащей в основе современного теоретизирования при выборе действия - выбор действия со ссылкой на отдаленную цель . Винер продолжал говорить,
Чтобы выполнить действие таким образом, необходимо сообщить нервной системе, сознательной или бессознательной, о количестве, на которое мы не смогли взять карандаш в каждый момент. Отчет может быть визуальным, по крайней мере, частично, но в целом он кинестетичен, или, если использовать ныне в моде термин проприоцептивный .
То есть Винер подчеркивает роль отрицательной обратной связи в управлении двигательной системой, как в теориях моторного управления .
Винер развил свои взгляды более тщательно и математически в своей основной работе « Кибернетика» или «Контроль и общение в животном и в машине» , которая была расширена во втором издании, опубликованном в 1961 году. В этой книге Винер посвятил значительное внимание психологическому и социологические явления, подчеркивающие системное представление, которое учитывает механизмы обратной связи. Хотя он интересовался сенсорной физиологией и нейронным функционированием, он позже отметил: «Необходимость привлечения психологов действительно была очевидна с самого начала. Тот, кто изучает нервную систему, не может забыть ум, а тот, кто изучает ум, не может забыть нервную систему ».
Позже в книге о кибернетике Винер указал на ценность рассмотрения общества как системы контроля, заявив, что «Из всех этих антигомеостатических факторов в обществе контроль над средствами коммуникации является наиболее эффективным и наиболее важным» . За этим утверждением сразу же следует сосредоточить внимание на обработке информации о человеке: «Один из уроков настоящей книги заключается в том, что любой организм объединяется в этом действии благодаря наличию средств для приобретения, использования, удержания и передачи информация »( Wiener, 1961 , с. 160).
Кибернетика, или изучение управления и коммуникации в машинах и живых существах, является общим подходом к пониманию саморегулируемых систем. Основной единицей кибернетического контроля является петля отрицательной обратной связи, функция которой состоит в том, чтобы уменьшать обнаруженные отклонения от ожидаемого результата, чтобы поддерживать устойчивое состояние. В частности, текущее состояние воспринимается функцией ввода и затем сравнивается с точкой отсчета с помощью механизма, называемого компаратором. Если имеется несоответствие между текущим состоянием и контрольным значением, выполняется действие. Таким образом, эта схема представляет собой замкнутый контур контроля, общая цель которого состоит в том, чтобы минимизировать отклонения от стандарта сравнения (контрольной точки). Эталонные значения обычно предоставляются вышестоящими системами,
Таким образом, кибернетика иллюстрирует одну из наиболее ценных характеристик математики: выявить общую черту (обратную связь) во многих областях и затем изучить ее абстрагированную от этих областей. Это абстрактное исследование сближает домены и часто позволяет распространить результаты одного домена на другой. С самого рождения Винер рассматривал кибернетику как междисциплинарную область, а теория управления оказала значительное влияние на различные области работы, такие как биология, психология, инженерия и компьютерные науки. Помимо математической природы, кибернетика также была заявлена как наука о сложных вероятностных системах. Другими словами, кибернетика - это наука о комбинированных постоянных потоках коммуникационных и саморегулируемых систем.
Шеннон и теория информации
Имея опыт работы в области электротехники и математики, Клод Шеннон получил докторскую степень. в области электротехники в Массачусетском технологическом институте в 1940 году. Шеннон известен в психологии прежде всего теорией информации, но до своего участия в этой теме в своей магистерской диссертации он показал, как проектировать схемы переключения в соответствии с символической логикой Буля. Использование комбинаций переключателей, представляющих двоичные значения, обеспечивает основу современных компьютеров и телекоммуникационных систем . В 1940-х годах работы Шеннона по теории цепей цифр открыли для него двери и позволили ему установить связи с великими учеными того времени, включая фон Неймана, Альберта Эйнштейна и Алана Тьюринга. Эти связи, наряду с его работой по криптографии, повлияли на его мысли о теории коммуникации.
Фундаментальная проблема связи заключается в том, чтобы воспроизвести в одной точке точное или приблизительное сообщение, выбранное в другой точке. Важным аспектом является то, что фактическое сообщение выбирается из набора возможных сообщений. Система должна быть спроектирована так, чтобы она работала для каждого возможного выбора, а не только для того, который будет фактически выбран, поскольку это неизвестно во время проектирования. Если число сообщений в наборе конечно, то это число или любая монотонная функция этого числа может рассматриваться как мера информации, получаемой при выборе одного сообщения из набора, причем все варианты одинаково вероятны. Как было отмечено Хартли, наиболее естественным выбором является логарифмическая функция .
Шеннон охарактеризовал информационную систему как имеющую пять элементов: источник информации; передатчик; канал; получатель; пункт назначения. Шеннон провел математический анализ каждого элемента для трех категорий систем связи: дискретных, непрерывных и смешанных. Ключевой мерой в теории информации является энтропия , которую Шеннон определил как количество неопределенности, связанной со значением случайной величины или результатом случайного процесса. Шеннон также представил концепции кодирования и декодированиядля передатчика и приемника соответственно. Его главная задача состояла в том, чтобы найти явные методы, также называемые кодами , для повышения эффективности и снижения частоты ошибок при передаче данных по шумным каналам до пропускной способности канала.
Шеннон однозначно признал влияние Винера на развитие теории информации:

Теория коммуникации в значительной степени обязана Винеру за большую часть его основной философии и теории. Его классический отчет NDRC, «Интерполяция, экстраполяция и сглаживание стационарных временных рядов», содержит первую четкую формулировку теории коммуникации как статистической проблемы - исследование операций над временными рядами. Эта работа, хотя в основном связана с проблемой линейного прогнозирования и фильтрации, является важной дополнительной ссылкой в связи с настоящей статьей. Мы также можем сослаться здесь на кибернетику Винера касающуюся общих проблем коммуникации и контроля .
Фишер, информация, логическая статистика и дизайн эксперимента
Рональд Фишер получил степень по математике в Кембриджском университете, где он провел еще один год, изучая статистическую механику и квантовую теорию