Машинное обучение - место в нашей жизни

В статье машинное обучение рассматривается с точки зрения того, что машинное обучение каждый день занимает все большее место в нашей жизни благодаря широкому спектру его применений. Начиная с анализа пробок и заканчивая самостоятельным вождением автомобилей, все больше и больше видов деятельности переходят на самообучающиеся машины.
Ключевые слова: машинное обучение, большие данные, нейронные сети, Big Data, регрессия, кластеризация, искусственный интеллект.
MACHINE LEARNING. BIG DATA. NEURAL NETWORKS
In the article, machine learning is considered from the point of view that machine learning every day occupies an increasing place in our life due to the wide range of its applications. From traffic analysis to self-driving cars, more and more activities are shifting to self-learning cars.
Keywords: machine learning, big data, neural networks, Big Data, regression, clustering, artificial intelligence.
Машинное обучение считается отраслью искусственного интеллекта, основная идея которой заключается в том, что компьютер не просто использует заранее написанный алгоритм, но и учится решать проблемы.
Каждой рабочей технологии машинного обучения может быть назначен один из трех уровней доступности. Первый уровень - это когда он доступен только для разных технологических гигантов уровня Google или IBM. Второй этап, когда студент с определенными знаниями может использовать свои возможности. Третий этап, когда даже пожилые люди могут использовать его и научиться управлять им.
Машинное обучение сейчас находится на стыке второго и третьего уровней, поэтому скорость изменения мира с помощью этой технологии увеличивается с каждым днем.
Большинство видов деятельности по машинному обучению можно разделить на контролируемое обучение и обучение без учителей. Под «учителем» здесь подразумевается сама идея вмешательства человека в обработку данных. Когда мы учим с учителем, у нас есть данные, на основании которых мы должны что-то предсказать и некоторые гипотезы. Когда мы учимся без учителя, у нас есть только данные, свойства которых мы хотим найти
Пример машинного обучения с «учителем». Имеются данные о 10 000 квартир в городе Москве, площадь каждой квартиры, количество комнат, этаж, на котором она расположена, район, наличие известна парковка, расстояние до ближайшей станции метро и т. д. Кроме того, также известна стоимость каждой квартиры. Задача машинного обучения заключается в следующем: построить модель, которая на основе этих признаков будет предсказывать стоимость квартиры. Эта задача называется регрессионной (рис. 1). Красные точки - доступные данные (по оси x - значение атрибута, по оси y - значение ответа), синяя линия - построенная модель.
Рис. 1. Построенная модель
Классы задач машинного обучения:
- Задача регрессии: прогнозировать материальный отклик по различным критериям. Другими словами, ответом может быть 1, 5, 23,575 или любое другое действительное число, которое, например, может представлять стоимость квартиры. Примеры: прогнозирование стоимости акций в течение шести месяцев, прогнозирование прибыли магазина в следующем месяце, прогнозирование качества вина в слепом тесте.
- Задача классификации: предсказать категоричный ответ на основе различных характеристик

. Другими словами, существует ограниченное количество ответов на эту проблему, например, если вы определяете, есть ли у пациента заболевание или письмо является спамом. Примеры: распознавание почерка, определение присутствия человека или кошки на картинке.
- Задача кластеризации: разделение данных на похожие категории. Примеры: деление клиентов оператора сотовой связи по платежеспособности, деление космических объектов на похожие объекты (галактики, планеты, звезды и т. д.).
- Задача уменьшения размерности: научиться описывать наши данные не N знаками, а меньшим числом (обычно 2-3 для последующей визуализации). В качестве примера, помимо необходимости визуализации, можно привести сжатие данных.
- Задача выявления аномалий: на основе признаков научиться различать аномалии от «неаномалий». Кажется, что эта задача ничем не отличается от проблемы классификации. Но особенность обнаружения аномалий заключается в том, что у нас либо очень мало, либо нет примеров аномалий для обучения модели, поэтому мы не можем решить такую ​​проблему, как проблема классификации. Пример: выявление мошеннических операций с банковской картой.
В машинном обучении существует большое количество алгоритмов, некоторые из которых довольно универсальны. Примеры таких алгоритмов включают метод опорных векторов, опережающие деревья решений или те же нейронные сети. К сожалению, большинство людей смутно осознают сущность нейронных сетей, присваивая им свойства, которыми они не обладают.
Нейронная сеть (или искусственная нейронная сеть) - это сеть нейронов, в которой каждый нейрон представляет собой математическую модель реального нейрона. Нейронные сети стали очень популярными в 1980-х и начале 1990-х, но в конце 1990-х их популярность резко упала. Однако в последнее время это одна из передовых технологий, используемых в машинном обучении, применяемая в огромном количестве приложений. Причина возврата к популярности проста: вычислительная мощность компьютеров возросла.
Используя нейронные сети, можно решить хотя бы проблемы регрессии и классификации и построить чрезвычайно сложные модели. Не вдаваясь в математические детали, можно сказать, что Андрей Николаевич Колмогоров в середине прошлого века доказал, что любая поверхность может быть аппроксимирована с любой точностью с помощью нейронной сети.
Фактически, нейрон в искусственной нейронной сети является математической функцией (например, сигмоидальной функцией), которая получает входное значение и на выходе получается значение, полученное с использованием той же самой математической функции.
Однако в нейронных сетях нет ничего волшебного и таинственного, и в большинстве случаев нет причин беспокоиться о сценарии фильма «Терминатор». Предположим, ученые обучили нейронную сеть распознавать рукописные числа. Как работает это приложение и почему не о чем беспокоиться?
Предположим, мы работаем с изображениями размером 20x20 пикселей, где каждый пиксель представлен в градациях серого (всего 256 возможных значений)