Big Data: понятие, задачи, аналитический инструментарий

Термин «большие данные» (Big Data) относится к наборам данных, размер которых превосходит возможности типичных баз данных (БД) по занесению, хранению, управлению и анализу информации. Сравнение типовой БД и базы Big Data приведено на рисунке 1.1.
Рисунок 1.1 – Сравнение традиционной БД и базы Big Data
Big Data обладает следующей совокупностью характеристик: большой объем, высокая скорость и высокое разнообразие. Информация, формирующая Big Data, поступает от существующих в настоящее время источников информации – к ним относятся, в том числе, социальные сети и Интернет, в которых генерируются огромные потоки информации. Так, объем генерируемой человечеством информации постоянно растет, и доходы, связанные с большими данными, постоянно увеличиваются –например, в связи с ростом объемов генерируемых данных, предполагается, что доходы, связанные с большими данными, увеличатся со 130 млрд. долл. в 2016 году до более чем 203 млрд. долл. к 2021 году.
Тем не менее, Big Data представляет собой нечто большее, чем просто анализ огромных объемов информации. Большая часть информации, генерируемая в настоящее время, представляет собой неструктурированный поток – к нему можно отнести видео- и аудиозаписи, машинные коды, веб-журналы, прочие данные, получаемые с использованием всего спектра современных технических и программных средств. При этом информация находится в самых различных хранилищах, зачастую за пределами корпораций, компаний, организаций, и зачастую хранится во множестве различных версий, периодически обновляется и пополняется, что приводит к практической невозможности обработки такого объема постоянно обновляемой информации традиционными методами анализа

. Именно данное обстоятельство вызвало к жизни такой инструмент, как Big Data.
Таким образом, понятие больших данных подразумевает работу с информацией огромного объема и разнообразного состава, весьма часто обновляемой и находящейся в разных источниках в целях увеличения эффективности работы, создания новых продуктов и повышения конкурентоспособности. Консалтинговая компания Forrester дает следующую формулировку понятия и сущности Big Data: «Большие данные объединяют техники и технологии, которые извлекают смысл из данных на экстремальном пределе практичности» .
Помимо этого, Big Data позволяет увеличить прогнозную силу аналитических выкладок, по сравнению с традиционным бизнес-анализом. Этот феномен связан с отличиями работы с Big Data – так, если алгоритм традиционной аналитической работы состоит в основном в проведении с данными обычных выкладок – сложение, вычитание, применение различных формул, позволяющих определить основные аналитические покзаатели либо применить статистические методы обработки информации для последующих выводов, то работа с Big Data представляет собой моделирование ситуаций на основании исследования массива данных. Этот процесс напоминает в определенной степени человеческое мышление – выдвигается гипотеза, для ее проверки строится модель, на основании которой гипотеза проверяется и принимается или отвергается, затем выдвигается следующая гипотеза и процесс продолжается