Сущность и источники больших данных

Опираясь на определение из доклада международной консалтинговой компании McKinsey «Big Data: The next frontier for innovation, competition and productivity» большие данные – это поле, в котором рассматриваются способы анализа, систематического извлечения информации из других наборов данных или обработки их иным способом, которые слишком велики или сложны, чтобы их можно было решить с помощью традиционного прикладного программного обеспечения для обработки данных [13]. Данные с большим количеством строк предоставляют большую статистическую мощность, в то время как данные с более высокой сложностью (больше атрибутов или столбцов) могут привести к более высокой частоте ложных обнаружений. Корнев М.С. в своей работе представил другое определение анализируемого концепта, заметив, что Big Data, это «очень большие массивы данных, которые могут быть проанализированы с помощью компьютеров, чтобы выявить закономерности, тенденции и взаимосвязи, в особенности в отношении поведения людей и их взаимодействий» [2, с. 83], а Taylor-Sakiy M. указал и другое определение, базирующееся на следующем: «Big Data – это большие наборы сложных данных, как в структурированной, так и неструктурированном формате, с которыми традиционные методы обработки и/или алгоритмы не могут работать» [26], причем Магеррамов З.Т., Абдуллаев В.Г. и Магеррамова А.З. считают, что Big Data – это «наборы данных, размер которых превосходит возможности типичных баз данных по хранению, управлению и анализу информации» [3, с. 45]. Интересное определение Big Data дали и Lukosius V. и Hyman M.R. отметив, что большие данные – это «изобилие цифрового контента о мыслях, эмоциях и поведении потребителей – своеобразный пейджинг, ставший частью промышленной революции» [9, с. 3].
Batistic S. и Laken P. в своей работе подчеркнули, что текущее использование термина «большие данные» имеет тенденцию относиться к использованию прогнозирующей аналитики, аналитики поведения пользователя или некоторых других расширенных методов анализа данных, которые извлекают значение из данных и редко достигают определенного размера набора данных. Более того, авторы отметили, что имеется мало сомнений в том, что количество доступных данных действительно велико, однако это не самая важная характеристика данной новой экосистемы данных» [5, с. 234]. Большие данные, состоя из разного количества элементов, могут быть соединены в шесть организационных блоков, опираясь на статью Memon M.A., Soomro S., Jumani A.K

. и Kartio M.A. [10, с. 49]:
1. Источники: Интернет, коммуникации, информационные сети, GIS, транзакции;
2. Хранение: изображения, видео, документы и др.;
3. Формат: структурированные, неструктурированные, частично структурированные данные;
4. Организация: трансформация, удаление, выделение, загрузка (данных);
5. Обработка: предиктивная аналитика данных, интеллектуальный анализ данных и др.;
6. Запрос: по требованию, ad hoc (лат. «для особой цели»).
Как современную IT-парадигму, большие данные характеризуются некоторыми специфическими чертами, которые в зарубежной литературе получили название «V-features» [все характерные черты больших данных начинаются в англоязычной литературе именно с буквы «v»], среди которых, исходя из работы Moorthy J., Lairi R., Biswas N. и Sanyal D., можно назвать следующие [11, с. 78]:
1. Объем [Volume]: количество генерируемых, хранимых и используемых данных в настоящее время быстро увеличивается, отчего единых прогнозов по поведению рынка Big Data сейчас нет;
2. Разнообразие [Variety]: для менеджера по маркетингу данные теперь могут быть получены по нескольким каналам. Помимо традиционных источников данных, таких как исследования рынка, опросы читателей, рейтинги телевидения, поток онлайн-кликов и т. д. в настоящее время существуют социальные сети, такие как Facebook ВКонтакте, Instagram и Twitter, центры обработки вызовов, чаты, голосовые данные, видео с камер видеонаблюдения торговых точек, IoT, RFID-метки (радиочастотная идентификация), ГИС, смартфоны, SMS и т. д.;
3. Скорость [Velocity]: данные в режиме реального времени теперь доступны к анализу во многих случаях, таких как мобильная телефония, RFID, сканирование штрих-кодов, поток кликов, онлайн-транзакции и блоги. Данные, генерируемые из всех таких источников, могут накапливаться с той скоростью, с которой они генерируются;
4. Достоверность [Veracity]: достоверность данных повышается с автоматизацией их сбора. При наличии нескольких источников данных можно было бы провести триангуляцию результатов для проверки их подлинности;
5. Обоснованность [Validity]: термины «обоснованность» и «достоверность» могут восприниматься схоже, однако это не так. В методологии исследования рынка данные представляют концепцию, которую они должны презентовать;
6. Стоимость [Value]: окупаемость инвестиций и ценность бизнеса подчеркиваются больше, чем общая ценность для многих заинтересованных сторон;
7