Большие данные

Большие данные — это поле, в котором рассматриваются способы анализа, систематического извлечения информации или иного обращения с ней. Наборы данных, которые слишком велики или сложны, чтобы иметь дело с традиционным программным обеспечением для обработки и применения данных. Данные с большим числом наблюдений (строк) предлагают больше статистическая мощность, в то время как данные с более высокой сложностью (больше атрибутов или столбцов) могут привести к более высокой частота ложных обнаружений.
Проблемы с большими данными включают в себя: собрать данные, хранение данных, анализ данных, поиск, разделение, перемещение, визуализация, запрос, обновление, конфиденциальность информации и источник данных. Большие данные изначально были связаны с тремя ключевыми понятиями: объем, разнообразие, и скорость. Большие данные часто включают данные с размерами, которые превышают возможности традиционного программного обеспечения для обработки в течение приемлемого времени.
Наборы данных быстро растут, отчасти потому что они все больше собираются дешевым и многочисленным информационным зондированием: интернет, устройства, такие как мобильные средства, журналы программного обеспечения, камеры, микрофоны и т.п.
Системы управления реляционными базами данных, статистика рабочего стола и программные пакеты, используемые для визуализации данных, часто испытывают трудности с обработкой больших данных. Эта работа может потребовать массового параллельного программного обеспечения, работающего на десятках, сотнях или даже тысячах серверов

. То, что квалифицируется как "большие данные", зависит от возможностей пользователей и их инструментов, а расширяющиеся возможности делают большие данные движущейся целью. Для некоторых организаций, впервые столкнувшихся с сотнями гигабайт данных, может возникнуть необходимость пересмотреть варианты управления данными. Для других это может занять десятки или сотни терабайт, прежде чем размер данных станет существенным фактором.
2.2. Проблема больших данных
С каждым годом количество данных растет по экспоненте. Практически у каждого предприятия есть свои данные, начиная от статистики и маркетинговых данных, заканчивая информацией об открытии нового ресторана.
Эти данные превышают объем данных, которые могут быть сохранены и вычислены, а также извлечены. Проблема заключается не столько в доступности, сколько в управлении этими данными.
Наряду с ростом объема неструктурированных данных наблюдается также рост числа форматов данных. Видео, аудио, социальные медиа, данные умных приборов и прочее.
Некоторые из новейших способов, разработанных для управления этими данными, представляют собой гибрид реляционных баз данных в сочетании с базами данных NoSQL. Примером этого является MongoDB, который является неотъемлемой частью стандартного стека. Существуют также распределенные вычислительные системы, такие как Hadoop, которые помогают управлять большими объемами данных.
Netflix — это платформа для потоковой передачи контента, основанная на Node.JS