Анализ данных в matlab. Интерполяция

Введение
Инженерам, разработчикам, аналитикам часто бывает необходимо проанализировать большие массивы информации либо проанализировать различные подходы к обработке данных для получения более достоверной информации. Чтобы уменьшить время анализа и обработки данных, они нуждаются в быстром, гибком и надежном инструменте исследований и визуализации данных
В настоящее время решение исследовательских задач невозможно представить без использования компьютерных технологий. При обработке результатов вычислительного эксперимента или проведения анализа данных любого объема возникает потребность в применении информационных технологий для автоматизации этого процесса. Таким инструментом выступает Matlab. Этим и обусловлена актуальность данной работы.
В качестве объекта данной работы выступает процесс анализа данных и интерполирования в среде Matlab.
Предметом исследования является информация о специфических особенностях анализа данных и интерполяции в среде Matlab.
Целью данной работы является рассмотрение процесса анализа данных и интерполирования в среде Matlab.
Задачами данной работы являются:
рассмотрение общих сведений о данных и выделение типов, используемых при анализе в среде Matlab;
рассмотрение процесса анализа в среде Matlab;
изучение процесса интерполяции и ее видов.
1 Данные и их анализ в Matlab
Существенная доля времени разработчика тратится на создание правильных инструментов анализа, способов визуализации обрабатываемой информации и документирование результатов, т.е. на рутинные задачи, отвлекая от исследовательской деятельности. В связи с этим, встает острая необходимость выбора универсального программного комплекса, который избавит исследователя от рутинных задач, позволив сосредоточится на сути решаемой проблемы, а не на разработке средств для ее решения. Для миллионов инженеров по всему миру таким средством стал MATLAB – язык технических расчетов.
Matlab представляет собой популярный инструмент для математического и статистического анализа данных, имеющий широкий спектр возможностей для вычислений.
Matlab позволяет управлять, фильтровать и осуществлять предварительную обработку данных. Вы можете исследовать данные для нахождения трендов, проверки гипотез, построения описательных моделей. В Matlab включены функции для фильтрации, сглаживания, свёртки и быстрого преобразования Фурье. Продукты–расширения включают возможности подбора кривых и поверхностей, многомерной статистики, спектрального анализа, анализа изображений, идентификации систем и другие инструменты анализа.
Инженеры и ученые используют Matlab для организации, обработки и анализа сложных наборов данных из различных областей.
Типы данных, используемые в Matlab
Данные, используемые в Matlab являются форматами данных, которые используются для обработки, анализа и вычислений. В MATLAB имеется 16 основных типов данных или классов. Каждый из этих классов имеет форму матрицы или массива. За исключением дескрипторов функций, эта матрица или массив является как минимум размером 0 на 0 и может вырасти до n–мерного массива любого размера. Функциональный дескриптор всегда скалярный (1 на 1) [2].
Все существующие классы данных представлены на рисунке 1.
Важным моментом в MATLAB является то, что вам не нужно использовать объявления типа или инструкции по размеру по умолчанию. Когда вы определяете новую переменную, MATLAB создает ее автоматически и выделяет соответствующее пространство памяти.
Рисунок 1 – Основные классы Matlab
Если переменная уже существует, Matlab заменяет исходные данные на новую и при необходимости выделяет новое пространство для хранения [1].
К числу типов данных, поддерживаемых Matlab относят – числовые типы, символы, строки, дату и время, категориальные массивы, таблицы, расписания, структуры, массивы ячеек, функциональные обработчики, контейнеры карт, временные ряды, идентификация типов данных, преобразование типов данных.
Каждый из типов данных принимает и обрабатывает определенный тип формата данных через переменные. Matlab предоставляет функции для преобразования одного типа данных в другой совместимый тип данных с использованием функций преобразования.
Основные типы данных:
числовые – целые числа, числа с плавающей запятой;
символы и строки;
дата и время;
категориальные массивы;
логические операции;
таблицы;
расписания;
структуры;
массивы ячеек;
указатели на функции;
контейнеры карты;
временные ряды;
идентификаторы типа данных;
преобразоваторы типов данных [12].
Числовые типы – под этот тип входят целочисленные данные и данные с плавающей точкой или дроби.
Например,
a = int16(456).
Символы и строки – текст представлен в символьных массивах и строковых массивах.
Дата и время – содержит массивы значений даты и времени, которые могут быть снова показаны во многих различных форматах, таких как ДД / ММ / ГГГГ или ММ / ДД / ГГ и т. д.
Например,
datetime(«now») возвращается 21–Jul–2016 16:30:16 .
Категориальные массивы – содержат массивы качественных данных, таких как список со значениями из конечного набора дискретных выборок или данных нечислового типа.
Например,
a = categorical({«a» «b» «c»});
Логические операции предназначены для выполнения поэлементных логических операций над массивами одинаковых размеров.
Например,
a = logical(1).
Таблицы – массивы представлены здесь в виде таблицы, чьи именованные столбцы могут содержать различные типы, такие как числовые, категориальные и т. д.
Расписания – данные с метками времени, такие как ДД / ММ / ГГГГ / ЧСС / МИН / СЕК в табличной форме.
Структуры – наиболее универсальный и сложный, этот тип содержит массивы с именованными полями, которые содержат различные типы и размеры.
Массивы ячеек – тип данных, в котором массив может содержать данные переменных типов и размеров.
Например,
a = { [1 2 3], 56, «art»} или же a = cell(3);
Указатели на функции позволяют переменным вызывать функцию косвенно.
Контейнеры карты имеют объекты с ключами, где ключ индексируется по значениям, где ключи не обязательно должны быть целыми числами.
Временной ряд – данные временного ряда имеют определенный тип, в котором векторы данных выбираются за период времени.
Идентификаторы типов данных помогают нам определить тип данных любой переменной.
Преобразователи типов данных используются для преобразования многих типы данных, такие как числовые массивы, массивы ячеек, массивы символов, структуры, дескрипторы функций, таблицы и т. д. [11].
В таблице 1 некоторые типы данных рассмотрены более подробно.
Таблица 1 – Использование некоторых типов данных
Целые числа – int8, uint8, int16, uint16, int32, uint32, int64, uint64 Для целых чисел без знака и со знаком.
Более эффективное использование памяти.
intmin и intmax для диапазона значений.
Символы и строки – char, string
Тип данных для текста.
Может быть преобразован в числовой.
Для нескольких символьных массивов используйте массивы ячеек.
Логические операции – logical
Может иметь одно из двух значений: true или false.
Полезен при индексации массива.
Указатели на функции – function_handle
Позволяет передать функцию другой функции.
Может также вызвать функции вне обычного осциллографа.
Таблицы, расписания – table, timetable
Являются прямоугольными контейнерами для смешанного типа, данных в столбцах.
Расписания также обеспечивают устройство хранения данных для данных в таблице со строками, помеченными временем.
Свойства таблицы или расписания можно использовать для сохранения метаданных.
Структуры – struct
Поля хранят массивы различных классов и размеров.
Имена полей идентифицируют содержимое.
Массивы ячеек – cell
Ячейки хранят массивы различных классов и размеров.
Позволяет свободно группировать данные.
Числа с плавающей запятой – double, single
Для дробных числовых данных.
Двойная и одинарная точность.
Числовой тип по умолчанию в MATLAB.
realmin и realmax для диапазона значений.
Таким образом, были рассмотрены основные типы данных или классов в MATLAB.
Анализ данных в Matlab
Благодаря простому языку, богатому функционалу и высокой производительности, Matlab широко применяют для математических расчетов в разработке, науке и при обучении

. Помимо этого, следует отметить, что Matlab применяется и для обработки и анализа данных.
Для эффективного анализа и обработки данных за последние несколько лет в широкий функционал данной программной среды были добавлены некоторые функции [9]. Matlab обеспечивает:
обширное количество типов данных и возможности предварительной обработки, предназначенные для инженерных и научных данных;
интерактивные и настраиваемые визуализации данных;
тысячи встроенных функций для статистического анализа, машинного обучения и обработки сигналов;
обширная и профессионально написанная документация;
ускоренную производительность с простыми изменениями кода и дополнительным оборудованием;
расширенный анализ больших данных без больших изменений кода;
автоматическая упаковка анализа в свободно распространяемые программные компоненты или встраиваемый исходный код без ручного перекодирования алгоритмов;
совместно используемые отчеты, автоматически генерируемые из всего анализа [3].
MATLAB идеально походит для обработки и анализа данных, независимо от их природы.
В Matlab существует огромное количество стандартных функций, необходимых для обработки данных, графических средств для визуализации результатов исследования, а также возможность интеграции с MS Excel для обмена данными [6]. Matlab предоставляет функции и графические интерфейсы для выполнения различных общих задач анализа данных, такие как построение данных, вычисление описательной статистики, выполнение линейного корреляционного анализа, подбора данных и анализа Фурье.
Как было отмечено ранее, одним из первых шагов к любому анализу данных является построение графика. После, исследуя график, имеется возможность определить, какие части данных включить в анализ. Также можно использовать график для оценки, если данные содержат какие–либо функции, которые могут исказить или спутать результаты анализа, а затем обработать данные с интересующей выборкой.
После определения выборки можно приступить к анализу данных, который может включать в себя базовую подборку данных и анализ Фурье.
Каждый анализ данных проходит несколько этапов:
предварительная обработка – учет выборок, сглаживание данных для определения возможных моделей;
подведение итогов – вычисление базовой статистики для описания общего расположения, масштаба и формы данных;
визуализация – отображение данных для определения закономерностей и тенденций;
моделирование – определение более полного описания, подходящее для прогнозирования новых значений [4].
Анализ данных проходит эти этапы с учетом двух основных целей:
описание закономерности в данных с помощью простых моделей, которые приводят к точным прогнозам;
понимание отношения между переменными, которые приводят к построению модели.
Рассмотрим процесс предварительной обработки данных.
Первым шагом в анализе данных является их импорт в MATLAB.
Самый простой способ импортировать данные в MATLAB – это использовать MATLAB Import.
Можно импортировать следующие типы источников данных:
текстовые файлы, такие как .txt и .dat;
MAT–файлы;
файлы электронных таблиц, такие как .xls;
графические файлы, такие как .gif и .jpg;
аудио и видео файлы, такие как .avi и .wav.
Мастер импорта MATLAB обрабатывает источник данных и распознает данные разделители, а также заголовки строк или столбцов для облегчения обработки данных выборки [7].
После импорта данных в MATLAB рекомендуется построить график данных таким образом, чтобы была возможность изучить его особенности. Исследовательский график ваших данных позволяет вам выявить разрывы и потенциальные выбросы, а также интересующие выборки.
Загрузив данные в подходящие переменные контейнера MATLAB и выделив «хорошие» данные из «плохих» можно начать процесс анализа данных. Это предварительный шаг, который обеспечивает значимые выводы в последующих частях анализа.
Загрузка данных осуществляется соответсвующей функцией – load count.dat.
Правильная обработка пропущенных данных является сложной проблемой при анализе данных и часто зависит от вашей конкретной ситуации.
Исходя из контекста данных, вы должны решить, целесообразно ли исключить отсутствующие данные из анализа или заменить их с помощью такого метода, как интерполяция.
Когда вы исследуете график данных, вы можете обнаружить, что некоторые точки резко отличаются от остальных данных. В некоторых случаях разумно рассматривать такие выбросы или значения данных, которые не соответствуют остальным данным [3].
Потерянная информация. Значение MATLAB NaN обычно используется для представления отсутствующих данных. Значения NaN позволяют переменным с отсутствующими данными сохранять свою структуру. В MATLAB отсутствующие или недоступные значения данных представлены специальным значением NaN, которое обозначает Not–a–Number.
При выполнении вычислений для переменной MATLAB, которая содержит NaN, значения NaN распространяются на конечный результат. Это может сделать результат бесполезным.
Если не нужно, чтобы в окончательных результатах были NaN, вы должны удалить эти значения из ваших данных. Вы можете использовать интерполяцию, чтобы найти промежуточные точки в ваших данных.
Значения NaN вводятся в данные в разделе о выбросах.
Выпадающие – это значения данных, которые резко отличаются от шаблонов в остальных данных. Они могут быть связаны с ошибкой измерения или могут представлять существенные особенности данных.
Выявление выпадающих значений и решение, что с ними делать, зависит от понимания данных и их источника.
Один из распространенных методов идентификации выбросов – поиск значений, превышающих определенное количество стандартных отклонений σ от среднего значения μ.
Следующий код (рисунок 2) отображает гистограмму данных (рисунок 3) на третьем перекрестке вместе со строками в μ and μ+ησ, for η=1,2.
Рисунок 2 – Пример программного кода для реализации гистограммы данных
График показывает, что некоторые данные превышают среднее значение более чем на два стандартных отклонения.
Рисунок 3 – Реализованная гистограмма данных
Подведение итогов. Многие функции MATLAB позволяют вам обобщить общее местоположение, масштаб и форму выборки данных.
Одним из преимуществ работы в MATLAB является то, что функции работают с целыми массивами данных, а не только с единственными скалярными значениями. Функции называются векторизованными. Векторизация позволяет как эффективно формулировать проблемы, используя данные на основе массива, так и эффективно вычислять, используя векторизованные статистические функции [4].
Таким образом, MATLAB предоставляет функции для работы с разностными уравнениями и фильтрами для формирования изменений в исходных данных. Эти функции работают как с векторами, так и с матрицами. Вы можете фильтровать данные, чтобы сгладить высокочастотные колебания или удалить периодические тренды определенной частоты.
Вход вектора представляет один, дискретизированный сигнал данных (или последовательность). Для матричного входа каждый сигнал соответствует столбцу в матрице, а каждая выборка данных представляет собой строку.
Подводя итог выборки данных, найдем «типичное» значение