Методы обработки данных

Методы обработки данных
Обработка данных делается для того, чтобы стало возможно решить следующие задачи:
1. Привести в порядок первоначальный материал, объединить большое количество сведений в общую систему данных, опираясь на которую, в дальнейшем, возможно, будет дать объяснение по изучаемому предмету;
2. Найти и убрать все недочёты, ошибки и нехватку данных;
3. Обнаружить скрытые от прямого восприятия тенденции;
4. Найти свежие факты, которые ни кто не заметил и не ожидал заметить, в процессе эмпирического процесса;
5. Понять правдивость, надёжности и точность известных данных и опираясь на них получить обоснованные результаты.
Работа с данными имеет количественный и качественный аспекты. Количественная обработка представляет собой манипуляции с измеренными характеристиками изучаемого объекта, с его явными во внешнем проявлении свойствами.
Качественная обработка — это способ предварительного проникновения в суть объекта, с помощью обнаружения его регулярных свойств, на базе количественных данных.
По большей части, количественная обработка нужна для того, чтобы провести внешнее изучение объекта, а вот качественная нужна для изучения его содержания. При количественном исследовании преобладает аналитическая составляющая познания, это видно и по названию данных методов изучения, все они на основе анализа.
Главным результатом качественной обработки является наведение порядка во внешних показателях изучаемого объекта. Делается количественная обработка, при помощи методов математики и статистики.
При качественной обработке преобладает синтетическая составляющая познания, при этом, при синтезе превалирует объединяющий компонент, а в меньшей степени имеется обобщающий компонент.
Обобщение — прерогатива следующего шага процесса исследования — интерпретационного. В процессе качественной обработки информации главным является не понятие сущности исследуемого явления, а лишь представление сведений о нём, благодаря которым станет возможно его дальнейшее изучение.
Количественные методы
Количественная обработка данных состоит из первичной и утопичной частей.
Методы первичной обработки
Данная часть обработки направлена на разделение информации по порядку о предмете и объекте излучения, полученной в результате эмпирического исследования. На данном этапе, вся недоработанная информация разбивается по различным группам, и данные заносят в сводные таблицы, а для лучше восприятия и понятности делают их графическими. Благодаря таким действиям становится возможным найти и устранить все ошибки, которые были сделаны при закреплении данных. Помимо этого, можно найти и убрать из общего ненужные данные, которые стали известны в результате не правильного проведения процедуры изучения, например, при отклонении от инструкций.
Помимо этого, первоначально обработанные данные заносят в удобную для восприятия форму и дают лицу, изучающему их представление о том, какие же в целом все изучаемые им данные. О том, однородные они или нет, разбросанные или компактные, размытые или четкие и так далее. Данная информация легко подлежит к прочтению на ненаглядных формах представления данных и связана с термином распределения информации.
Общее представление о вторичной обработке
Вторичная обработка представляет собой статистический анализ результатов первичной обработки. Построение и фиксирование графиков, грубо говоря, также является статистической обработкой, которая в сочетании с вычислением мер главной тенденции и разброса входит в состав одного из статистических разделов, если сказать более конкретно - в описательную статистику. Существует ещё один статистика — индуктивная. Она заключается в проведении проверки соответствия данных выборки всей популяции, т. е. решает проблему репрезентативности результатов и определяет, есть ли возможность перейти от частных знаний к общим.
Следующим большим разделом является корреляционная статистика, которая позволяет найти общее между различными явлениями. Главное что нужно понять — статистика не является математикой. В первую очередь это способ мышления и чтобы правильно им пользоваться нужно уметь правильно мыслить и обладать общими математическими навыками.
3.Основы теории измерений
Главная цель метрологии — обеспечить единство измерений. Под этим понимают такое состояние измерений, при котором их результаты показываются в узаконенных единицах и известна погрешность.
Измерения можно определить как экспериментальное нахождение отношения измеряемой физической величины к другой однородной величине, принятой за единицу. Исходя из этого, процесс измерения состоит из сравнений измеряемой величины с единицей, которая была выбрана ранее. В государственных стандартах под измерениями понимается нахождение физической величины, при помощи применения специальных средств техники.
Под физической величиной понимают свойства, которые считаются общими в качественном отношении для большого количества объектов, но индивидуальными для каждого в отдельности.
Количественное содержание физической величины, описывающее определённый объект, называют размером физической величины. Оценку физической величины в виде некоторого числа принятых для нее единиц называют значением физической величины.
Принято выделять два вида физической величины — истинное и действительное. В истинном значении содержится информация о количественных и качественных отношениях соответствующих свойств объекта, при измерениях его пытаются вычислить. Достоверное значение найти не удаётся, так как избежать погрешностей в измерениях невозможно. В практике вместо истомного значения, в качестве эксперимента находят действительное значение, настолько подходящее к истинному значению, что должна появиться возможность его применения.
Под методом измерений понимают совокупность приемов и правил применения измерительных средств, при помощи которых, становится возможным решить измерительные задачи. Методы измерений можно разделить по нескольким признакам. Наиболее важными считаются общепринятые классификации, которые берут за основу следующие признаки:
- Физический принцип, который лежит в основе измерений;
- Взаимодействие измерительных средств и объекта;
- Какие виды средств, применяются при измерениях;
- Какой вид хранителя единицы физической величины.
Больше всех пользуется способом последняя классификация. При использовании метода непосредственной оценки хранителем единицы выступает измерительный прибор прямого действия или измерительная система, а для метода сравнения с мерой хранителем единицы служит мера.
Существуют следующие виды сравнительного метода:
- Противопоставление (сюда же входит метод неродного уравновешивания, а также нулевой);
- Дифференциальный;
- Замещения;
- Совпадения.
Средства измерений — это применяемые при измерениях средства техники, которые имеют характеристики, влияющие на точность измерений. К ним относятся:
- Эталоны физических величин;
- Меры;
- Измерительные приборы;
- Измерительные преобразователи;
- Измерительно-вычислительные комплексы (ИВК);
- Компьютерно-измерительные системы (КИС);
- Измерительные информационные системы (ИИС).
Измерительный преобразователь представляет собой элемент наиболее трудных измерительных средств, которые обладают собственными метрологическими характеристиками

.
Они подразделяются на:
- первичные;
- передающие;
- промежуточные;
- масштабные.
Привесные преобразователи принято называть сенсорами или датчиками.
Основываясь на нескольких измерительных преобразователях можно создать различные измерительные меры и приборы. Измерительный прибор нужен для создания в форме выходного сигнала, который сможет воспринять наблюдатель. Все измерительные приборы принято подразделять на цифровые и аналоговые. К аналоговым относятся приборы с указателем в виде стрелки, а их показания считается непрерывной функцией величины, которая измеряется. Цифровой прибор подаёт дисконтной сигнал измеряемой информации в цифровой форме.
Мера необходима для того, чтобы воспроизвести физическую величину требуемого размера.
Корреляционный анализ
Данный анализ, как и все остальные, берёт за основу применение вероятностных моделей, которые описывают в генеральной совокупности поведение изучаемых признаков.
К числу задач данного анализа относят следующее:
- определение линейной или нелинейной формы;
- определение положительного и отрицательного направления, а также связи между признаками;
- определение тесноты связей;
- определение степени значимости коэффициентов корреляции.
Корреляция представляет собой взаимную связь статистических случайных величин или величины, которые можно считать таковыми. Их может быть как одна, так и несколько. Перемене значения какой-либо из величин сопутствует перемена значения иных величин.
Математической мерой корреляции двух случайных величин служит линейный коэффициент корреляции, ещё его называют коэффициентом Пирсона.
Корреляционной связью описываются следующие виды зависимостей:
- Причинная (между значениями параметров). В качестве примера можно привести связь пропускной способности канала передачи данных и соотношения сигнал/шум. Установить одну связь между значениями параметров не является возможным. Но становится понятно, что на пропускную способность влияет соотношение уровня помех и сигнала в канале. Бывают случаи, когда при этом не выделяется следствие и причина. В отдельных случаях такую корреляцию можно приравнять к бессмысленной если, например, за исходный фактор взять прибыль производителей антивирусных компьютерных программ, а в качестве результата взять количество новых вирусов. С такими примерами можно сделать вывод, что разработчики своими действиями приводят к появлению новых вирусов.
- Зависимость между следствиями общей причины. Данная зависимость характерна для скоростного и безошибочного набора текста оператором. Данные факторы зависят от уровня квалификации оператора.
Корреляционную связь принято отличать по степени, направлению и форме.
Корреляционные поля
Корреляция изучается при помощи экспериментальных данных, которые состоят из измеренных значений двух признаков. Если таких данных известно не много, то в этом случае двумерное эмпирическое распределение представляют в виде двойного ряда значений. Несмотря на это, корреляционная зависимость признаков, подлежат описанию различными способами. Соответствия между функцией и аргументом задаются при помощи графика, таблицы, формул и другими способами.
Когда проводится изучение корреляции количественных признаков, у которых можно точно измерить значения в единицах метрических шкал, то не редко принимают модель двумерной нормально распределенной генеральной совокупности.
Данная модель показывает зависимость переменных величин и графически в виде геометрического места точек в системе прямоугольных координат. Такую графическую зависимость называют диаграммой рассеивания или корреляционным полем. Такая модель корреляционного поля даёт понятную графическую интерпретацию коэффициента корреляции, т.к. разделение в целом зависит от следующих параметров:
- математических ожиданий величин;
- обыкновенных отклонений случайных величин;
- значения корреляции, которое считается мерой связи между случайными величинами.
Примеры корреляционных полей.
Те значения, которые были получены из нормальной двумерной совокупности, располагают на графиках в пределах обозначенной окружности. В таком случае, между двумя случайными величинами будет отсутствовать корреляция, и они будут считаться некоррелированными. Для нормального разделения некоррелированность считают ещё и независимость двух случайных величин.
Под полной корреляцией понимают линейную функциональную зависимость между случайными величинами. Проводятся определение значения точек, лежащих на прямой линии и обладающих положительным наклоном. При увеличении значения, наклон также увеличивается. Если она прямая — наклон отрицательный.
Бывают промежуточные случаи, это когда определяемые значениями точки, входят в область формы эллипса и при этом корреляция положительная (при увеличении значения преимущественно возрастает). Чем расстояние ближе, тем теснее эллипс и точки, которые находятся при помощи экспериментальных значений. Группировка их происходит вдоль прямой линии.
Важно обратить внимание на то, что вдоль линии группировки точек можно проходить не только прямая. Данная линия может быть как форме параболы, так и гиперболы, а также в иных других формах. В таких случаях рассматривается нелинейная корреляция.
Корреляционную зависимость между различными признаками можно объяснить различными способами. Любая форма взаимодействия может быть представлена общим уравнением, где признаком является зависимая переменная или функция от независимой переменной, которую называют аргументом.
Исходя из этого, благодаря зрительному осмотру корреляционного поля становится возможным узнать не только о наличии линейной или нелинейной синтетических связях изучаемых признаков, но и её форму и тесноту.
4.Проверка на физичность
Вне зависимости от природы, каждой системе характерны собственные физические закономерности, которые определяют внутренние причинно-следственные связи, функционирование и существование. Для того, чтобы объяснить системы любой природы (даже живой) потребуются только физические законы.
Принципы основываются на следующем - постулат ценности, он представляет собой целый объект, а не большое количество подсистем, данный объект допускает разные разделения на подсистемы. За основу в этом постулате берётся принцип избежания потери понятия не в случае объединения не схожих подсистем в систему, не при разделении системы.
Если при сложении частей, сумма будет равняться целому, то такие системы будут называться аддитивными касаемо данного разделения, если сумма получится выше целого - супераддитивными, если ниже — субаддитивным.
Постулат целостности применяют при накоплении достаточного количества информации о возможностях системы, на различных этапах её исследования и обобщении их в понятия, а в последствии, в применении этих понятий на подсистемах при их изучении по отдельности после декомпозиции.
Процедура нахождения целостности состоит в изучении:
- внутрисистемных взаимосвязей;
- связи системы и среды;
-свойств системы;
- механизма возникновения;
- характеристик подсистем, которые подавляются общесистемными свойствами, способов подавления и в каких условиях теряется сила;
- независимости, наиболее сложные системы обладают временной пространственной метрикой и внутрисистемными законами сохранения, которые определяются при помощи физического содержания и не завися от окружающей среды.
Суть заключается в том, что любая система находится в подходящем для неё пространстве и ограничивается метрическим пространством