Дисперсия, среднеквадратичное (стандартное) отклонение, коэффициент вариации в Excel
Из предыдущей статьи мы узнали о таких показателях, как размах вариации, межквартильный размах и среднее линейное отклонение. В этой статье изучим дисперсию, среднеквадратичное отклонение и коэффициент вариации.
Дисперсия
Дисперсия случайной величины – это один из основных показателей в статистике. Он отражает меру разброса данных вокруг средней арифметической.
Сейчас небольшой экскурс в теорию вероятностей, которая лежит в основе математической статистики. Как и матожидание, дисперсия является важной характеристикой случайной величины. Если матожидание отражает центр случайной величины, то дисперсия дает характеристику разброса данных вокруг центра.
Формула дисперсии в теории вероятностей имеет вид:
То есть дисперсия — это математическое ожидание отклонений от математического ожидания.
На практике при анализе выборок математическое ожидание, как правило, не известно. Поэтому вместо него используют оценку – среднее арифметическое. Расчет дисперсии производят по формуле:
s 2 – выборочная дисперсия, рассчитанная по данным наблюдений,
X – отдельные значения,
X̅– среднее арифметическое по выборке.
Стоит отметить, что у такого расчета дисперсии есть недостаток – она получается смещенной, т.е. ее математическое ожидание не равно истинному значению дисперсии. Подробней об этом здесь. Однако при увеличении объема выборки она все-таки приближается к своему теоретическому аналогу, т.е. является асимптотически не смещенной.
Простыми словами дисперсия – это средний квадрат отклонений. То есть вначале рассчитывается среднее значение, затем берется разница между каждым исходным и средним значением, возводится в квадрат, складывается и затем делится на количество значений в данной совокупности. Разница между отдельным значением и средней отражает меру отклонения. В квадрат возводится для того, чтобы все отклонения стали исключительно положительными числами и чтобы избежать взаимоуничтожения положительных и отрицательных отклонений при их суммировании. Затем, имея квадраты отклонений, просто рассчитываем среднюю арифметическую. Средний – квадрат – отклонений. Отклонения возводятся в квадрат, и считается средняя. Теперь вы знаете, как найти дисперсию.
Расчет дисперсии в Excel
Генеральную и выборочную дисперсии легко рассчитать в Excel. Есть специальные функции: ДИСП.Г и ДИСП.В соответственно.
В чистом виде дисперсия не используется. Это вспомогательный показатель, который нужен в других расчетах. Например, в проверке статистических гипотез или расчете коэффициентов корреляции. Отсюда неплохо бы знать математические свойства дисперсии.
Свойства дисперсии
Свойство 1. Дисперсия постоянной величины A равна (нулю).
Свойство 2. Если случайную величину умножить на постоянную А, то дисперсия этой случайной величины увеличится в А 2 раз. Другими словами, постоянный множитель можно вынести за знак дисперсии, возведя его в квадрат.
Свойство 3. Если к случайной величине добавить (или отнять) постоянную А, то дисперсия останется неизменной.
Свойство 4. Если случайные величины X и Y независимы, то дисперсия их суммы равна сумме их дисперсий.
Свойство 5. Если случайные величины X и Y независимы, то дисперсия их разницы также равна сумме дисперсий.
Среднеквадратичное (стандартное) отклонение
Если из дисперсии извлечь квадратный корень, получится среднеквадратичное (стандартное) отклонение (сокращенно СКО). Встречается название среднее квадратичное отклонение и сигма (от названия греческой буквы). Общая формула стандартного отклонения в математике следующая:
На практике формула стандартного отклонения следующая:
Как и с дисперсией, есть и немного другой вариант расчета. Но с ростом выборки разница исчезает.
Расчет cреднеквадратичного (стандартного) отклонения в Excel
Для расчета стандартного отклонения достаточно из дисперсии извлечь квадратный корень. Но в Excel есть и готовые функции: СТАНДОТКЛОН.Г и СТАНДОТКЛОН.В (по генеральной и выборочной совокупности соответственно).
Среднеквадратичное отклонение имеет те же единицы измерения, что и анализируемый показатель, поэтому является сопоставимым с исходными данными.
Коэффициент вариации
Значение стандартного отклонения зависит от масштаба самих данных, что не позволяет сравнивать вариабельность разных выборках. Чтобы устранить влияние масштаба, необходимо рассчитать коэффициент вариации по формуле:
По нему можно сравнивать однородность явлений даже с разным масштабом данных. В статистике принято, что, если значение коэффициента вариации менее 33%, то совокупность считается однородной, если больше 33%, то – неоднородной. В реальности, если коэффициент вариации превышает 33%, то специально ничего делать по этому поводу не нужно. Это информация для общего представления. В общем коэффициент вариации используют для оценки относительного разброса данных в выборке.
Расчет коэффициента вариации в Excel
Расчет коэффициента вариации в Excel также производится делением стандартного отклонения на среднее арифметическое:
Коэффициент вариации обычно выражается в процентах, поэтому ячейке с формулой можно присвоить процентный формат:
Коэффициент осцилляции
Еще один показатель разброса данных на сегодня – коэффициент осцилляции. Это соотношение размаха вариации (разницы между максимальным и минимальным значением) к средней. Готовой формулы Excel нет, поэтому придется скомпоновать три функции: МАКС, МИН, СРЗНАЧ.
Коэффициент осцилляции показывает степень размаха вариации относительно средней, что также можно использовать для сравнения различных наборов данных.
Таким образом, в статистическом анализе существует система показателей, отражающих разброс или однородность данных.
Ниже видео о том, как посчитать коэффициент вариации, дисперсию, стандартное (среднеквадратичное) отклонение и другие показатели вариации в Excel.
Источник
Первичная обработка статистических данных. Практическое пособие , страница 25
Таким образом, выборочное стандартное отклонение равно квадратному корню из выборочной дисперсии, следовательно, справедливы формулы:
Пример 2.21 В течение пяти дней студент Ковалев записывал стоимость обедов в студенческой столовой: 3,2; 4,8; 5,6; 4,5; 5,4. Найдем выборочную дисперсию и стандартное отклонение.
Сначала определим среднее:
Найдем стандартное отклонение:
Округлим полученное значение: S = 0,95 условных рублей.
Определение 2.14 Выборочной дисперсией вариационного ряда x 1 , x 2 , …, x n с соответствующими частотами называется число , определяемое формулой:
соответственно, при малом и большом значении n , где .
Пример 2.22 Для социологического исследования были собраны данные о количественном составе 20 семей, приведенные в следующей таблице.
Таблица 2.16 – Количественный состав семей
Найдем среднее, дисперсию и стандартное отклонение:
n = 2 + 3 + 8 + 5 + 1 + 1 = 20;
Округлим S 2 = 1,50 и S = 1,23. Итак, – это среднее число членов семьи, S = 1,23 – это стандартное отклонение от среднего.
Определение 2.15 Выборочной дисперсией статистического ряда, состоящего из k интервалов с соответствующими интервальными средними и интервальными частотами , называется число , равное:
или ,
соответственно, при малом и большом значении n , где .
Пример 2.23 Результаты экзамена по высшей математике пятидесяти студентов представлены следующим статистическим рядом. Используется десятибалльная система оценок. Найдем среднее и стандартное отклонение.
Таблица 2.17 – Итоги экзамена по высшей математике
Найдем интервальные средние:
Найдем дисперсию данной выборки:
Определим значение стандартного отклонения:
Итак, средняя оценка студентов I курса составляет 5,6 баллов. Стандартное отклонение баллов показывает, что оценки большинства студентов отличаются от среднего не более, чем на 2,26 баллов.
Таким образом, для вычисления выборочной дисперсии необходимо найти значение среднего , вычислить сумму квадратов отклонений выборочный значений от среднего и разделить ее на n – 1, где n – число всех наблюдений. Извлечение квадратного корня при нахождении стандартного отклонения возвращает к первоначальному масштабу единицы измерения.
Обработка и анализ статических данных требует кропотливой и нелегкой вычислительной работы. Для организации вычислений в математической статистике часто используются специальные таблицы.
Пример 2.24 Найдем среднее и стандартное отклонение для статистического ряда из примера 1.4 о высоте городских зданий. Все необходимые вычисления будем записывать в таблицу 2.18.
Из таблицы 2.18 берем необходимые промежуточные результаты:
Итак, среднее высоты зданий равно 27,12 метров, а стандартное отклонение равно 9,96 метров.
Таблица 2.18 – Вычисление среднего и стандартного отклонения высоты зданий
Источник
Первичная обработка статистических данных. Практическое пособие , страница 25
Таким образом, выборочное стандартное отклонение равно квадратному корню из выборочной дисперсии, следовательно, справедливы формулы:
Пример 2.21 В течение пяти дней студент Ковалев записывал стоимость обедов в студенческой столовой: 3,2; 4,8; 5,6; 4,5; 5,4. Найдем выборочную дисперсию и стандартное отклонение.
Сначала определим среднее:
Найдем стандартное отклонение:
Округлим полученное значение: S = 0,95 условных рублей.
Определение 2.14 Выборочной дисперсией вариационного ряда x 1 , x 2 , …, x n с соответствующими частотами называется число , определяемое формулой:
соответственно, при малом и большом значении n , где .
Пример 2.22 Для социологического исследования были собраны данные о количественном составе 20 семей, приведенные в следующей таблице.
Таблица 2.16 – Количественный состав семей
Найдем среднее, дисперсию и стандартное отклонение:
n = 2 + 3 + 8 + 5 + 1 + 1 = 20;
Округлим S 2 = 1,50 и S = 1,23. Итак, – это среднее число членов семьи, S = 1,23 – это стандартное отклонение от среднего.
Определение 2.15 Выборочной дисперсией статистического ряда, состоящего из k интервалов с соответствующими интервальными средними и интервальными частотами , называется число , равное:
или ,
соответственно, при малом и большом значении n , где .
Пример 2.23 Результаты экзамена по высшей математике пятидесяти студентов представлены следующим статистическим рядом. Используется десятибалльная система оценок. Найдем среднее и стандартное отклонение.
Таблица 2.17 – Итоги экзамена по высшей математике
Найдем интервальные средние:
Найдем дисперсию данной выборки:
Определим значение стандартного отклонения:
Итак, средняя оценка студентов I курса составляет 5,6 баллов. Стандартное отклонение баллов показывает, что оценки большинства студентов отличаются от среднего не более, чем на 2,26 баллов.
Таким образом, для вычисления выборочной дисперсии необходимо найти значение среднего , вычислить сумму квадратов отклонений выборочный значений от среднего и разделить ее на n – 1, где n – число всех наблюдений. Извлечение квадратного корня при нахождении стандартного отклонения возвращает к первоначальному масштабу единицы измерения.
Обработка и анализ статических данных требует кропотливой и нелегкой вычислительной работы. Для организации вычислений в математической статистике часто используются специальные таблицы.
Пример 2.24 Найдем среднее и стандартное отклонение для статистического ряда из примера 1.4 о высоте городских зданий. Все необходимые вычисления будем записывать в таблицу 2.18.
Из таблицы 2.18 берем необходимые промежуточные результаты:
Итак, среднее высоты зданий равно 27,12 метров, а стандартное отклонение равно 9,96 метров.
Таблица 2.18 – Вычисление среднего и стандартного отклонения высоты зданий
Источник
Статистическая обработка результатов измерения
Завершающей стадией количественного анализа химического состава вещества любым методом является статистическая обработка результатов измерений. Она позволяет оценить систематические и случайные погрешности измерений.
Используя приемы математической статистики, можно:
• рассчитать основные метрологические характеристики методики анализа (оценить воспроизводимость и правильность полученных данных, отбросив результаты, содержащие промахи);
• определить методом регрессивного анализа вид функциональной зависимости аналитического сигнала от концентрации (содержания) определяемого элемента;
• рассчитать метрологические характеристики параметров градуировочного графика и результатов анализа;
• представить результаты статистической обработки в виде компактных табличных данных, позволяющих оценить воспроизводимость и правильность полученных результатов;
• в случае необходимости оценить нижнюю границу определяемых содержаний вещества, предел определения (обнаружения), коэффициент чувствительности.
Расчет метрологических характеристик результатов измерений (определений) при малой выборке
При химическом анализе пищевых продуктов содержание вещества в пробе устанавливают, как правило, по небольшому числу параллельных определений (n). Для расчета погрешностей определений в этом случае пользуются методами математической статистики, разработанными для малого числа определений. Полученные результаты рассматривают как случайную (малую) выборку из некоторой гипотетической генеральной совокупности, состоящей из всех мыслимых в данных условиях наблюдений.
Для практических целей можно считать, что при числе измерений п — 20-30 значения стандартного отклонения генеральной совокупности (а) — основного параметра и стандартного отклонения малой выборки (S) близки (S = у).
Оценка воспроизводимости результатов измерений
Среднее выборки. Пусть x1, х2, . хп обозначают п результатов измерений величины, истинное значение которой р.. Предполагается, что все измерения проделаны одним методом и с одинаковой точностью. Такие измерения называют равноточными.
В теории ошибок доказывается, что при условии выполнения нормального закона при п измерениях одинаковой точности среднее арифметическое из результатов, полученных при всех измерениях, является наиболее вероятным и наилучшим значением измеряемой величины:
Это среднее значение принимают за приближенное и пишут X = м.
Единичное отклонение — это отклонение отдельного измерения от среднего арифметического:
Алгебраическая сумма единичных отклонений равна нулю:
Дисперсия, стандартное отклонение, относительное стандартное отклонение. Рассеяние результатов измерений относительно среднего значения принято характеризовать дисперсией S 2 :
или стандартным отклонением (средним квадратичным отклонением) — S:
которое обычно и приводят при представлении результатов измерений (анализа) и которым характеризуют их воспроизводимость.
Стандартное отклонение, деленное на среднее выборки, называют относительным стандартным отклонением:
В общем случае метод анализа оптимален в той области содержаний, в которой и абсолютное (S) и относительное (Sr) стандартное отклонение имеют минимальные значения.
Определение и исключение грубых погрешностей
В литературе приведены различные методы оценки и исключения грубых погрешностей.
Рассмотрим наиболее простой для практического использования метод исключения грубых промахов по Q-критерию. Для этого составляют отношение:
где х1 — подозрительно выделяющийся результат определения (измерения);
х2 — результат единичного определения, ближайший по значению к х1;
R — размах варьирования;
Я = хмах — хмин — разница между наибольшим и наименьшим значением ряда измерений. При малой выборке (п < 10) размах варьирования служит также одной их характеристик рассеяния результатов измерений.
Вычисленное значение Q сопоставляют с табличным значением Q (Р, n1) (табл. 1.1).
Наличие грубой погрешности доказано, если Q > Q (Р, пi).
Оценка правильности результатов измерений (определений)
После того как осуществлена проверка грубых погрешностей (в случае подозрительных результатов измерений) и их исключение, производят оценку доверительного интервала (Ах) для среднего значения X и интервальных значений X ± Ах.
Доверительный интервал (Ах). Если воспроизводимость результатов измерений (методики анализа) характеризуют стандартным отклонением, то сами результаты измерений (определений) характеризуют доверительным интервалом среднего значения X, который рассчитывают по формуле
где tP, f — квантиль распределения Стьюдента при числе степеней свободы f = п — 1 и двухсторонней доверительной вероятности Р (значения tp, f см. в табл. 1.2).
Обычно для расчетов доверительного интервала пользуются значениями Р = 0,95; иногда достаточно Р = 0,90, но при ответственных измерениях требуется более высокая надежность (Р = 0,99).
Коэффициент tp, f показывает, во сколько раз разность между истинным и средним результатами больше стандартного результата.
Источник