О чем речь? Критерий Пирсона — способ сравнить то, что наблюдается в реальности, с тем, что ожидалось бы при отсутствии закономерности. Если объяснять проще, он дает ответ на вопрос: «Расхождение между фактическими и ожидаемыми частотами действительно есть или всему виной случайность выборки?».
На что обратить внимание? Критерий Пирсона используется только для определения наличия или отсутствия связи между двумя категориальными переменными, не имеющими числовых значений. А еще его применение возможно лишь при соблюдении некоторых условий.
В этой статье:
- Суть критерия Пирсона
- Области применения критерия Пирсона
- Виды критерия Пирсона
- Гипотезы критерия Пирсона
- Ограничения в применении критерия Пирсона
- Критерий Пирсона и таблица сопряженности
- Формула расчета критерия Пирсона
- Этапы расчета критерия Пирсона
- Пример расчета критерия Пирсона
- Интерпретация результатов
- Таблица распределения хи-квадрата в критерии Пирсона
- Инструменты для расчета критерия Пирсона
- Графическое представление критерия Пирсона
- Возможные ошибки в работе с критерием Пирсона
- Иные критерии хи-квадрат
- Тестирование разных показателей с помощью критерия хи-квадрат
- Полезные книги о критерии Пирсона
- Часто задаваемые вопросы о критерии Пирсона
-
Чек-лист: Как добиваться своих целей в переговорах с клиентамиСкачать бесплатно
Суть критерия Пирсона
На рубеже XIX и XX веков в Англии несколько отраслей науки разрабатывал Карл Пирсон. Именно он стал основоположником математической статистики и биометрики, известны его труды в области биологии и философии. В 1900 году ученым был предложен метод в математической статистике, получивший название «критерий хи-квадрат», а в дальнейшем его стали называть критерием Пирсона.
Данный подход предназначен для анализа таблиц сопряженности и выявляет, чем теоретические результаты, полученные исследователем в ходе анализа, отличаются от реальных данных. Метод применяется и для того, чтобы выявить, насколько выборка соответствует законам распределения.
Источник: shutterstock.com
Отправной точкой исследования является предположение, что фактические данные подчиняются какому-то закону распределения. В частности, допустим, что для нашей выборки актуальна равномерность – это будет нулевая гипотеза. Далее потребуется проверка с применением критерия Пирсона, совпадают ли предполагаемые данные с теоретическими. На основании полученных ответов делается вывод о степени достоверности нулевой гипотезы.
В современной математической статистике в понятие «критерий хи-квадрат» входят разные методики, а критерий Пирсона лишь один из них, более узкий, хотя и самый популярный. Нередко названия применяют как синонимы.
И еще одно. Критерий Пирсона используется совместно с готовыми таблицами сопряженности, которые уже составлены для ряда часто встречающихся обстоятельств.
Читайте также!
Области применения критерия Пирсона
При составлении различных прогнозов и выработке стратегий обычно требуется установить корреляцию между разными факторами. Как раз для этой цели и подходит критерий Пирсона. Метод применяют разные специалисты:
-
Ученые. В ходе экспериментальных исследований необходимо определять степень вероятности спонтанных корреляций между переменными – это и позволяет проверить критерий Пирсона.
-
Аналитики. В бизнесе необходимо составлять прогнозы динамики рынка и поведения покупателей. Например, статистика торгового центра показывает, что ежедневно его посещает примерно одинаковое количество людей. Но данные необходимо проверять на достоверность. Точно так же для владельца обувного магазина для заполнения склада необходимо убедиться, что на самом деле наибольшим спросом пользуется обувь 39 размера (40 % покупок), затем идет 38, 37 и 40 размеры с продажами 30, 20 и 8 % соответственно.
-
Сотрудники в области здравоохранения. Критерий Пирсона позволяет проверять выкладки в ходе клинических исследований и при написании научных работ.
-
Маркетологи. Метод позволяет уточнять стратегию развития товара. Например, исследования показали, что китайские товары пользуются большим спросом в населенных пунктах, количество жителей в которых меньше 1 млн человек.
Источник: shutterstock.com
Критерий хи-квадрат способен показать, есть связь или нет между двумя категориальными переменными. Таковыми считаются переменные, способные принимать ограниченное количество уникальных значений и не имеющие обычно числовых выражений. Это, например, любимый цвет или напиток. Их еще называют переменными, распределенными по номинальной шкале.
Виды критерия Пирсона
Методика χ², в зависимости от целей проверки, используется в двух основных вариантах.
-
Критерий согласия Пирсона.
При помощи этого метода можно выяснить, совпадают ли результаты теоретического исследования и фактически наблюдаемого. Пример: одинаковое ли количество ответов получил каждый из пяти вариантов в опросе, соответствуют ли частоты нормальному распределению.
-
Критерий независимости (однородности).
Рассчитав критерий независимости хи-квадрат, устанавливают наличие или отсутствие связи двух признаков в таблице сопряженности. Пример: влияет ли пол покупателя на выбор продукта; одинаково ли количество успешных людей в разных группах. Критерием однородности в таких исследованиях будет единый признак, по которому сделаны две выборки. Расчеты аналогичны.
Гипотезы критерия Пирсона
Применение критерия Пирсона сводится к двум гипотезам.
-
H₀ (нулевая): признаки независимы / наблюдаемое распределение совпадает с ожидаемым (расхождения случайны).
-
H₁ (альтернативная): между признаками существует связь / распределение не совпадает с ожидаемым.
Если расчет показал значимость (p < 0,05) — работает вариант H₁: связь есть или распределение неслучайно.
Ограничения в применении критерия Пирсона
Для сравнения подходят только группы, не обладающие взаимной зависимостью и разные по размеру. К примеру, не получится определить реакцию покупателя на продукт до ребрендинга и после.
-
Массив данных для анализа должен содержать минимально 50 переменных, иначе результат получится неточным.
-
Значение, которое мы рассчитываем получить в ходе эксперимента (ожидаемая частота), должно укладываться в промежуток от 5 до 10 единиц.
-
Метод применяется по отношению к наглядным переменным – тем, для которых можно выдвинуть допущение и проверить его. В противном случае критерий Пирсона не даст правильного распределения.
-
В расчетах участвуют параметры с определенным набором характеристик: бинарные (операционная система iOS/Android); измеримые в номинальной шкале (пол, профессия); порядковые (образование – высшее, среднее, начальное).
-
Не подходит критерий Пирсона для выборки переменных, значение которых может меняться в пределах одного интервала, а также процентов и долей. Не получится определить, какая часть из посетителей магазина приходится на блондинов, поскольку сегодня таковых 240 человек, вчера было 125, а позавчера 318. Соответственно, и доля будет другой каждый раз.
Читайте также!
Критерий Пирсона и таблица сопряженности
В ходе исследований в математической статистике применяются таблицы сопряженности, в которые заносятся данные о том, как разные факторы влияют на частоту исходов. Для анализа таких таблиц тоже используется критерий Пирсона. Покажем это на примере.
В ходе исследования стоит задача выявить зависимость между курением табака и артериальной гипертензией. Участники были поделены на две группы – в первую попали 90 человек, выкуривающих каждый день от 20 сигарет, вторую составили 85 человек той же возрастной группы без привычки курить.
В первой группе артериальное давление выше нормы регистрировалось у 63 человек, у остальных 27 проблем с повышенным давлением не было. Во второй группе гипертензией страдали 34 человека, а у 51 заболевание отсутствовало.
Эти сведения заносим в таблицу сопряженности, состоящую из четырех полей:
| Артериальная гипертония есть (1) | Артериальной гипертонии нет (0) | Всего | |
| Курящие (1) | 63 | 27 | 90 |
| Некурящие (0) | 34 | 51 | 85 |
| Всего | 97 | 78 | 175 |
В этой таблице сопряженности в строках представлены данные по каждой группе исследуемых. В столбиках – сведения о количестве людей с гипертензией и без таковой.
Теперь надо провести анализ и сравнить группы курящих и некурящих на предмет выявления между ними статистически значимых различий между количеством страдающих гипертензией людей в обеих группах. Именно критерий Пирсона способен справиться с этой задачей. Проведя расчеты, необходимо сравнить полученное значение с критическим.
Формула расчета критерия Пирсона
Критерий Пирсона базируется на сопоставлении реально существующих частот с теоретически ожидаемыми при том, что нулевая гипотеза истинна. Высокие значения критерия указывают на наличие значительных различий между частотами, соответственно, возникают основания сомневаться в справедливости нулевой гипотезы. И чем больше отклонения, тем менее правдивой становится нулевая гипотеза. Критерий Пирсона рассчитывают по формуле:
χ² = Σ [(O - E)² / E],
где:
-
O (observed) — наблюдаемые (фактические) частоты;
-
E (expected) — ожидаемые (теоретические) частоты;
-
Σ — знак суммирования по всем категориям.
Проверить истинность гипотезы о независимости двух признаков можно по таблице сопряженности. В ней для расчета ожидаемых частот используется следующая формула:
E = (Row Total × Column Total) / Grand Total
Теоретический критерий Пирсона (χ²), рассчитанный по формуле, сопоставляется с критическим значением в таблице распределения хи-квадрат для заданного уровня значимости (в большинстве случаев α = 0,05 или 0,01) и числа степеней свободы (df).
Число степеней свободы для проверки соответствия распределению рассчитывают по формуле: df = k - p - 1, где k — число категорий, p — число оцениваемых параметров. Для таблицы сопряженности формула иная: df = (r-1) × (c-1), где r — число строк, c — число столбцов.
Увеличим продажи вашего бизнеса с помощью комплексного продвижения сайта. Наша команда экспертов разработает для вас индивидуальную стратегию, которая позволит в разы увеличить трафик, количество заявок и лидов, снизить стоимость привлечения клиентов и создать стабильный поток новых покупателей.
Этапы расчета критерия Пирсона
На первый взгляд может показаться, что рассчитать критерий Пирсона довольно сложно, однако, если следовать в точности алгоритму, процесс оказывается не таким трудным. Ниже описаны последовательные шаги, соблюдая которые, вы получите точный результат.
Шаг 1. Формулируем гипотезы. H₀ (нулевая гипотеза): распределение совпадает с ожидаемым или признаки автономны. H₁ (альтернативная гипотеза): распределение не совпадает с ожидаемым или между признаками имеется зависимость.
Источник: shutterstock.com
Шаг 2. Собираем информацию и заносим ее в таблицу. Если стоит задача выполнить одномерный анализ, то в таблицу помещаем категории и частоты. В случае двумерного анализа таблица сопряженности будет содержать два признака.
Шаг 3. Определяем наблюдаемые частоты (O). Таковыми будут реальные величины частот в каждой ячейке таблицы.
Шаг 4. Рассчитываем ожидаемые частоты (E). Если надо проверить соответствие распределению, используем формулу: E = n × p, где n — объем выборки, p — теоретическая вероятность. Когда стоит задача проверить независимость, нужна другая формула: E = (Row Total × Column Total) / Grand Total для каждой ячейки.
Шаг 5. Рассчитываем значения критерия Пирсона χ². Для этого разность между значениями наблюдаемой и ожидаемой частот для каждой ячейки возводим в квадрат: (O - E)². Далее вычисляем частное между полученной величиной и ожидаемой частотой: (O - E)² / E. Затем складываем получившиеся значения по всем ячейкам: χ² = Σ [(O – E)² / E].
Шаг 6. Вычисляем числа степеней свободы (df).
Шаг 7. Находим критическое значение. Принимаем уровень значимости равным 0,05, используем статистические таблицы или специальные функции в программах. Для заданного числа степеней свободы определяем критическое значение χ².
Шаг 8. Принимаем решение. Если критерий Пирсона χ² расчетный > χ² критических значений, то нулевая гипотеза недостоверна. При обратном утверждении (χ² расчетный ≤ χ² критических) нулевая гипотеза может иметь место. Для прояснения ситуации нужно вычислить p-значение, при помощи которого сможем оценить, насколько вероятно получить наблюдаемый результат или более экстремальный, если принять справедливость нулевой гипотезы.
Пример расчета критерия Пирсона
Возьмем для примера реальную ситуацию и при помощи критерия Пирсона определим, какова степень независимости двух признаков. Предположим, предметом исследования была связь между методом обучения (традиционный или инновационный) и успеваемостью студентов (высокая, средняя, низкая).
| Метод/Успеваемость | Высокая | Средняя | Низкая | Итого |
| Традиционный | 15 | 40 | 25 | 80 |
| Инновационный | 35 | 30 | 15 | 80 |
| Итого | 50 | 70 | 40 | 160 |
По приведенному выше алгоритму рассчитываем критерий корреляции Пирсона:
Шаг 1. Формулируем гипотезы. H₀: между методами обучения и успеваемостью связь отсутствует. H₁: между методами обучения и успеваемостью есть связь.
Шаг 2. Информация уже занесена в таблицу сопряженности выше.
Шаг 3. Наблюдаемые частоты (O) представлены в таблице.
Шаг 4. При помощи формулы E = (строка итого × столбец итого) / общий итог вычисляем ожидаемые частоты (E) для каждой из ячеек:
-
Традиционный метод, высокая успеваемость: E = (80 × 50) / 160 = 25.
-
Традиционный метод, средняя успеваемость: E = (80 × 70) / 160 = 35.
-
Традиционный метод, низкая успеваемость: E = (80 × 40) / 160 = 20.
-
Инновационный метод, высокая успеваемость: E = (80 × 50) / 160 = 25.
-
Инновационный метод, средняя успеваемость: E = (80 × 70) / 160 = 35.
-
Инновационный метод, низкая успеваемость: E = (80 × 40) / 160 = 20.
Шаг 5. Находим значение критерия χ²: χ² = (15 - 25)²/25 + (40 - 35)²/35 + (25 - 20)²/20 + (35 - 25)²/25 + (30 - 35)²/35 + (15 - 20)²/20 = 4 + 0,71 + 1,25 + 4 + 0,71 + 1,25 = 11,92.
Шаг 6. Вычисляем число степеней свободы: df = (r - 1) × (c - 1) = (2 - 1) × (3 - 1) = 1 × 2 = 2.
Шаг 7. Определяем критическое значение χ². Для α = 0,05 и df = 2 критическое значение χ² = 5,991.
Шаг 8. Принимаем решение. Из наших расчетов получается, что 11,92 > 5,991, следовательно, нулевая гипотеза недостоверна. Таким образом, между методом обучения и успеваемостью студентов выявлено наличие статистически значимой связи.
Интерпретация результатов
Самым главным моментом при использовании критерия Пирсона в статистическом анализе является правильная интерпретация результатов. Для этого необходимо понимать и математическую логику инструмента, и контекст исследования. В ходе интерпретации χ² учитывают такие моменты:
-
Уровень значимости (α): чаще всего он равен 0,05 или 0,01, означающий допустимую вероятность ошибки I рода (ложное отклонение верной H₀).
-
P-значение: если p < α, нулевая гипотеза считается ложной.
-
Величина эффекта: сам критерий χ² показывает наличие связи, но не ее силу.
-
Оценить силу связи между переменными помогают специальные коэффициенты:
| Коэффициент | Условия применения | Формула | Интерпретация |
| Коэффициент Крамера (V) | Для таблиц любого объема | V = √(χ²/(n×min(r - 1, c - 1))) |
0-0,1: незначительная 0,1-0,3: слабая 0,3-0,5: средняя > 0,5: сильная |
| Коэффициент фи (φ) | Только для таблиц 2 × 2 | φ = √(χ²/n) | Аналогично V |
| Коэффициент сопряженности (C) | Для таблиц любого объема | C = √(χ²/(χ² + n)) |
Ближе к 0 — связь слабее ближе к 1 — связь сильнее |
Таблица распределения хи-квадрата в критерии Пирсона
В зависимости от значений уровня значимости и степени свободы величины критерия Пирсона χ² представлены в таблице ниже.
| Степени свободы | Значение | ||||||||||
| 1 | 0,004 | 0,2 | 0,6 | 0,15 | 0,46 | 1,07 | 1,64 | 2,71 | 3,84 | 6,63 | 10,83 |
| 2 | 0,01 | 0,21 | 0,45 | 0,71 | 0,39 | 2,41 | 3,22 | 4,61 | 5,99 | 9,21 | 13,82 |
| 3 | 0,35 | 0,58 | 0,01 | 0,42 | 0,37 | 3,66 | 4,64 | 6,25 | 7,81 | 11,34 | 16,27 |
| 4 | 0,71 | 1,06 | 0,65 | 0,20 | 0,36 | 4,88 | 6,99 | 7,78 | 9,49 | 13,28 | 18,47 |
| 5 | 1,14 | 1,61 | 2,34 | 3,00 | 4,35 | 6,06 | 7,29 | 9,24 | 11,07 | 15,09 | 20,52 |
| 6 | 1,63 | 2,20 | 3,07 | 3,83 | 5,35 | 7,23 | 8,56 | 10,64 | 12,59 | 16,81 | 22,46 |
| 7 | 2,17 | 2,83 | 3,82 | 4,67 | 6,35 | 8,38 | 9,80 | 12,02 | 14,07 | 18,48 | 24,32 |
| 8 | 2,73 | 3,49 | 4,59 | 5,53 | 7,34 | 9,52 | 11,03 | 13,36 | 15,51 | 20,09 | 26,12 |
| 9 | 3,32 | 4,17 | 5,38 | 6,39 | 8,34 | 10,66 | 12,24 | 14,68 | 16,92 | 21,67 | 27,88 |
| 10 | 3,94 | 4,87 | 6,18 | 7,27 | 9,34 | 11,78 | 13,44 | 15,99 | 18,31 | 23,21 | 29,59 |
| P-значение | 0,95 | 0,90 | 0,80 | 0,70 | 0,50 | 0,30 | 0,20 | 0,10 | 0,05 | 0,01 | 0,001 |
Для использования этой таблицы на практике необходимо знать два значения:
-
Степень свободы.
-
Альфа-уровень для критерия. Он характеризует вероятность получения ответа. Значение находится в промежутке между 0 (нулевая гипотеза) и 1 (противоположный ответ). Исследователь выбирает его самостоятельно.
При помощи таблицы тестируют различные результаты:
-
Независимость показателей.
Например, коррелируют ли между собой такие характеристики, как цвет волос и пол. Исследования проведем на группе из одной тысячи человек. Примем значение уровня значимости 0,05 – именно его выбирают чаще всего. Вычисляем степень свободы по формуле (2 - 1) × (3 - 1) = 2.
Далее на основании этих данных в таблице распределения находим пересечение чисел 0,05 и 2, получаем значение 5,99. Критическое значение критерия Пирсона больше этого числа, а значит, нет оснований для опровержения гипотезы, а также корреляция между показателями недоказуема. Можно получить более точные значения, если взять выборку в несколько раз больше.
Источник: shutterstock.com
-
Качество подгонки.
Вычисления проводятся по тому же алгоритму. Возьмем пример с обувью, который мы приводили выше. Поставим задачу выяснить, на самом ли деле наиболее востребована у женщин обувь тридцать девятого размера (40 % покупок), а затем спрос распределяется следующим образом – 38 размер (30 %), 37 размер (20 %), и 40 размер (8 %). Степень свободы будет 4 - 1 = 3. Задаем уровень значимости, пусть будет 0,1, и по таблице находим критическое значение – 6,25.
-
Однородность показателей.
Например, по таблице можно определить, скажется ли отличие между двумя курсами повышение квалификации для менеджеров на росте продаж в дальнейшем, или улучшатся ли знания учеников, если они будут ходить на дополнительные занятия к разным преподавателям.
Инструменты для расчета критерия Пирсона
Существует несколько способов рассчитать критерий Пирсона – специальные программы, онлайн-сервисы.
Пожалуй, наиболее простым способом будет вычисление при помощи Microsoft Excel.
В программе есть встроенная функция ХИ2.ТЕСТ, которая на основе фактических и ожидаемых частот возвращает p-значение. Еще один вариант – использовать функцию НОРМРАСП, которая позволит сравнить эмпирическое распределение с нормальным. Если требуется более глубокий анализ, например стоит задача построить корреляционную матрицу, нужно будет сначала активировать «Пакет анализа», а затем использовать надстройку «Анализ данных».
Другой путь – написать программу в Python. В библиотеке SciPy имеется специальная функция для расчета критерия Пирсона по таблице сопряженности – chi2_contingency. С ее помощью определяются значение χ², p-уровень, число степеней свободы и даже ожидаемые частоты.
Источник: shutterstock.com
Помимо этого, среди программных инструментов SciPy имеется функция pearsonr, предназначенная для определения коэффициента корреляции Пирсона и p-значения для проверки значимости связи. Работать удобно в Pandas (DataFrame) и NumPy.
Когда нет необходимости в сложном анализе, а требуется лишь протестировать согласие частот или проверить гипотезу, лучше воспользоваться для расчета критерия Пирсона онлайн-сервисом. В частности, калькулятор на площадке statblank.com позволяет рассчитать ожидаемые частоты, χ², для таблиц 2 × 2 можно применить поправку Йейтса. Здесь же определяется p-уровень и сила связи (например, коэффициент V Крамера). На основании этих данных сервис предложит вывод.
Еще одна площадка – toolstack.ru, — помимо расчета критерия Пирсона, визуализирует результаты.
Из предложенных инструментов выбирают тот, который удобнее и закрывает текущие задачи. Так, для работы в офисе с использованием Excel пригодятся его встроенные функции и надстройки. Функция ХИ2.ТЕСТ (или CHISQ.TEST) на основании двух диапазонов (наблюдаемые и ожидаемые) возвращает p-значение. Критическое значение дает ХИ2.ОБР.ПХ. Для расчета ожидаемых частот специальной функции нет, их считают вручную.
Для тех, у кого есть возможность программировать и необходимость в обработке большого объема данных, предпочтителен Python с SciPy. В SPSS: «Анализ» → «Описательные статистики» → «Таблицы сопряженности» → кнопка «Статистики» → отметить «Хи-квадрат». Программа выдаст значение, df и p (для 2 × 2 — сразу и поправку Йейтса).
Когда надо получить быстрый ответ при ограниченной выборке, лучше использовать онлайн-калькулятор. Это наиболее простой способ. Вы получите ожидаемые частоты, χ²_эмп, степени свободы (с учетом поправки Йейтса при необходимости), значение p и готовый вывод.
Читайте также!
Графическое представление критерия Пирсона
Чтобы наглядно представить, в какой степени фактические (наблюдаемые) данные не совпадают с ожидаемыми при условии актуальности нулевой гипотезы, используют графическое представление критерия Пирсона. На графике видно, где именно наблюдается несоответствие, числовое значение которого и характеризует критерий.
Как правило, график представляет собой несколько рядов данных одновременно, тогда отчетливо видна разница между ними. Самыми распространенными типами визуализации являются:
-
Гистограмма с теоретической горизонтальной линией. По оси абсцисс откладывают категории или интервалы), по оси ординат — частоты (количество наблюдений). Эмпирические (наблюдаемые) частоты характеризуются высотой столбиков. Горизонтальная линия представляет собой значения частот, которые были бы при достоверности нулевой гипотезы (например, частота всех категорий одинакова при равномерном распределении).
Места расхождения на графике отмечают стрелками – так отчетливо видно, где именно опытные данные не совпадают с теоретическими расчетами.
-
Совмещенные графики. При наличии нескольких гипотез или выборок их гистограммы (или полигоны) наносят одновременно на один график. Такое представление позволяет сразу сравнить два и более распределений, например в экспериментальной группе и в контрольной.
Источник: shutterstock.com
Графическое представление позволяет увидеть, есть ли систематические отклонения. Когда реальная линия постоянно отклоняется в одну или другую сторону от теоретической, скорее всего, нулевая гипотеза не работает.
В частности, можно сделать вывод, что переменные независимы или их связывает какой-либо закон распределения. Для того чтобы сделать формальный вывод и понять, насколько статистически значимы расхождения или вообще случайны, надо рассчитать критерий Пирсона с использованием приведенных выше формул.
Важно: график будет показателен только в том случае, если в каждой ячейке (для каждой категории) ожидаемая частота не меньше пяти.
Возможные ошибки в работе с критерием Пирсона
У критерия Пирсона (в том числе в форме коэффициента корреляции Пирсона) есть определенные ограничения, без учета которых интерпретация приведет к неверным выводам. Чаще всего встречаются следующие ошибки:
-
Путают корреляцию и причинность.
Эта ошибка встречается чаще всего. На основании коэффициента Пирсона невозможно понять, изменяется ли одна переменная в результате изменений другой, поскольку хи-квадрат указывает лишь силу и направление линейной связи. Между двумя переменными может выявляться связь под воздействием третьей (конфаундинг), в результате случайного совпадения или из-за другой неявной причины.
В частности, можно выявить тесную связь между количеством проданного мороженого и солнцезащитных очков. Объединяющим фактором здесь будет жаркая летняя погода, но вовсе не то, что это из-за мороженого люди вынуждены покупать очки. Выявить актуальные причины можно при помощи дополнительных методов, таких как эксперименты, причинное моделирование.
-
Игнорируют влияние выбросов.
Наличие экстремальных значений, или выбросов, вносит существенные искажения в коэффициент Пирсона. Сила связи способна неоправданно снижаться или повышаться на фоне единственного наблюдения, выбивающегося из обычного ряда. В итоге получаем ошибочные значения.
Источник: shutterstock.com
В связи с этим в массиве данных необходимо выявлять экстремальные значения и корректировать их при помощи робастных методов либо не принимать во внимание вовсе.
-
Не учитывают нелинейные связи.
При помощи критерия Пирсона выявляется зависимость линейного характера. Однако, если зависимость более сложная, например параболическая, при явном наличии связи коэффициент будет приближаться к нулю. Справиться с этой проблемой можно, если до того, как рассчитывать хи-квадрат, построить диаграмму рассеяния – она покажет наличие нелинейной связи.
-
Пренебрегают предположениями метода.
Одним из условий при расчете критерия Пирсона являются предположения о непрерывности данных и их близком к нормальному распределении, независимости наблюдений. Если расчеты строятся на массиве, не подходящем под эти условия (например, данные порядковые или есть сильная асимметрия), результаты будут сильно искажены.
-
Смешивают статистическую и практическую значимость.
Когда выборка очень масштабная, статистическую значимость имеет даже слабая связь, то есть вероятность ее случайности стремится к нулю. Однако с практической точки зрения значимость такой связи ничтожна либо бессмысленна.
-
Игнорируют проблему множественных сравнений.
С ростом числа корреляционных тестов, проведенных с одним и тем же информационным массивом, увеличивается шанс случайно получить значимый результат. Если не вносить поправки, например такие как поправки Бонферрони, повышается вероятность получения ложноположительных выводов.
-
Допускают ошибки при интерпретации нулевой корреляции.
Если расчеты дают критерий Пирсона равный или приближающийся к нулю, это указывает на то, что между параметрами нет линейной связи, однако может быть связь другого характера.
Источник: shutterstock.com
При наличии предположения о нелинейной зависимости используют другие методы.
-
Не учитывают скрытый диапазон.
Иногда диапазон значений переменной намеренно сужают, в частности из-за особенностей выборки, в результате чего невозможно корректно оценить истинную корреляцию.
-
Не учитывают парадокс Симпсона.
Случается, что корреляция в отдельных группах сильно не совпадает с общей по выборке по величине либо имеет противоположный знак.
-
Неверно оценивают силу связи.
При помощи критерия Пирсона можно установить лишь факт – есть связь или нет, однако для оценки величины этой связи нужно применять другие методы, например коэффициент Чупрова.
-
Не анализируют остатки.
Стандартизованные остатки позволят увидеть, какие именно ячейки таблицы сопряженности вносят наибольший вклад в значение критерия хи-квадрат.
Свести к минимуму проблемы в результате ошибок можно следующим образом: прежде чем приступать к анализу, надо визуализировать информацию, пройтись по предпосылкам метода, учитывать смысловое поле задачи, при обработке более двух переменных применять поправки, для оценки силы связи использовать соответствующие коэффициенты.
Иные критерии хи-квадрат
Помимо критерия Пирсона, о котором речь шла выше, у хи-квадрата есть и другие критерии. Расскажем о некоторых из них.
-
Критерий Тьюки.
Метод применяют при необходимости сравнения нескольких групп, обычно минимум трех. С его помощью оценивают разницу между средними значениями в группах и степенью их значимости.
-
Критерий Фишера.
Он подходит для случаев с ожидаемой частотой менее пяти. Ожидаемая частота характеризует, сколько раз определенный результат должен появиться в таблице ожидаемых значений.
-
Поправка Йейтса.
Один из вариантов критерия хи-квадрат используется для сопоставления небольших массивов данных при ожидаемой частоте максимум 5. Необходимость применения этой поправки вызвана тем, что при маленьких числах в таблице расчет по классическому критерию дает слишком большую погрешность.
Источник: shutterstock.com
Поправка ее существенно уменьшает. Расчет очень простой – от чисел в таблице просто отнимается 0,5 или 1. Затем вычисляется статистика, при этом значения окажутся меньше, чем без поправки, поэтому риск ошибки снижается.
Тестирование разных показателей с помощью критерия хи-квадрат
Сфера применения критериев хи-квадрат довольно обширна – они помогают при анализе выборки данных, с их помощью можно установить ложность или истинность какой-либо гипотезы. Самое широкое применение находят тесты гомогенности, независимости и дисперсии.
Гомогенность. При помощи теста определяют, является ли одинаковым распределение какой-то переменной в нескольких группах.
В частности, тест гомогенности можно использовать, если стоит задача определить, существует ли разница в распределении доходов жителей разных городов. У этого критерия есть свойства непараметричности, то есть на него не влияют параметры распределения, имеют значение лишь наблюдения.
Источник: shutterstock.com
Независимость. При помощи этого теста определяют, существует ли связь между двумя категориальными переменными. Например, образование и предпочтения в кино, пол и любимая музыка и пр. Как правило, критерий хи-квадрат позволяет установить автономность переменных либо выявить связь между ними.
Дисперсия. Тест используется для оценки степени отклонений данных в выборке от неких средних значений. Он помогает выявить величину разброса в разных выборках, сравнить ее с какими-либо эталонными значениями и пр. В частности, тест пригодится при анализе дисперсии отметок учащихся в разных классах: соответствует ли она среднему уровню, одинаковый ли разброс и пр.
Полезные книги о критерии Пирсона
-
Г. Тарщилова «Критерий хи-квадрат Пирсона» М.: МИСиС, 2020. 48 с. В книге содержится история появления критерия, который Пирсон разработал в 1900 году. Приведен подробный алгоритм работы с показателем – построение и интерпретация статистики, таблицы сопряженности, проверка гипотез об однородности данных. Пособие дает всю необходимую начальную информацию, примеры, быстро вводит в суть дела.
-
В. Ф. Писарук «Математическая статистика. Критерий хи-квадрат». Учебное пособие. Информация в книге изложена глубже и полнее, чем в предыдущей. Кроме критерия Пирсона, дан материал по смежным темам (оценка параметров, проверка сложных гипотез), что позволяет расширить возможности анализа за пределы хи-квадрата.
-
Л. Закс «Анализ статистических распределений». В монографии подробно описано, как использовать критерий Пирсона для проверки статистических гипотез. Большое внимание уделено математическому аппарату, что очень полезно для тех, кому необходимо углубиться в теорию, разобраться в доказательствах метода.
-
А. И. Орлов «Математическая статистика». Среди прочего в разделе, посвященном критерию согласия, описан критерий Пирсона. В книге много примеров на базе реальных исследований, поэтому сразу понятно практическое применение метода.
-
А. П. Ковалевский «Статистические критерии». В книге описаны статистические критерии, в том числе хи-квадрат. Подробно разобраны применение показателя, построение статистики, работа с таблицами распределений. Пособие поможет более глубоко вникнуть в тему.
Источник изображения на шапке: shutterstock.com
Часто задаваемые вопросы о критерии Пирсона
Зачем нужен критерий хи-квадрат, если говорить простыми словами?
Критерий Пирсона показывает степень отклонения фактической частоты от ожидаемой. Большая разница указывает на то, что распределение не случайно либо признаки связаны между собой.
Можно ли рассчитать хи-квадрат для процентов?
Нельзя. В формуле все значения представляют собой абсолютные частоты (число наблюдений). Если данные получены в процентах, их сначала надо перевести в натуральные величины.
Откуда берут число степеней свободы?
Формула будет разной в зависимости от применения. Для критерия согласия: df = k - 1 - m, где k — число классов (интервалов), а m — число параметров, которые были оценены по той же выборке (например, если вы проверяли нормальность, оценивали среднее и дисперсию). Для теста независимости (таблицы сопряженности): df = (r - 1) × (c - 1), где r — число строк, c — число столбцов.
По каким критериям определяют значимость результата?
Сравнивают рассчитанное значениеχ²_эмпс критическим значением при определенном df. Связь считается значимой, если χ²_эмп ≥ χ²_крит (для df = 1 это 3,84),p < 0,05.
Какие интервалы нужно брать при расчете?
Число интервалов должно быть оптимальным, отклонение в большую или меньшую сторону ослабляет критерий. Чтобы определить начальное число интервалов, можно воспользоваться правилом Стерджеса: k ≈ 1 + 3,322·lg(n), где n — объем выборки.
В каких случаях применяют поправку Йейтса?
Она используется при небольших частотах и если таблица 2 × 2. С применением поправкиχ² уменьшается, что ограничивает оценку. Если частоты слишком маленькие, лучше использовать не критерий Пирсона, а более точный критерий Фишера
Можно ли по критерию Пирсона оценить силу связи?
Критерий χ² указывает лишь на присутствие статистической связи, но, чтобы оценить ее величину, необходимо использовать другие коэффициенты (например, коэффициент Крамера). На первый взгляд может показаться, что критерий Пирсона слишком запутан. Однако стоит начать им пользоваться, вся сложность теории пропадает. Решая практические задачи из учебников или открытых уроков, можно быстро освоить применение метода, разобравшись с принципами расчета.