Статистика и планирование эксперимента для непосвященных: Как отучить статистику лгать [Майкл Х. Херцог] (pdf) читать постранично, страница - 56

Книга в формате pdf! Изображения и текст могут не отображаться!


 [Настройки текста]  [Cбросить фильтры]

статистиче‑
ском анализе нескольких экспериментов. Хотя мы и нашли серии
экспериментов, для которых ТИУ указывал на наличие проблем,
можно было бы допустить, что подавляющее большинство научных
исследований этим не грешит. Но, как показано ниже, это, к сожале‑
нию, не так.

11.1. При определении смещения возможны
трудности
Основная идея ТИУ довольно проста. Важное положение статистики
заключается в том, что неудачи обязательно должны быть. Даже если
эффект реально существует, иногда должны встречаться выборки,
в которых он не проявляется. Сообщать только об успешных результа‑
тах чревато проблемами, потому что опубликованный размер эффек‑
та может оказаться завышенным, и это указывает на существование
эффекта, которого на самом деле нет. Слишком высокий коэффициент
воспроизводимости – признак наличия какой-то проблемы в процес‑
се сбора данных, анализа, выдвижения теории или публикации.
Чтобы продемонстрировать последствия такого рода интерпре‑
тации, рассмотрим три серии модельных результатов, показанные
в табл. 11.1. Каждый смоделированный набор данных анализировал‑
ся с помощью двустороннего t-критерия. В основе каждой серии из
пяти исследований лежали по-разному смоделированные экспери‑
менты. В одной серии (корректная проверка) размер эффекта в гене‑
ральной совокупности был равен 0.8. Размеры выборок, n1 = n2, слу‑
чайно выбирались из диапазона от 10 до 30. Все пять экспериментов
дали значимые результаты, которые были полностью опубликованы.

152



Часть III. Метаанализ и кризиc науки

Таблица 11.1. Сводная статистика для трех серий из пяти модельных экспериментов
Серия A
n1 = n2

t

p

Серия B

Серия C

g

n1 = n2

t

p

g

n1 = n2

0.01

t

p

g

10

2.48 0.03

1.06

21

2.67

0.81

16

2.10 0.04 0.72

28

2.10 0.04

0.55

27

4.72