Сомневайся. Искусство критического мышления - Ларс Герберт
Второй вопрос: была ли контрольная группа? В исследованиях, где проверяют эффективность лечения или методики, сравнение с контрольной группой, которая не получала вмешательства, необходимо. Без него невозможно понять, связано ли улучшение с самим вмешательством или с естественным течением времени, с эффектом плацебо или с другими факторами. Самый надёжный тип исследования — это рандомизированное контролируемое испытание, где участников случайным образом распределяют в экспериментальную и контрольную группы. Случайное распределение позволяет сбалансировать неизвестные факторы, которые могли бы повлиять на результат.
Третий вопрос: было ли исследование двойным слепым? Это означает, что ни участники, ни исследователи, которые проводят измерения, не знают, кто находится в какой группе. Такая мера предотвращает неосознанное влияние ожиданий на результаты. Если и пациент, и врач знают, что дают новый препарат, то и тот, и другой могут верить в его эффективность, и это повлияет на субъективные оценки. Двойной слепой метод — золотой стандарт там, где он применим.
Четвёртый вопрос: насколько велик размер эффекта и насколько он практически значим? Даже если разница статистически значима, стоит оценить, велика ли она и важна ли для реальной жизни. Например, если новое лекарство снижает риск заболевания с одного процента до 0,9 процента, это статистически значимо на большой выборке, но для отдельного человека разница почти незаметна. Абсолютное снижение риска — 0,1 процента, в то время как производитель может привести относительное снижение риска: на десять процентов, что звучит внушительно. Понимание разницы между абсолютным и относительным риском — важная часть статистической грамотности.
Пятый вопрос: кто финансировал исследование и нет ли конфликта интересов? Это не значит, что любое исследование, оплаченное компанией, заведомо ложно. Но исследования, финансируемые заинтересованными сторонами, статистически чаще дают результаты, выгодные спонсору. Поэтому важно смотреть, зарегистрировано ли исследование заранее, опубликованы ли все результаты, включая отрицательные, и проводился ли анализ независимыми статистиками.
Особый случай — это публикационная предвзятость. Исследования с положительными результатами (когда гипотеза подтвердилась) публикуются гораздо чаще, чем исследования с отрицательными. В итоге в научной литературе создаётся искажённая картина: может казаться, что большинство исследований подтверждают какой-то эффект, тогда как на самом деле столько же или больше исследований его не обнаружили, но они остались неизвестными. Это одна из причин, по которым важны систематические обзоры и мета-анализы, где собирают все исследования по теме и оценивают общую картину, а не опираются на единичную публикацию.
Теперь обратимся к примеру, который показывает, как статистические ошибки могут влиять на реальные решения. Эдвард работал финансовым аналитиком в инвестиционной компании. Однажды он заметил, что акции небольшой технологической фирмы росли в течение пяти дней подряд, в то время как рынок в целом показывал слабую динамику. Он вспомнил, что похожая ситуация два года назад предшествовала резкому скачку стоимости. Эдвард не стал углубляться в причины, а просто сделал ставку на то, что история повторится. Он убедил коллег вложить крупную сумму. Акции действительно продолжали расти ещё несколько дней, но затем рухнули, потому что рост был вызван временным ажиотажем вокруг непроверенной новости. Эдвард попал в ловушку малых чисел и иллюзии закономерности. Он увидел закономерность там, где её не было, потому что взял слишком короткий отрезок времени и сделал вывод из единичного совпадения. Если бы он посмотрел на статистику за более длительный период, то обнаружил бы, что такие серии случайных колебаний встречаются часто и не предсказывают будущее.
Эта история иллюстрирует сразу несколько статистических ловушек. Во-первых, это склонность искать подтверждение своим догадкам и игнорировать противоречащие данные. Во-вторых, это непонимание того, что на коротких дистанциях случайные колебания создают видимость упорядоченности. В-третьих, это смешение корреляции с причинностью: Эдвард заметил совпадение двух событий в прошлом и решил, что одно влечёт за собой другое, хотя на самом деле оба могли быть вызваны случайными факторами.
Статистическая грамотность помогает избегать таких ошибок. Она учит нас, что, прежде чем делать вывод, нужно оценить объём данных, проверить, насколько стабильна закономерность на разных выборках, подумать о возможных альтернативных объяснениях. Это не означает, что нужно полностью отказаться от интуиции. Но интуицию следует проверять данными.
Ещё одна распространённая проблема — манипуляции с графиками. Визуальное представление данных может сильно влиять на восприятие. Если на графике ось ординат начинается не с нуля, а с некоторого значения, разница между показателями может выглядеть драматичной, хотя на самом деле она невелика. Или если взять разные временные отрезки, можно показать рост там, где на самом деле его нет. Поэтому, глядя на любой график, стоит обращать внимание на подписи осей, масштаб, единицы измерения и то, какие данные включены, а какие исключены.
В последние годы всё больше говорят о необходимости воспроизводимости исследований. Даже если исследование проведено корректно, его результаты должны быть воспроизведены другими учёными. К сожалению, многие результаты, особенно в психологии, медицине и экономике, не проходят проверку на воспроизводимость. Это не означает, что наука ненадёжна; это означает, что к единичным исследованиям нужно относиться с осторожностью, а доверять стоит тем выводам, которые подтверждены множеством независимых работ.
Как же применять статистическую грамотность в повседневной жизни? Начнём с малого. Каждый раз, когда вы видите заголовок в духе «учёные доказали», задайте себе несколько вопросов. О каком именно исследовании идёт речь? Был ли это эксперимент на людях или просто опрос? Сколько человек участвовало? Кто проводил исследование и на чьи деньги? Есть ли сравнение с контрольной группой? Где опубликованы результаты? Эти вопросы не требуют специального образования, они лишь требуют привычки не глотать информацию целиком.
Особенно это важно в сфере здоровья и медицины. Реклама часто использует наукообразные формулировки: «клинически доказано», «по данным исследований». Но что скрывается за этими словами? Возможно, это было небольшое исследование на двадцати добровольцах без контрольной группы, которое никогда не публиковалось в рецензируемом журнале. Или же исследование проводила сама компания, которая продаёт продукт, и результаты были подобраны так, чтобы выглядеть впечатляюще. Настоящие медицинские исследования, которые заслуживают доверия, имеют чёткую структуру, крупную выборку, контрольную группу, а их результаты публикуются в открытых источниках, где их могут оценить независимые специалисты.
Другой пример — опросы общественного мнения. Когда вы читаете, что «шестьдесят процентов россиян поддерживают какую-то меру», полезно уточнить: как именно проводился опрос? Была ли выборка репрезентативной? Сколько человек опросили? Какая погрешность? Если опрос проводился в интернете, он не отражает мнение тех,