На повторной проверке выдержала лишь половина научных выводов — и это не повод объявлять науку аферой
В большой международной проверке примерно половина выводов из исследований социальных и поведенческих наук подтвердилась, когда независимые команды попытались повторить работу. А эффекты, которые удалось обнаружить повторно, в среднем оказались менее чем вдвое слабее первоначально заявленных. Вывод не самый уютный: опубликованная научная статья — ещё не бронзовая табличка с надписью «истина», а скорее приглашение проверить, не слишком ли авторы обрадовались своим данным.
Исследование опубликовано в журнале Nature. Оно охватило психологию, экономику, социологию, образование, бизнес и политологию. Результаты не означают, что эти дисциплины «ошибаются в половине случаев»: авторы и независимые эксперты отдельно предупреждают, что так трактовать цифры нельзя. Но работа показывает, насколько рискованно принимать отдельный опубликованный результат за установленный факт.
Что значит «повторить исследование»
Репликация — это независимая проверка прежнего научного вывода. Исследователи задают тот же вопрос, что и авторы исходной работы, но используют новые данные или ранее собранный набор данных, не задействованный в первоначальном анализе. Если вывод отражает устойчивую закономерность, похожая проверка должна обнаружить сопоставимый результат — хотя в социальных науках условия никогда не совпадают идеально.
Такие проверки нужны не ради академического спорта. На научные выводы опираются при разработке образовательных программ, государственной политики и практик в здравоохранении. Если результат ненадёжен, решения, построенные на нём, тоже могут оказаться ненадёжными.
В предыдущие годы масштабные проекты уже выявляли проблемы с воспроизводимостью результатов. В 2015 году проверили 100 психологических исследований: первоначальные результаты удалось получить примерно в одной трети случаев. Это вызвало бурные споры и побудило учёных проверять другие дисциплины. В исследовании лабораторных экспериментов по экономике, опубликованном в 2016 году, статистически значимый эффект в том же направлении обнаружили в 11 из 18 работ. В проекте 2018 года, посвящённом экспериментам из социальных наук, опубликованным в ведущих междисциплинарных журналах, успешно повторились около 62% исследований, но сила эффектов примерно вдвое уменьшилась. В совокупности прежние проверки указывали: примерно половина хорошо подготовленных репликаций даёт статистически значимый результат в том же направлении, что и исходная работа.
Как устроили масштабную проверку
Новое исследование провела международная команда под руководством Andrew H. Tyner из Center for Open Science. В работе участвовали его коллеги, в том числе Timothy M. Errington и Brian A. Nosek — исполнительный директор Center for Open Science и профессор University of Virginia, а также сотни учёных из 31 страны. Проект проходил в рамках программы DARPA SCORE — Systematizing Confidence in Open Research and Evidence.
Как объяснял Nosek, программа SCORE стартовала в 2019 году и объединила тысячи исследователей. В частности, учёные хотели выяснить, могут ли алгоритмы предсказывать, насколько вероятно повторение научного результата, чтобы помогать решать, какие исследования стоит проводить дальше.
Сначала команда случайным образом отобрала 3900 количественных научных статей, опубликованных с 2009 по 2018 год в 62 журналах. В статьях должны были анализироваться реальные данные о людях — отдельных участниках, семьях, компаниях или политических структурах — и сообщаться положительный статистический результат. Из 1500 подходящих публикаций исследователи выбрали конкретные утверждения для проверки и сопоставили их с независимыми командами, располагавшими нужной экспертизой и ресурсами.
В итоге были проведены 296 попыток репликации: проверили 274 отдельных научных утверждения из 164 статей, опубликованных в 54 журналах. Для 98 статей исследователи заново собрали данные у участников. Для 66 других использовали уже существующие наборы данных, которые не применялись в исходных работах. В той части исследования, где можно было сравнить стандартные показатели корреляции, медианная выборка составляла 206 человек в оригинальных исследованиях и 545 — в повторных.
Команды заранее проектировали исследования так, чтобы у них была высокая статистическая мощность: то есть достаточно большая выборка, чтобы заметить эффект, если он действительно существует. Медианная вероятность обнаружить эффект того же размера, что и в исходной статье, составляла 99,6%. По возможности использовали материалы первоначального исследования. План сбора данных и анализа проходил внутреннюю экспертную оценку, в том числе с приглашением авторов исходной работы. Протоколы заранее публиковали на Open Science Framework, чтобы исследователи не могли менять методы уже после того, как увидели результаты.
Половина выводов не повторилась — но это не значит, что половина оказалась ложью
Основной критерий был привычным для социальных наук: появился ли при повторной проверке статистически значимый результат в том же направлении, что и в первоначальной работе. Статистическая значимость — это условный порог, помогающий оценить, насколько маловероятно было бы увидеть такой результат, если бы реального эффекта не существовало. Обычно используют порог в 5%.
Поскольку в некоторых статьях проверяли несколько утверждений, учёные считали результаты двумя способами: отдельно по каждой статье и по каждому утверждению. При подсчёте по статьям публикации с несколькими проверяемыми выводами учитывались так, чтобы каждая статья имела одинаковый вес. По этому показателю повторную проверку прошли 49,3% статей. Ещё в 40,4% случаев результат не достиг статистической значимости — это называют нулевым результатом. В 9,7% случаев обнаружился статистически значимый эффект, направленный противоположно исходному выводу.
Если считать каждое из 274 утверждений отдельно, успешными оказались 55,1%. Нулевой результат получили для 35,8% утверждений, а противоположное исходному направление — для 8,8%.
Однако ответ «значимо или незначимо» — грубоватый инструмент. Поэтому исследователи сравнили и размер эффектов: насколько сильна обнаруженная связь или разница. Результаты 157 статей, охватывавших 249 утверждений, привели к общей шкале корреляции Пирсона r. Она находится между −1 и 1: ноль означает отсутствие связи, единица — идеальную положительную связь, а отрицательное значение — связь в противоположном направлении.
Медианный размер эффекта в исходных статьях составлял 0,25, а в повторных исследованиях — 0, Иными словами, корреляция уменьшилась на 58,1%. Доля общей вариации, которую один показатель объясняет через связь с другим, сократилась на 82,4%. Эффект оказался меньше первоначального в 80,3% повторно проверенных статей и в 70,3% отдельных утверждений.
Часть такого уменьшения ожидаема из-за так называемой регрессии к среднему. Команды проверяли уже опубликованные положительные результаты. Некоторые из них могли случайно оказаться завышенными; при повторном измерении оценка естественным образом становится скромнее и ближе к реальному эффекту. Статистика, как обычно, не обязана поддерживать первоначальный энтузиазм авторов.
Nosek подчёркивал: воспроизводимость опубликованных результатов нельзя считать само собой разумеющейся. По его словам, публикации содержат больше неопределённости, чем мы часто предполагаем, а проверка надёжности вывода требует времени и усилий. Иногда наши представления о силе и природе эффекта просто оказываются неверными.
Между дисциплинами — небольшая разница, но не уверенная
Когда исследователи разделили результаты по шести областям, показатели различались умеренно. Статистически значимых различий между дисциплинами не обнаружили. При подсчёте по статьям успешность составила:
экономика — 42,5%;
бизнес — 47,2%;
психология — 49,0%;
социология — 51,1%;
политология — 52,0%;
образование — 63,1%.
Последнюю цифру не стоит торжественно ставить на стену факультета: в сфере образования проверили всего 13 статей, поэтому оценка особенно неопределённа. Год публикации — с 2009-го по 2018-й — также не был статистически связан с тем, удалось ли повторить результат.
Сопоставили и два способа получения данных. Новые данные дали успешную репликацию в 47,8% статей, а анализ ранее собранных данных — в 51,4%. По критерию статистической значимости разница невелика. Но размеры эффектов отличались: в исследованиях с новыми данными медианный эффект уменьшился с 0,28 до 0, В работах на основе вторичных данных он изначально был меньше — 0,13 — и снизился лишь до 0,
Один критерий — не единственный способ решить, «повторилось» ли исследование
Учёные не договорились о единственном математическом определении успешной репликации. Поэтому авторы использовали ещё 12 критериев: например, проверяли, попал ли повторный результат в диапазон неопределённости исходного исследования, и объединяли исходные и новые данные в метаанализе — статистическом способе совместно оценить результаты нескольких исследований.
По всем 13 методам оценки доля успешных репликаций варьировалась от 28,6% до 74,8%, медианное значение составило 49,3%. Самый высокий показатель получился при метаанализе исходных и новых данных. Но этот способ изначально склоняется в пользу успеха: в расчёт включают первоначальные положительные данные. Наименьшие показатели дали критерии, которые штрафовали повторную работу за эффект меньшего или большего размера, чем в оригинале.
Stephanie Zellers, исследовательница-постдокторантка University of Helsinki, не участвовавшая в проекте, отметила, что работа расширяет прежние проекты Many Labs. Те проверяли конкретные результаты в нескольких лабораториях, а новое исследование охватило более широкий набор выводов из разных дисциплин и использовало систематический, репрезентативный и случайный подход к их отбору. При этом полностью случайным выбор не был: часть команд сама решала, за какую проверку браться.
Zellers также похвалила прозрачность отчёта и подробное обсуждение разных критериев репликации. Выбор метода влияет на ответ на вопрос «повторилось ли исследование?», а у каждого метода есть свои допущения, сильные стороны и ограничения. Поэтому, по её мнению, использование нескольких метрик делает выводы убедительнее.
Чего эти цифры не доказывают
У повторных исследований есть ограничения. Успешная репликация не превращает первоначальный вывод в истину, высеченную в камне. И два исследования социальных процессов никогда не бывают совершенно одинаковыми: год, состав участников и культурная среда могут повлиять на результат по вполне реальным причинам, которые учёные пока не всегда понимают.
Неудачная репликация тоже не доказывает, что исходное исследование ошибочно. Возможны разные объяснения: первоначальный эффект был ложноположительным или завышенным; ошибка возникла при повторной проверке; либо результаты изменились из-за неучтённых факторов.
Zellers отдельно предостерегла от вывода, будто социальные и поведенческие науки «правы только в половине случаев». Репликация сама по себе не делает исследование хорошим, а её отсутствие не автоматически означает проблему. Важнее оценивать весь массив данных по конкретному утверждению, учитывать неопределённость и понимать, в каких условиях эффект проявляется. Метаисследования — то есть исследования самой научной практики — нужны не для охоты на отдельные выводы, а для оценки совокупности доказательств.
Есть и ограничения отбора. Хотя первоначальный пул статей формировали случайно, в итоговую выборку вошли работы, которые реально было возможно проверить в рамках бюджета, сроков и доступной экспертизы. Сложные и ресурсоёмкие исследования реже попадали в проект. Качественные исследования, основанные не на числовом анализе, а, например, на интервью и наблюдениях, а также статьи с нулевыми результатами исключили ещё на старте.
Изменился и состав дисциплин: психология составляла около 24% первоначальной выборки, но 35,4% завершённых проверок. Доля образования и политологии, напротив, уменьшилась. Zellers считает, что будущие проекты стоило бы распространить на большее число журналов, включить нулевые и качественные результаты и изучать публикации за другие периоды. Это помогло бы понять, что именно повышает или снижает воспроизводимость.
Проблема — не только в ошибках, но и в уверенности
Авторы считают, что главная трудность социальных и поведенческих наук не обязательно заключается в самой низкой воспроизводимости. Исследования на переднем крае науки всегда связаны с риском: попытки проверить новые идеи иногда приводят к важным открытиям, а иногда — в тупик. Проблема начинается, когда один опубликованный результат объявляют установленным фактом, хотя он пока лишь предварительное свидетельство.
При этом низкие показатели всё равно вызывают тревогу. Zellers связывает возможную часть проблемы с устройством научной публикации: журналы исторически охотнее принимали новые положительные результаты, чем отрицательные или неопределённые. Возникает фильтр: эффект, который случайно оказался завышенным, имеет больше шансов попасть в печать. Малые выборки, неточные измерительные инструменты и гибкий выбор методов анализа также могут приводить к ложноположительным выводам.
Академическая культура не всегда поощряла проверки чужих результатов. В исследовании 2017 года лишь около 3% психологических журналов прямо приветствовали публикацию репликаций, тогда как примерно треть неявно отговаривала от таких работ.
Nosek заметил, что на этот раз научное сообщество в целом приняло результаты спокойнее, чем прежние систематические проверки, вызывавшие ожесточённые споры. Разногласия по поводу последствий остались, но накал риторики снизился — возможно, это и есть признак прогресса.
Открытый набор данных проекта позволит изучать, какие особенности предсказывают успешную репликацию. Предыдущие исследования, например, не обнаружили связи между политической направленностью выводов в психологии и тем, повторялись ли они.
В дальнейших работах учёные хотят разобраться, как определять успешную репликацию, какие факторы повышают или снижают её вероятность и насколько распространён каждый из этих факторов. Ещё один непростой вопрос — существует ли оптимальный уровень воспроизводимости для разных типов исследований.
Zellers напоминает: поисковая наука часто устроена по принципу «высокий риск — высокая отдача». Репликации помогают отличить перспективные направления от тупиков, понять, где и для кого работает эффект, и оценить, можно ли переносить результаты в практику. Нужны оба вида исследований — и открытия, и проверки. Осталось решить, как распределять между ними ограниченные научные ресурсы, чтобы новые идеи не принимали на веру, а полезные открытия не хоронили под бесконечными перепроверками.
Исследование называется Investigating the replicability of the social and behavioural sciences. Его возглавили Andrew H. Tyner, Brian A. Nosek и Timothy M. Errington; над работой участвовали сотни исследователей из 31 страны.
