Интеллект уже не главный билет в успешную карьеру
Долгие годы работодателям продавали почти безупречную идею: чем выше результат теста на общий интеллект, тем лучше человек будет работать. Исследование с участием более 109 тысяч сотрудников показывает, что эта идея заметно переоценена. Не то чтобы интеллект внезапно вышел из моды, просто его способность предсказывать общую эффективность сотрудника оказалась куда скромнее, чем принято было считать.
Авторы работы, опубликованной в Journal of Business and Psychology, объединили данные 212 независимых выборок из современных исследований. В общей сложности в них участвовали 109 396 работников. Итоговый вывод выглядит неудобно для учебников по управлению персоналом: корреляция между общими умственными способностями и рабочей эффективностью составила примерно 0,20. Исторический ориентир, который десятилетиями считался почти золотым стандартом, был равен 0,51.
Для неспециалистов: корреляция показывает, насколько связаны два показателя. Ноль означает отсутствие связи, единица — идеальную связь. Значение 0,20 не говорит, что тесты бесполезны, но и не превращает их в хрустальный шар для отдела кадров.
Что именно измеряют такие тесты
Общие умственные способности, или general mental ability (GMA), — это не один конкретный навык вроде умения быстро считать или запоминать столицы. Речь идет о широкой способности учиться, рассуждать, обрабатывать информацию и решать незнакомые задачи.
В нее входят разные, частично связанные между собой умения: понимание текста, математическое мышление, пространственное воображение и способность разбираться в новых проблемах. Работодатели используют стандартизированные тесты GMA, чтобы оценить, насколько быстро кандидат освоит обязанности и насколько хорошо будет справляться с работой после найма.
Традиционная позиция организационной психологии была довольно категоричной: общий интеллект якобы лучше всего предсказывает рабочую эффективность практически в любой профессии. Особенно сильно эту мысль закрепил обзор 1998 года, объединивший данные нескольких десятилетий. Тогда связь между результатами тестов и эффективностью оценили примерно в 0,51.
Проблема в том, что значительная часть старых исследований проводилась до 1980 года, а многие из них касались производственных профессий. Рабочий мир с тех пор успел превратиться из конвейера в смесь сервисной экономики, офисов, удаленки, командных проектов и бесконечных совещаний, которые тоже почему-то называют работой.
Как старые исследования раздули роль тестов
Один из главных вопросов касается статистического эффекта, который называется ограничением диапазона. Представим компанию, нанимающую только кандидатов с очень высокими результатами. Среди уже принятых работников разброс баллов будет небольшим: почти все окажутся «выше среднего».
Если затем сравнивать результаты тестов только этих сотрудников с их эффективностью, настоящая связь может выглядеть слабее, чем среди всех соискателей. Поэтому исследователи применяют математические поправки, пытаясь оценить, как тест работал бы на более широкой группе кандидатов.
Но, как выяснилось, прежние авторы могли слишком щедро пользоваться такими поправками. В метаанализе 2022 года, который возглавлял соавтор новой работы Paul Sackett, старые данные пересчитали более консервативным способом. Оценка связи упала с 0,51 до 0,31. С этим выводом согласились не все ученые, но он явно испортил безупречную репутацию исторического показателя.
Кроме того, старые базы данных в основном опирались на исследования, проведенные до середины 1980-х годов, причем многие участники работали в производственной сфере. Делать по ним выводы о современном специалисте, который одновременно анализирует данные, общается с клиентами и пытается не утонуть в корпоративном мессенджере, было бы самонадеянно.
Что сделали исследователи
Команда под руководством Saron Demeke, аспирантки по индустриально-организационной психологии в University of Minnesota – Twin Cities, объединила три современных метаанализа. Они включали исследования, проведенные с 1990 по 2022 год. Одно из них, опубликованное в 2024 году, показало заметное снижение способности когнитивных тестов предсказывать рабочую эффективность за последние десятилетия.
Три обзора уже давали более низкие оценки корреляции — от 0,16 до 0,23. Но периоды исследований частично совпадали, а некоторые работы встречались сразу в нескольких базах. Поэтому просто сложить результаты было нельзя: это выглядело бы примерно как трижды посчитать одного и того же сотрудника, а потом гордо объявить, что выборка огромная.
Исследователи:
- объединили полные базы данных трех метаанализов;
- удалили повторяющиеся исследования и совпадающие выборки;
- исключили работы, где вместо теста использовался средний балл обучения;
- убрали исследования с самооценками, оценками коллег или подчиненных;
- не включали данные об эффективности во время обучения;
- исключили исследования, проведенные до 1990 года;
- применили несколько вариантов статистических поправок;
- использовали разные способы взвешивания трех баз данных.
В результате остались 212 независимых выборок и 109 396 работников. В основном эффективность оценивали руководители — по общей результативности или по тому, насколько хорошо сотрудник выполнял конкретные задачи. В меньшей части исследований использовались объективные показатели.
Современная оценка оказалась меньше исторической более чем вдвое
До поправок на ограниченный диапазон и ошибки измерения средняя наблюдаемая корреляция в современных данных составила 0,14. Для сравнения: в старых базах, сформированных преимущественно по исследованиям до середины 1980-х, она была 0,24.
После статистических поправок современная оценка оказалась в диапазоне от 0,18 до 0,22. Авторы выбрали 0,20 как наиболее разумное обобщенное значение. Это меньше половины исторического показателя 0,51 и заметно ниже пересмотренной оценки старых данных 0,31.
Почему команда остановилась именно на 0,20? Самая крупная база, включавшая около 65 тысяч работников, была связана с одним коммерческим тестом — Wonderlic. Исследователи не хотели, чтобы один инструмент фактически диктовал общий результат. Выбор равного взвешивания был отчасти экспертным решением, а не математическим откровением, спущенным с горы.
Практический смысл оценки Demeke объяснила так: человек, попавший в верхние 20% по результатам когнитивного теста, примерно в 1,6 раза вероятнее будет оценен как сотрудник с результативностью выше средней, чем человек из нижних 20%.
Это преимущество нельзя назвать ничтожным. Но оно явно не означает, что тест способен надежно определить будущую звезду компании, особенно если в отделе кадров забыли проверить все остальные качества.
Самое неожиданное: сложность работы не всегда усиливает роль интеллекта
Исследователи отдельно проверили старое предположение: чем интеллектуально сложнее профессия, тем лучше тесты на умственные способности должны предсказывать успех.
Для этого они изучили 137 выборок по отдельным профессиям и сопоставили их с Occupational Information Network — федеральной базой данных США, описывающей характеристики рабочих мест. Профессии оценивали по трем направлениям:
- Data — когнитивные требования: обработка информации, анализ и решение задач;
- People — межличностные требования: командная работа и коммуникация;
- Things — ручные и технические требования: оборудование, физические процессы и работа с механизмами.
Результат оказался не таким, каким его ждали.
Когнитивная сложность сама по себе почти никак не была связана с тем, насколько хорошо тесты предсказывали эффективность. Корреляция составила –0,04. Межличностная сложность тоже не показала значимой связи.
А вот техническая и ручная сложность дала положительный результат — корреляция 0,29. Причем под категорией Things подразумевался не только физический труд. Туда входили проверка оборудования, поиск механических неисправностей, управление сложными машинами и другие задачи, где приходится одновременно думать головой и работать руками.
Лучше всего когнитивные тесты предсказывали результативность в профессиях, где сочетались высокие требования по направлениям Data и Things. Иными словами, интеллект особенно важен там, где недостаточно просто знать теорию или просто уметь крутить гайки. Нужно понимать сложную информацию и превращать ее в конкретные действия.
Это согласуется с более ранним анализом той же исследовательской команды, но расходится с метаанализом 2024 года, где связь ручных требований с прогнозированием эффективности была обратной. Авторы предполагают, что значение ручной работы зависит от того, насколько сильно профессия связана с обработкой информации.
Например, сантехник может иметь высокий показатель Things и сравнительно низкий Data. А инструктор для сантехников, который обучает новичков, следит за современными стандартами и объясняет, как не превратить ремонт в коммунальную трагедию, получит высокий балл по обоим направлениям. Поэтому GMA, вероятно, лучше предскажет эффективность инструктора, чем работу отдельного сантехника.
При этом взаимодействие с людьми, показатель People, по данным исследования, не изменяло валидность тестов GMA. Это может быть особенно важно для современной экономики, где командная работа и общение занимают все больше места.
Почему интеллект стал хуже предсказывать успех
Исследование напрямую не проверяло причины снижения, но авторы назвали два вероятных объяснения.
Первое — изменилась сама работа. Экономика ушла от индивидуальных производственных задач к сервисным и интеллектуальным профессиям, где важны командная работа, коммуникация, адаптивность и социальные навыки. Если руководитель оценивает «общую эффективность», он может учитывать все это. Тогда интеллект становится лишь одной частью итоговой оценки, а не главным ингредиентом.
Второе — кандидаты на одну и ту же должность стали более похожи друг на друга по уровню образования и когнитивных способностей. Метаанализ 2024 года показал, что разброс результатов тестов внутри профессиональных групп соискателей сократился примерно на 22%: сравнивались данные до 1973 года и после 2004-го.
Возможная причина — более доступная информация о карьере и растущие требования к дипломам. Если на одну должность приходят люди с похожим образованием и уровнем подготовки, тесту становится сложнее отличить будущего выдающегося сотрудника от просто нормального. Это не статистический фокус, который следует поправить в таблице. Для работодателя это реальное снижение способности теста что-либо различать.
Erik Gonzalez-Mulé из Kelley School of Business при Indiana University считает, что работа бросает вызов старому правилу отбора персонала. Раньше специалистам советовали использовать GMA как основной инструмент, чтобы повысить вероятность найма хороших работников. Теперь такая рекомендация требует оговорок: тест по-прежнему полезен, но его значение явно не столь велико, как считалось.
Но интеллект не исчез из рабочего мира
Главная ошибка — прочитать снижение с 0,50 до 0,20 как заявление о том, что интеллект больше ничего не значит. Это было бы слишком поспешно даже для заголовка в интернете.
Корреляция 0,20 остается осмысленным и воспроизводимым предиктором. Для крупной компании даже такая связь может давать заметный практический эффект, особенно если сотрудников много.
Кроме того, исследование касалось прежде всего общей рабочей эффективности, а не всех возможных результатов. Предыдущие данные показывают, что когнитивные тесты гораздо лучше предсказывают успех в формальном профессиональном обучении: корреляция там составляет от 0,35 до 0,49. Они также остаются полезными для оценки освоения практических технических навыков.
Demeke подчеркивает, что итоговая оценка 0,20 усредняет множество разных условий. В отдельных ситуациях настоящая связь может находиться примерно между 0,07 и 0,29: где-то быть слабой, а где-то умеренной.
Есть и методологическая проблема. Большинство исследований измеряло эффективность по оценкам руководителей, а не по объективным результатам. Такие оценки известны своей шумностью и зависят не только от работы сотрудника, но и от памяти начальника, личных симпатий и его способности вообще замечать происходящее.
В повторном анализе одной из трех баз исследования работы с объективными показателями дали среднюю корреляцию около 0,35. Исследования, где эффективность оценивали менеджеры, показали самый низкий результат — примерно 0,17.
Emily A. Willoughby из University of Minnesota, не участвовавшая в исследовании, назвала новую работу скорее подтверждающей и объединяющей прежние выводы, чем полностью переворачивающей научную картину. По ее мнению, часть падения с 0,50 до 0,20 может объясняться тем, что изменился сам способ измерять «эффективность».
Где результаты пока нельзя переоценивать
Анализ сложности профессий в основном опирался на офисные, административные, управленческие и торговые должности. Промышленное производство, обслуживание и ремонт были представлены слабее. Поэтому пока рано объявлять универсальным закон, что тесты особенно хороши для всех работ, где человек одновременно думает и взаимодействует с оборудованием.
Есть и еще одна оговорка. Ключевое взаимодействие — идея о том, что когнитивная сложность усиливает прогностическую ценность теста только в технических профессиях — оказалось лишь marginally significant, то есть статистически пограничным: p = 0,059. Обычно исследователи считают результат достаточно надежным при p ниже 0,05. Здесь порог не пройден, так что вывод требует повторной проверки.
Willoughby считает, что нужны исследования с объективными показателями результата, а не только с оценками руководителей. Также стоит проверить, действительно ли профессии с наибольшим сокращением разброса тестовых баллов среди кандидатов показывают самое сильное падение прогностической силы.
Есть две возможные версии происходящего, и они ведут к совершенно разным выводам. Либо способность действительно стала меньше значить для того, что работодатели называют хорошей работой. Либо она важна примерно так же, как прежде, но основная сортировка происходит еще до собеседования — через образование, дипломы и формальные требования к вакансии.
Что это значит для работодателей
Вывод исследования не в том, что когнитивные тесты нужно выбросить в ближайшую урну. Они все еще дают полезную информацию и, по словам авторов, обычно предсказывают эффективность лучше, чем типичное неструктурированное собеседование. Это довольно низкая планка, но хотя бы честная.
Проблема начинается тогда, когда тест превращают в единственный фильтр. Более разумная система найма может сочетать:
- когнитивные тесты;
- структурированные интервью с одинаковыми вопросами и критериями оценки;
- практические задания и рабочие образцы;
- проверку профессиональных знаний;
- оценку рабочих привычек, личности и способности взаимодействовать с командой.
Такой подход может одновременно лучше учитывать реальные требования к работе и снижать adverse impact — ситуацию, когда тест непропорционально отсеивает кандидатов из определенных демографических групп.
Рабочая эффективность складывается из множества компонентов: накопленных знаний и навыков, личности, дисциплины, привычек, способности сотрудничать и условий, в которых человек работает. Общий интеллект рассказывает лишь часть истории, а не выдает финальный вердикт в запечатанном конверте.
Что будут изучать дальше
Исследователи предлагают отдельно анализировать современные данные, а не смешивать их с исследованиями полувековой давности. Слишком заметная разница между старой и новой прогностической силой делает общее усреднение скорее источником путаницы, чем ясности.
Отдельный вопрос — влияние генеративного искусственного интеллекта. Если алгоритмы постепенно забирают себе рутинную обработку информации, требования к людям могут измениться еще раз. Возможно, работодатели начнут больше ценить постановку задач, проверку решений, адаптивность и умение работать с другими людьми. Или, что тоже возможно, появится новый набор тестов, которые сначала объявят революцией, а через двадцать лет обнаружат статистические оговорки.
Gonzalez-Mulé предлагает изучать и другие характеристики работы, например автономность. В профессиях, где сотрудник сам определяет приоритеты и распределяет усилия, высокий уровень GMA может иметь большее значение.
Стоит также проверить, не ослабли ли за последние десятилетия прогнозы, основанные на собеседованиях, личностных тестах и других инструментах отбора. Возможно, меняется не только связь между интеллектом и эффективностью. Возможно, все старые инструменты постепенно хуже описывают современную работу, а некоторые важные предикторы мы пока даже не умеем измерять.
Статья Is general mental ability still the best predictor of job performance? Integrating contemporary meta-analytic evidence написана Saron Demeke, Paul R. Sackett, Christopher D. Nye, Yujia Li и Nathan R. Kuncel.
Итог довольно прозаичен: умение быстро учиться и решать проблемы по-прежнему важно. Просто оно не объясняет, почему один сотрудник добивается успеха, а другой превращает даже простую задачу в многочасовой созвон. Тест на интеллект может быть частью системы найма, но делать из него единственного пророка отделу кадров больше не стоит.