April 5th, 2012

moose, transparent

о возвращении к среднему

Возвращение к среднему значению (по-английски regression to the mean) - феномен в статистике, который очень просто объяснить, но вместе с тем он часто ускользает от нашего внимания.

Представьте, что потоку из сотни студентов дают написать сложный экзамен по математике, и оцени за него выставляют по 100-бальной шкале. Давайте выпишем имена тех, кому выставили 10% худших оценок, и тех, кому достались 10% лучших. На следующий день всему потоку дают еще один экзамен, на ту же самую тему и той же сложности, но задачки другие. Теперь сравним оценки, которые получили студенты в первый день и во второй.

Мы увидим, что почти всегда в среднем наихудшие ученики в первый день повысили свои оценки на второй день, а наилучшие, наоборот, снизили. Не у каждого ученика так будет, но в среднем выйдет так. Почему? На оценку влияют два фактора: знания и случайность (примеры случайных факторов: студент выспался или нет; попалась в точности задача, которую он помнит; мысли заняты чем-то другим; итд. итд.). Когда мы по итогам первого экзамена выделили 10% худших оценок, в них попали студенты, у которых и знаний мало, и к тому же им (в среднем) сильно "не повезло". На следующий день знаний у них не прибавилось, а вот везение, случайные факторы будут примерно средними - они "вернулись к среднему значению". Так что эти студенты напишут второй экзамен несколько лучше. То же самое объяснение, но в другую сторону - для лучших 10% оценок.

(Если вы сомневаетесь в этом примере и хотите увидеть более "чистый" пример, просто удалите фактор знаний. Пусть каждый студент кидает 10 раз шестигранные кости, и оценкой будет сумма того, что он выкинул. В среднем каждый студент выкинет примерно 35, но будет немало оценок хуже и лучше. Возьмем 10% самых худших, и дадим еще один такой же "экзамен" только им. Что же мы увидим? - в среднем у них по второму экзамену опять выпадет 35, т.е. все эти "плохие" студенты улучшились! Конечно, в такой формулировке мы не видим тут ничего странного, потому что полная случайность налицо).

В возвращении к среднему нет ничего мистического или необычного. Проблема состоит в том, что нам свойственно не замечать его, когда есть более "логичные" объяснения того, что оценки изменились. Вернемся к экзамену по математике: представьте, что второй экзамен дают не на следующий день, а через неделю, и в эту неделю 10% худших студентов по результатам первого экзамена получают специальную помощь, с ними интенсивно занимаются
математикой. На втором экзамене "наихудшие" улучшают свои оценки, и все довольны: практика занятий с отстающими студентами доказала себя! Но на самом деле, возможно, весь эффект объясняется возвращением к среднему, о котором не подумали, и специальные занятия ничего не дали. Или дали, но насколько они помогли, трудно судить, потому что возвращение к среднему тоже дает мощный эффект. Надо использовать специальные методы, чтобы этот эффект учесть (у статистиков такие методы есть).

Или представьте, что мы хотим исследовать, насколько психотерапия помогает в лечении сильной депрессии. Мы дадим стандартный опросник клиентам психотерапевтов, когда они впервые приходят на прием, а потом еще раз через полгода - и сравним глубину депрессивного состояния согласно этому опроснику. Если в среднем все улучшается, то мы заключаем, что психотерапия отлично работает. Но, увы, дело в том, что людям свойственно решиться наконец пойти к психотерапевту или психологу, когда им особенно хреново, когда депрессия особенно сильная. А поскольку ее глубина изменяется не по точным законам, а в ней есть много случайности, через полгода согласно возвращению к среднему мы ожидаем увидеть улучшение, опять-таки в среднем, независимо от того, что сделали или не сделали психотерапевты.

Американский психолог Робин Доз пересказывает замечательный пример когнитивного искажения, основанного на непонимании возвращения к среднему. Инструктор летного курса в израильской армии спорил с психологами о том, как лучше мотивировать учеников: кнутом или пряником. "На основании своего личного опыта я знаю, что лучше всего мотивирует наказание, а похвала наоборот вредит", сказал он. "Неоднократно случалось так, что ученик очень хорошо выполнял какой-то маневр в воздухе, я его за это всячески хвалил, а в следующий раз он его делал намного хуже. С другой стороны, когда кто-то выполняет маневр очень плохо, а я за него на это ору и ругаю, в следующий раз у него почти всегда лучше получается!"

(пример взят из его книги House of Cards, о психологии и психотерапии, которую я сейчас читаю; очень интересной)