?

Log in

No account? Create an account
о возвращении к среднему - По делам сюда приплыл, а не за этим — ЖЖ [entries|archive|friends|userinfo]
Anatoly Vorobey

[ website | Website ]
[ userinfo | livejournal userinfo ]
[ archive | journal archive ]

Links
[Links:| English-language weblog ]

о возвращении к среднему [апр. 5, 2012|11:14 pm]
Anatoly Vorobey
Возвращение к среднему значению (по-английски regression to the mean) - феномен в статистике, который очень просто объяснить, но вместе с тем он часто ускользает от нашего внимания.

Представьте, что потоку из сотни студентов дают написать сложный экзамен по математике, и оцени за него выставляют по 100-бальной шкале. Давайте выпишем имена тех, кому выставили 10% худших оценок, и тех, кому достались 10% лучших. На следующий день всему потоку дают еще один экзамен, на ту же самую тему и той же сложности, но задачки другие. Теперь сравним оценки, которые получили студенты в первый день и во второй.

Мы увидим, что почти всегда в среднем наихудшие ученики в первый день повысили свои оценки на второй день, а наилучшие, наоборот, снизили. Не у каждого ученика так будет, но в среднем выйдет так. Почему? На оценку влияют два фактора: знания и случайность (примеры случайных факторов: студент выспался или нет; попалась в точности задача, которую он помнит; мысли заняты чем-то другим; итд. итд.). Когда мы по итогам первого экзамена выделили 10% худших оценок, в них попали студенты, у которых и знаний мало, и к тому же им (в среднем) сильно "не повезло". На следующий день знаний у них не прибавилось, а вот везение, случайные факторы будут примерно средними - они "вернулись к среднему значению". Так что эти студенты напишут второй экзамен несколько лучше. То же самое объяснение, но в другую сторону - для лучших 10% оценок.

(Если вы сомневаетесь в этом примере и хотите увидеть более "чистый" пример, просто удалите фактор знаний. Пусть каждый студент кидает 10 раз шестигранные кости, и оценкой будет сумма того, что он выкинул. В среднем каждый студент выкинет примерно 35, но будет немало оценок хуже и лучше. Возьмем 10% самых худших, и дадим еще один такой же "экзамен" только им. Что же мы увидим? - в среднем у них по второму экзамену опять выпадет 35, т.е. все эти "плохие" студенты улучшились! Конечно, в такой формулировке мы не видим тут ничего странного, потому что полная случайность налицо).

В возвращении к среднему нет ничего мистического или необычного. Проблема состоит в том, что нам свойственно не замечать его, когда есть более "логичные" объяснения того, что оценки изменились. Вернемся к экзамену по математике: представьте, что второй экзамен дают не на следующий день, а через неделю, и в эту неделю 10% худших студентов по результатам первого экзамена получают специальную помощь, с ними интенсивно занимаются
математикой. На втором экзамене "наихудшие" улучшают свои оценки, и все довольны: практика занятий с отстающими студентами доказала себя! Но на самом деле, возможно, весь эффект объясняется возвращением к среднему, о котором не подумали, и специальные занятия ничего не дали. Или дали, но насколько они помогли, трудно судить, потому что возвращение к среднему тоже дает мощный эффект. Надо использовать специальные методы, чтобы этот эффект учесть (у статистиков такие методы есть).

Или представьте, что мы хотим исследовать, насколько психотерапия помогает в лечении сильной депрессии. Мы дадим стандартный опросник клиентам психотерапевтов, когда они впервые приходят на прием, а потом еще раз через полгода - и сравним глубину депрессивного состояния согласно этому опроснику. Если в среднем все улучшается, то мы заключаем, что психотерапия отлично работает. Но, увы, дело в том, что людям свойственно решиться наконец пойти к психотерапевту или психологу, когда им особенно хреново, когда депрессия особенно сильная. А поскольку ее глубина изменяется не по точным законам, а в ней есть много случайности, через полгода согласно возвращению к среднему мы ожидаем увидеть улучшение, опять-таки в среднем, независимо от того, что сделали или не сделали психотерапевты.

Американский психолог Робин Доз пересказывает замечательный пример когнитивного искажения, основанного на непонимании возвращения к среднему. Инструктор летного курса в израильской армии спорил с психологами о том, как лучше мотивировать учеников: кнутом или пряником. "На основании своего личного опыта я знаю, что лучше всего мотивирует наказание, а похвала наоборот вредит", сказал он. "Неоднократно случалось так, что ученик очень хорошо выполнял какой-то маневр в воздухе, я его за это всячески хвалил, а в следующий раз он его делал намного хуже. С другой стороны, когда кто-то выполняет маневр очень плохо, а я за него на это ору и ругаю, в следующий раз у него почти всегда лучше получается!"

(пример взят из его книги House of Cards, о психологии и психотерапии, которую я сейчас читаю; очень интересной)
СсылкаОтветить

Comments:
Страница 1 из 2
<<[1] [2] >>
[User Picture]From: barouh
2012-04-05 08:21 pm
А что за специальные методы для диагностики влияния эффекта "возвращения к среднему"?
(Ответить) (Thread)
[User Picture]From: avva
2012-04-05 08:43 pm
Я сам в этом мало понимаю, но могу пересказать, что говорит по этому поводу Доз в своей книге. Он упоминает, что такие методы обычно предсказывают вторую оценку на основании какой-то модели, оценивающей случайные факторы, а потом сравнивают настоящую вторую оценку не с первой, а с этим предсказанием. Он ссылается на книгу D. T. Campbell and J. C. Stanley, Experimental and Quasi-Experimental Design for Research (1963) и статью R. W. Mee and T. C. Chau, “Regression Toward the Mean and the Paired Sample T Test,” American Statistician, 45 (1991).
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: sweer
2012-04-05 08:34 pm

Наглядная демонстрация

Спасибо!
Я имел удовольствие недавно присутствовать на практической демонстрации этого принципа, называемой "The Read Bead Experiment". Можно даже посмотреть видеозапись: http://www.agilerigaday.lv/Sessions/the-red-bead-experiment
(Ответить) (Thread)
[User Picture]From: dimrub
2012-04-05 08:38 pm
Канеман (который, собственно, и был психологом, с которым спорил инструктор) рассказывает далее, что он не мог пройти мимо такой возможности, и устроил летунам небольшую демонстрацию. На земле была начерчена цель, каждый инструктор по очереди становился к этой цели спиной, и кидал через плечо монету. Два раза. Расстояние до цели в оба броска для каждого инструктора были записаны на доске, затем переписаны от худшего результата в первый бросок к лучшему. Сразу стало очевидно, что за лучшими результатами в первый бросок как правило следовало ухудшение, а за худшими - улучшение.

Edited at 2012-04-05 20:39 (UTC)
(Ответить) (Thread)
[User Picture]From: dimrub
2012-04-05 08:42 pm
(P.S.: в свою очередь, рекомендую книгу Канемана, которую сейчас читаю. Называется Thinking, Fast and Slow).
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: el_heneral
2012-04-05 08:38 pm
Очень интересно, правда пример с психотерапией прихрамывает.
Помимо спонтанного улучшения может иметь место и спонтанное ухудшение, что при депрессии очень часто случается.
(Ответить) (Thread)
[User Picture]From: progulki
2012-04-05 08:41 pm

обычно нет
в депрессии мы говорим об очень высоком уровне именно спонтанного улучшения
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: onkel_hans
2012-04-05 08:41 pm
Да, забавное явление. Крайне простое, но о нем обычно не задумываешься и не имеешь в виду.
(Ответить) (Thread)
[User Picture]From: shvarz
2012-04-05 08:52 pm
Этим же эффектом объясняют невоспроизводимость результатов из многих научных статей или то, что описываемый эффект действительно наблюдается, но не настолько сильно, как это показано в статье.
(Ответить) (Thread)
[User Picture]From: progulki
2012-04-05 09:02 pm
где то я совсем недавно читала об этом- о том, что, когда результаты "вау", их фиг повторишь
(Ответить) (Parent) (Thread) (Развернуть)
From: saccovanzetti
2012-04-05 09:06 pm
вот буквально сейчас гоняю эксперимент и наблюдаю эту фигню :( но если я начну объяснять на завтрашнем митинге про среднее, будет только хуже :( люди ждут физического, а не статистического объяснения - которого у меня для них нет.
(Ответить) (Thread)
[User Picture]From: utnapishti
2012-04-05 09:10 pm
Связана ли эта запись с недавней записью о гомеопатии?
(Ответить) (Thread)
[User Picture]From: avva
2012-04-06 11:34 am
Нет.
(Ответить) (Parent) (Thread)
[User Picture]From: kruzo007
2012-04-05 09:23 pm
вот еще советую почитать

http://www.amazon.com/Fooled-Randomness-Hidden-Chance-Markets/dp/1587990717

Судя по всему наш мозг вообще не приспособлен к пониманию вероятности и статистики
(Ответить) (Thread)
[User Picture]From: snyders
2012-04-05 09:33 pm
В группе 10% лучших эффект будет гораздо слабее, т.к. среди отличников элемент случайности на экзамене снижен или отсутствует.
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: xenko
2012-04-05 09:28 pm
пока не прочитал остальных оценок

статистика задач на уровне студенческих "истребителей-бомбардировщиков"

нет никакого искажения, ни психологического, ни статистического
все знают, что второй раз тесты на айкью проходят в сто раз лучше

итак, кто хочет возможности мозга сравнить со статистикой?
(Ответить) (Thread)
[User Picture]From: liveuser
2012-04-05 09:28 pm
Позаниматься с отстающими студентами, впрочем, лишним все равно не будет.

Традиционно процитирую "Социальную психологию" Майерса вдобавок.

"Чтобы имитировать последствия похвалы и наказания, Пол Шаффнер (Paul Schaffner, 1985) попросил студентов Боудонского колледжа приучить выдуманного четвероклассника Гарольда приходить в школу к 8.30. Каждый день в течение трех недель компьютер показывал время прихода «Гарольда», обычно это было между 8.20 и 8.40. Участники эксперимента должны были решить, как реагировать на приход мнимого ученика — изысканной похвалой или строгим выговором. Как вы могли предположить, они обычно хвалили «Гарольда», когда он приходил до 8.30, и делали замечание, если он приходил после 8.30. Так как Шаффнер запрограммировал компьютер на случайную последовательность времени прихода, после замечаний возникала тенденция к улучшению (время приближалось к 8.30). Например, если «Гарольд» приходил в 8.39, он был почти уверен, что его отругают, а вероятность того, что случайное время прихода на следующий день будет меньше 8.39, была очень высока. Таким образом, даже если замечания не имели никакого эффекта, большинство участников эксперимента закончили его, полагая, что их замечания сыграли свою роль.
(Ответить) (Thread)
[User Picture]From: avva
2012-04-06 11:35 am
Да, отличная цитата, спасибо.
(Ответить) (Parent) (Thread)
[User Picture]From: nakamura
2012-04-05 09:39 pm
Спасибо, Ваш постинг напомнил, что книга по математике - лучший подарок!
(Ответить) (Thread)
[User Picture]From: avva
2012-04-06 11:35 am
Правильное напоминание :)
(Ответить) (Parent) (Thread)
[User Picture]From: gnuzzz
2012-04-05 11:12 pm
в теории это все хорошо
на парактике же, если написать например вот такую программку:
int c = 0;
for (int i = 0; true; i++) {
  c += Math.random() <= 0.5 ? 1 : -1;
  if (i % 1000 == 0) {System.out.println(c);}
}            }

то можно увидеть, что значение переменной с (среднее значение которого равно 0) подавляющее количество времени находится очень далеко от среднего значения
(Ответить) (Thread)
[User Picture]From: silugram
2012-04-06 02:06 am
так Math.random он же поди не случаен
(Ответить) (Parent) (Thread)
[User Picture]From: ilia_yasny
2012-04-06 01:51 am
Так не для того ли р-значение и существует, чтобы тестировать случайность таких отклонений?
(Ответить) (Thread)
[User Picture]From: grihanm
2012-04-06 03:13 am
Чота на всякий случай занесу в мемориз
(Ответить) (Thread)
Страница 1 из 2
<<[1] [2] >>