Anatoly Vorobey (avva) wrote,
Anatoly Vorobey
avva

Categories:

о грамотном отношении к статистике

Вот например такое выступление на Твиттере (перевод ниже):



"Примерно две трети людей, погибших в автокатастрофах в Британии, были пристегнуты, несмотря на то, что вообще-то ремнями безопасности пользуются почти 99%.
Это не значит, что ремни безопасности не работают.
Можно вот как это объяснить.
Один процент не-пристегивающихся отвечает за непропорционально огромные 33% жертв.
#ремниработают"

Это написал некий английский биолог-математик и автор популярных книг о математике.

Если вы подумали, что это не совсем о ремнях безопасности, то вы конечно правы. Это аналогия, которая должна объяснить, почему вакцины от ковид-19 работают, несмотря на то, что вакцинированные тоже заболевают и умирают. Если большинство населения (а среди группы риска - подавляющее большинство населения) привиты, и есть смерти в том числе среди привитых, но их процент намного меньше, чем процент привитых - это как 66% смертей пристегнуты, хотя 99% пристегиваются. В Англии сейчас действительно вроде выглядит так, и во многих местах в Америке (а вот в Израиле данные в последние месяц-полтора далеко не так однозначны, но не будем сейчас об этом, сложный вопрос).

Так вот что я хочу сказать. Когда я читаю этот твит, процитированный выше -- я не знаю, что вы думаете, когда его читаете, но могу сказать, что думаю я -- моя первая и немедленная мысль это "но как насчет искажающих факторов"? Под этим я имею в виду ту простую, казалось бы, мысль, что мы не знаем, насколько презрение к ремням коррелирует с склонностью к авариям, и насколько этот искажающий фактор влияет на статистику. Если предположить, что пристегивающиеся водители едут очень осторожно, а непристегивающиеся наоборот потрясающе безобразно, то вполне можно получить такие проценты, даже если ремни вообще ничего не делают. Мы не можем судить о том, что "#ремниработают" на основании этих цифр. Я не говорю, что они не работают - есть другие аргументы, например крэш-тесты с манекенами итд. Я понимаю, что запустить слепой рандомизированный эксперимент с ремнями на живых людях не очень практичная идея, но тем не менее манекены помогают нам это изучать. Но сказать "1% непристегнутых отвечают за 33% жертв и это показывает, что ремни работают", это элементарная неграмотность в работе с данными.

Это все должны понимать. Это должно быть первым, о чем образованный человек, стремящийся понять мир, думает, когда читает этот твит. Вместо этого ни автору (математику, биологу, популяризатору), ни десяткам комментаторов (кроме одного - я промотал реально все ответы, чтобы проверить) это вообще не пришло в голову, по-видимому.

Это меня огорчает.

P.S. В применении к вакцинам - основой нашей уверенности в том, что вакцины работают, должны быть рандомизированные испытания (RCT), в которых их проверяли, и которые снимают (почти) все вопросы про искажающие факторы. Без этого одни только проценты того, сколько вакцинированных среди умерших в сравнении с долей в населении - все равно подлежит тем же сомнениям, что и в случае с ремнями: есть ли связь между отказом от вакцины и более рискованным поведением? есть ли связь между отказом от вакцины и состоянием здоровья, которое коррелирует с плохим прогнозом тяжелого ковид-19? Итд. итп. Опыт учит нас тому, что если есть шанс на то, чтобы искажающие факторы дали нам ложную картину мира, в какой-то степени они это неизбежно делают, и в какой - очень трудно оценить априори, и даже экспертные оценки часто оказываются неверными.
Tags: #ремниработают, наука
Subscribe

  • поддавки

    Понравилась шахматная(?) задачка от Евгения Поникарова. Автор задачи John Beasley. Белые начинают и выигрывают в поддавки. Напомню правила игры в…

  • спускались в шахты с нелитературными целями

    Лет шесть или семь не видел имя Дивова (российский фантаст) и почти забыл о его существовании. А тут. А тут, оказывается, такое движение, такая…

  • о пузырях земли

    В одном сообществе в ФБ задали вопрос. В шекспировском "Макбете" есть сцена, когда ведьмы исчезают, и Банко говорит (в переводе Пастернака):…

  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 187 comments
Previous
← Ctrl ← Alt
Next
Ctrl → Alt →
Previous
← Ctrl ← Alt
Next
Ctrl → Alt →

  • поддавки

    Понравилась шахматная(?) задачка от Евгения Поникарова. Автор задачи John Beasley. Белые начинают и выигрывают в поддавки. Напомню правила игры в…

  • спускались в шахты с нелитературными целями

    Лет шесть или семь не видел имя Дивова (российский фантаст) и почти забыл о его существовании. А тут. А тут, оказывается, такое движение, такая…

  • о пузырях земли

    В одном сообществе в ФБ задали вопрос. В шекспировском "Макбете" есть сцена, когда ведьмы исчезают, и Банко говорит (в переводе Пастернака):…