Top.Mail.Ru
? ?
Ни о какой безапелляционности в моих высказываниях не может быть и речи! [entries|archive|friends|userinfo]
Anatoly Vorobey

[ website | Website ]
[ userinfo | livejournal userinfo ]
[ archive | journal archive ]

Links
[Links:| English-language weblog ]

о грамотном отношении к статистике [июл. 26, 2021|10:20 pm]
Anatoly Vorobey
[Tags|, ]

Вот например такое выступление на Твиттере (перевод ниже):



"Примерно две трети людей, погибших в автокатастрофах в Британии, были пристегнуты, несмотря на то, что вообще-то ремнями безопасности пользуются почти 99%.
Это не значит, что ремни безопасности не работают.
Можно вот как это объяснить.
Один процент не-пристегивающихся отвечает за непропорционально огромные 33% жертв.
#ремниработают"

Это написал некий английский биолог-математик и автор популярных книг о математике.

Если вы подумали, что это не совсем о ремнях безопасности, то вы конечно правы. Это аналогия, которая должна объяснить, почему вакцины от ковид-19 работают, несмотря на то, что вакцинированные тоже заболевают и умирают. Если большинство населения (а среди группы риска - подавляющее большинство населения) привиты, и есть смерти в том числе среди привитых, но их процент намного меньше, чем процент привитых - это как 66% смертей пристегнуты, хотя 99% пристегиваются. В Англии сейчас действительно вроде выглядит так, и во многих местах в Америке (а вот в Израиле данные в последние месяц-полтора далеко не так однозначны, но не будем сейчас об этом, сложный вопрос).

Так вот что я хочу сказать. Когда я читаю этот твит, процитированный выше -- я не знаю, что вы думаете, когда его читаете, но могу сказать, что думаю я -- моя первая и немедленная мысль это "но как насчет искажающих факторов"? Под этим я имею в виду ту простую, казалось бы, мысль, что мы не знаем, насколько презрение к ремням коррелирует с склонностью к авариям, и насколько этот искажающий фактор влияет на статистику. Если предположить, что пристегивающиеся водители едут очень осторожно, а непристегивающиеся наоборот потрясающе безобразно, то вполне можно получить такие проценты, даже если ремни вообще ничего не делают. Мы не можем судить о том, что "#ремниработают" на основании этих цифр. Я не говорю, что они не работают - есть другие аргументы, например крэш-тесты с манекенами итд. Я понимаю, что запустить слепой рандомизированный эксперимент с ремнями на живых людях не очень практичная идея, но тем не менее манекены помогают нам это изучать. Но сказать "1% непристегнутых отвечают за 33% жертв и это показывает, что ремни работают", это элементарная неграмотность в работе с данными.

Это все должны понимать. Это должно быть первым, о чем образованный человек, стремящийся понять мир, думает, когда читает этот твит. Вместо этого ни автору (математику, биологу, популяризатору), ни десяткам комментаторов (кроме одного - я промотал реально все ответы, чтобы проверить) это вообще не пришло в голову, по-видимому.

Это меня огорчает.

P.S. В применении к вакцинам - основой нашей уверенности в том, что вакцины работают, должны быть рандомизированные испытания (RCT), в которых их проверяли, и которые снимают (почти) все вопросы про искажающие факторы. Без этого одни только проценты того, сколько вакцинированных среди умерших в сравнении с долей в населении - все равно подлежит тем же сомнениям, что и в случае с ремнями: есть ли связь между отказом от вакцины и более рискованным поведением? есть ли связь между отказом от вакцины и состоянием здоровья, которое коррелирует с плохим прогнозом тяжелого ковид-19? Итд. итп. Опыт учит нас тому, что если есть шанс на то, чтобы искажающие факторы дали нам ложную картину мира, в какой-то степени они это неизбежно делают, и в какой - очень трудно оценить априори, и даже экспертные оценки часто оказываются неверными.
СсылкаОтветить

Comments:
Страница 1 из 3
<<[1] [2] [3] >>
[User Picture]From: aziopik
2021-07-26 07:46 pm
Кто хочет повторить назидательные псевдо-терверные выкладки "биолога-математика" на свежем статистическом материале Нового Южного Уэльса?

Из 141 попавшего там в больничку, все 141 получили по одному целебному уколу экспериментальной чудо-вакциною от модного насморка, а 140 человек — оба укола.
(Ответить) (Thread)
[User Picture]From: furry
2021-07-26 08:32 pm
А можно ссылку на данные? Я не могу найти полной раскладки, но первая смерть этой волны — точно не вакцинированный. В новостях пишут, что "Of those in intensive care in NSW, none were fully vaccinated."

Чисто статистически — мне слабо верится в "140 получили оба укола" при том, что всего 12%. людей fully vaccinated.
(Ответить) (Parent) (Thread) (Развернуть)
From: urease
2021-07-26 07:55 pm
Тему ковида можно считать закрытой. Как я и вся остальная здравомыслящая общественность предсказывала, ковид превратится в разновидность простуды под могучими ударами нашей имунной системы. CFR дельты - 0.2% соответствует CFR сезонного гриппа.

Повторяю, тему ковида можно считать закрытой

Edited at 2021-07-26 19:56 (UTC)
(Ответить) (Thread)
[User Picture]From: vba_
2021-07-26 08:09 pm
А что здравомыслящая общественность говорит - почему за многие столения оспа, полиомиелит, гепатит не превратились в несерьезные болезни под могучими ударами нашей иммунной системы?
(Ответить) (Parent) (Thread) (Развернуть)
From: (Anonymous)
2021-07-26 08:13 pm
Извините конечно, но выступления в твиторе делаются не для "понимания мира", и даже не для того чтобы показаться шибко умными. А для... А я не знаю, может это игра какая-то. Или зависимость от репостов.
Ну и не всё ли равно, что там с пандемией, полтора года прошло, скучно. Вы же не интересуетесь там курением, или болезнями сердца, или теми же ДТП.
(Ответить) (Thread)
[User Picture]From: provokatorz
2021-07-27 03:44 am
Странно, что еще с ношением касок на войне никто не сравнил.
(Ответить) (Parent) (Thread)
[User Picture]From: sergey_cheban
2021-07-26 08:15 pm
Ремни могут не работать или работать не так. Однако обсуждать это с людьми, которые строят свою аргументацию на том, что 2/3 погибших были пристёгнуты, не следует. Ибо Мф.7:6.

> P.S. В применении к вакцинам - основой нашей
> уверенности в том, что вакцины работают, должны быть
> рандомизированные испытания (RCT), в которых их
> проверяли, и которые снимают (почти) все вопросы про
> искажающие факторы.
Любые испытания и исследования - это время. А времени у нас мало: эпидемия идёт, вирус мутирует, люди мрут.
(Ответить) (Thread)
From: edo_rus
2021-07-27 06:24 am
> Любые испытания и исследования - это время. А времени у нас мало: эпидемия идёт, вирус мутирует, люди мрут

Вот как раз «вирус мутирует» — сомнительный довод в пользу вакцинирования. Вакцинирование лишь стимулирует появление новых мутаций.
(Ответить) (Parent) (Thread) (Развернуть)
From: Igor Alexeev
2021-07-26 08:32 pm
В статье идёт речь о структуре смертности в ДТП при подразумеваемом условии корректности составленной выборки.
(Ответить) (Thread)
[User Picture]From: kireev
2021-07-26 08:49 pm
= Если предположить, что пристегивающиеся водители едут очень осторожно, а непристегивающиеся наоборот потрясающе безобразно, то вполне можно получить такие проценты,=

А вот мне как раз кажется, что даже в этом случае и даже близко нельзя получить такие проценты: слишком уж огромная разница. Тем более, часть людей погибает в автомобильных авариях вовсе не по вине погибшего, а по вине другого водителя.
(Ответить) (Thread)
[User Picture]From: furry
2021-07-26 09:10 pm
Тут нам потребуются данные, какой процент аварий со смертельным исходом происходит с участием более, чем одной машины и какая раскладка по участию в них непристегнутых. С одной стороны, из 100 машин, в которые врезается непристегнутый водитель, 99 должны быть с пристегнутым водителем. С другой стороны, если вторая машина тоже ведет себя неадекватно, то ее шансы увеличиваются. Вопрос, при каком значении X (X — вероятность впилиться в другую машину насмерть) и Y — вероятность впилиться в столб — для непристегнутого водителя мы получим такую статистику, если допустить, что пристегнутые водят идеально и сами ни в кого не вьезжают? ;)
(Ответить) (Parent) (Thread)
[User Picture]From: el_kashim
2021-07-26 08:49 pm
Would be nice to know how many of those killed unbuckled were drivers and how many passengers.
(Ответить) (Thread)
[User Picture]From: grihanm
2021-07-26 08:50 pm
Если предположить, что пристегивающиеся водители едут очень осторожно, а непристегивающиеся наоборот потрясающе безобразно
На каком, собственно, основании так можно предположить?
(Ответить) (Thread)
From: karpion
2021-07-26 11:08 pm
На основании того, что "пристёгиваться" есть одно из ПДД. Т.е. те, кто пристёгиваются, в целом более законопослушны и реже нарушают правила.
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: misha_b
2021-07-26 08:56 pm
Но сказать "1% непристегнутых отвечают за 33% жертв и это показывает, что ремни работают", это элементарная неграмотность в работе с данными.

Не могу согласиться. Учитывая то, что 99% пристегивают ремни, крайне трудно поверить, что хотя что хотя бы несколько процентов из них не водит так же безобразно, как и те, что не пристегивают.

Теоретически это возможно, конечно, но на практике аргумент весьма yбедительный.

Edited at 2021-07-26 20:59 (UTC)
(Ответить) (Thread)
[User Picture]From: _glav_
2021-07-26 09:24 pm
"мы не знаем, насколько презрение к ремням коррелирует с склонностью к авариям, и насколько этот искажающий фактор влияет на статистику"

Если на этом основании воздерживаться от выводов, то, будучи последовательным, вообще ни о чём нельзя будет судить из данных. В частности, такие вещи как сохранение энергии и теория эволюции окажутся "элементарной неграмотностью в работе с данными".
(Ответить) (Thread)
[User Picture]From: yenissey
2021-07-27 12:15 am
из данных обсервационных исследований о причинно-следственных связях судить действительно нельзя никогда
однако чтобы как-то жить, это делается примерно все время и везде, от медицины до образования и от бизнеса до юриспруденции (где совершенно без RCT, просто на основе наблюдаемых и неизвестно до какой степени искаженных фактов, делается вывод убил ли гражданин Х гражданина Y, и часто даже хотел ли он это сделать)
но когда хочется отвертеться от неприятных выводов, на помощь призываются RCT, без которых "опять эта проклятая неизвестность"
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: yucca
2021-07-26 09:26 pm
Образованные люди и так понимают, что эти две трети не означают, что пристегиваться в два раза опаснее, чем не пристегиваться. Твит рассчитан на тех, кто этого не понимает. Рассуждения про искажающие факторы их только дальше запутают.
(Ответить) (Thread)
From: (Anonymous)
2021-07-27 10:49 pm

иногда люди не пристегиваются просто по ошибке.
например, в своей машине всегда пристегиваются, 100%.
а в такси или убере, забывают. это же такси!
ну, и гибнут, вылетая через переднее стекло

в автобусе вообще никто не пристегивается.
это даже не предусмотрено, ремней нет.
а зря, автобус может легко перевернуться, например
(Ответить) (Parent) (Thread)
From: (Anonymous)
2021-07-26 09:29 pm
Если в Британии при 65 млн населения порядка 30 млн водителей, то 1 % без ремней это 300.000, и приходящиеся на них 650 погибших, т.е. 33 % от примерно 2000 в год, вполне реальная цифра.
Даже маловато будет.
(Ответить) (Thread)
[User Picture]From: salas
2021-07-26 09:49 pm
Странно. У меня почему-то эта мысль возникает, но в данном случае — второй, а первой — то, что 99% звучит как-то неправдоподобно, откуда у них данные и что в точности измеряли?

Говорят,

  • In Great Britain, 96.5% of drivers were observed using a seatbelt on weekdays in 2017.
  • In 2017, 93.1% of front seat passengers and 90.7% of rear seat passengers were observed using a seatbelt in Great Britain.
  • For car drivers, 98.6% were observed using a seatbelt in Great Britain in 2017.

Больше, чем я думал, но на 99% похоже только последнее. Что такое «car drivers» — можно уточнять, но, похоже, это далеко не все водители.

Ок, а откуда 33%? По запросу на эту тему гугл приносит нам: Almost a third (31%) of the people who died in vehicles in Great Britain in 2018 were not wearing a seat belt. Это вполне могло быть передано как просто «треть» и потом уже преобразоваться в 33%, неряшливо, как и весь остальной твит, но некритично — но, может, использованы и данные какого-то другого исследования, где как раз 33%. А vehicles — это, надо полагать, как раз то, что не только cars. Ну и пассажиры, очевидно, тоже включаются.

Edited at 2021-07-26 21:51 (UTC)

(Ответить) (Thread)
[User Picture]From: vitus_wagner
2021-07-27 12:13 pm
Насколько я понимаю, кроме car drivers бывают truck drivers и bus drivers. То есть это "водители легковых машин".
(Ответить) (Parent) (Thread) (Развернуть)
From: karpion
2021-07-26 11:12 pm
Если бы все водители и пассажиры пристёгивались, то среди погибших все 100% были бы пристёгнуты.

Мне нужно знать, какая доля водителей и пассажиров пристёгивается. Учитывая, что водители и пассажиры автобусов, метро и поездов принципиально не пристёгиваются, нужна отдельная раскладка по автомобилям и по общественному транспорту. Можно ещё и по морскому флоту с авиацией.

Откуда Вы взяли, что не пристёгиваются всего 1% ?
(Ответить) (Thread)
[User Picture]From: vashu11
2021-07-27 12:05 am
Хорошее замечание, но, справедливости ради, единственный надежный способ убрать искажающие факторы - погубить столько то людей в тестах.

(исследование эффективности парашюта двойным слепым методом, ага)
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: rudnev
2021-07-27 12:20 am
а как же, простите, ваша позиция по челлендж-испытаниям вакцины? не будет ли согласие на челлендж само по себе свидетельством того, что человек, например, более здоров и благополучен, чем в среднем по популяции, и как мы будет делать регрессию?
(Ответить) (Thread)
From: (Anonymous)
2021-07-28 12:35 am
Гы
(Ответить) (Parent) (Thread)
Страница 1 из 3
<<[1] [2] [3] >>