?
Ни о какой безапелляционности в моих высказываниях не может быть и речи! [entries|archive|friends|userinfo]
Anatoly Vorobey

[ website | Website ]
[ userinfo | livejournal userinfo ]
[ archive | journal archive ]

Links
[Links:| English-language weblog ]

может, это ближе к шаманству, чем к науке? [май. 10, 2013|03:10 am]
Anatoly Vorobey
Исследователи рассмотрели 53 статьи в области раковых заболеваний, и попробовали воспроизвести их результаты (причем включая диалог с авторами, получение от них дополнительных данных и указаний в случае необходимости итд.). Только в 11% случаев удалось воспроизвести результаты.

Как-то это шокирует, если честно. 11 процентов? Одиннадцать процентов?

(via HN, там есть неплохая дискуссия по теме)
СсылкаОтветить

Comments:
Страница 1 из 2
<<[1] [2] >>
[User Picture]From: biogalkin
2013-05-10 12:29 am
при етом ето 11% из одних и тех же мест. но вообще сдается мне, что тотално скорее всего меньше, потому что вруны печатают больше
(Ответить) (Thread)
[User Picture]From: tandem_bike
2013-05-10 02:29 am
моет и так,но не проверить, а потому голословно. потом, проблема не во "врунах". их не более в медицинском рисерче чем в бэзик сайнс.
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: amapai
2013-05-10 12:39 am
Вот же линк на саму заметку - http://www.nature.com/nature/journal/v483/n7391/full/483531a.html
К чему линк на ответ на вопросы о заметке?
(Ответить) (Thread)
[User Picture]From: avva
2013-05-10 07:58 am
Там есть дополнительная интересная информация о том, почему не раскрыты подробности об исследованиях, а также ссылка на первоначальную статью.
(Ответить) (Parent) (Thread)
[User Picture]From: grihanm
2013-05-10 12:49 am
В математике воспроизводится всё.
(Ответить) (Thread)
[User Picture]From: special_linear
2013-05-10 07:58 am
Казалось бы — да, но на самом деле нет. Просто "воспроизводится" тут имеет несколько иной смысл.
Есть масса статей, в которых формально ошибок вроде нет (не находится), но что конкретно там делается, понять чрезвычайно сложно или вовсе невозможно. Либо написано очень запутанно, либо какие-то нестандартные техники применяются, но если понять по существу невозможно, то вряд ли такой результат можно назвать воспроизводимым.
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: shvarz
2013-05-10 01:11 am
А кто-нибудь пытался воспроизвести результаты этой статьи?
(Ответить) (Thread)
[User Picture]From: darum
2013-05-10 01:58 am
Вопрос хорошо подходит к теме. В этой заметке же есть ссылка (Prinz, F., Schlange, T. & Asadullah, K. Nature Rev. Drug Discov. 10, 712 (2011)) на статью 2011 года с аналогичными результатами.
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: kray_zemli
2013-05-10 01:41 am
Такова сейчас тенденция в науке: наука превращается в бизнес. А когда бизнес был честным?

Есть неполиткорректное мнение, что это всё из-за того, что к глобальной науке подпустили всякую азиатскую мразь и прочих унтерменшей. И в результате, конкуренция повысилась, а стандарты качества снизились. Наверное, что-то в этом есть.

Я отработал в науке 10 лет и видел, как это произошло в России. Тут, конечно, азиаты ни при чём.

Где-то эдак до 2005 года, в России учёные получали $100 в месяц и жаловались, что денег мало выделяют. Кроме стариков, в основном там отсиживались всякие безнадёжно повёрнутые гики.

Потом вроде бы и деньги выделять начали, но началось такое... Не наука, а сплошной маркетинг.

В общем, главную роль тут сыграло то, что 90% специалистов времён СССР попередохли и никому не передали свой опыт. Из-за отсутствия финансирования в 90-е, людей среднего возраста в науке не было -- нафига работать за $100/месяц, если можно пойти в коммерцию, программистом тем же. Ну а старичью бежать было особо некуда.

Потом вроде и деньги давать стали. Но на запах денег всего-навсего сбежались молодые дебилы-недоучки, которых не взяли в коммерческий сектор. Особенно волна пошла после кризиса 2008 года. Они даже до поры до времени сами верили в свою лженауку. Ну, потом, конечно, втягиваются, и жульничают уже сознательно. И думают, что это нормально. Хотя, со временем, может, всё и устаканится.

Ну а в Азии, надо полагать, научной школы не было изначально. И тут они как раз начали её развивать, и тоже понабрали туда дебилов-недоучек.

Говорят, примерно подобное произошло с космосом. Старики попередохли, унеся опыт в могилу. А молодые кроме тестостерона ничем и не обладают.

Где-то же здесь, вроде бы, пролетала статья про полимерный завод и утраченные знания? Вот так-то.
(Ответить) (Thread)
[User Picture]From: dennett
2013-05-10 02:35 pm
в космосе есть очень много грамотных молодых
работая в наса могу засвидетельствовать
много молодых и с российской стороны, и с американской
(Ответить) (Parent) (Thread)
[User Picture]From: tandem_bike
2013-05-10 01:56 am

какой предсказуемый тут defensive comment

на самом деле не только раковые исследования, а ВСЕ медицинские исследования - есть такой известный грязный факт что ПЯТЬ процентов всех исследований подтвердимы.

по близкому рассмотрению оказывается не одна а несколько причин. включая и чисто человеческие факторы, и байасы при селекции в трайлаы ( тут вообще АДИЩЕ байасов и откровенной нечестности), неумелый анализ, т.е. неправильный статисстический подход, подсознательное чаще всего или вполне откровенное "выбрасывание" неподходящих под гипотезу данных, непонимания понятия power статистической, и ... все на свете и топор.

после этого меня потрясают и сами ресерчеры у которых конфликт интересов и самообман про "медицинскую науку", и юзеры типа больные которые "верят" в медицину как в мать христову, одновременно издеваясь нат всякой альтернативкой которая хоть наукой не притворяется хоть так же безумно врет.
(Ответить) (Thread)
[User Picture]From: dzz
2013-05-10 04:19 am
Не означает ли это наличие системного кризиса т.н. "доказательной медицины"? ;)
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: kray_zemli
2013-05-10 02:42 am
Как шутят сами медики, placebo outperforms placebo in 30% of clinical studies.
(Ответить) (Thread)
[User Picture]From: catta
2013-05-10 04:02 am
Ну так на данных одного медицинского исследования никто и не делает глобальных выводов и не дает радикальных рекомендаций. Требуется довольно много работ с совпдающими/перекрывающимися результатами. То есть, оно бы здорово было, чтобы 99% статей были кристально верными, но а) люди ошибаются, и довольно часто; б) при необходимости для каждой лаборатории кормиться грантами нонстоп хорошо хоть 11% верны, поскольку все делается второпях и с необходимостью получить результат во что бы то ни стало.
(Ответить) (Thread)
[User Picture]From: el_heneral
2013-05-10 09:07 am
присоединюсь к комментарию. От того, что кто-то что-то опубликовал, это еще не становится научным фактом.
Результаты исследований часто противоречат друг другу или вообще приходят к опровергающим друг друга выводам.
Для этого и существует практика репродуцируемости результатов независимыми группами исследований.
Так что, на мой взгляд, результат безусловно интерессный, но ни коим образом не иконоборческий.
(Ответить) (Parent) (Thread)
[User Picture]From: nechaman
2013-05-10 06:46 am
Ахилес черепахи никогда не догонит?
(Ответить) (Thread)
[User Picture]From: salas
2013-05-10 08:18 am

о, там есть метакомментарий к метаисследованию

Having read through these comments for the last several minutes, I'm left with the overwhelming conclusion that programmers, on the whole, have about as much to contribute to a discussion on the biological sciences as they do one on economics.
(Ответить) (Thread)
[User Picture]From: postumia
2013-05-10 08:37 am
Вообще-то это абсолютно норамально. Любая наука - поиск. Во-первых, в лабораториях разное оборудование, во-вторых - разные руки это делают. Слышала девочку-докторантку, которая жаловалась что пользуется пипетером не так как надо бы, что влияет на результаты.
Также вспоминается наш школьный учитель биологии (я биологию учила в старших классах) у которого не получался ни один школьный опыт (!) Очень было показательно.
Это полезно знать людям, которые разделяют "науку-науку, суровую и точную" и "вот этих всех гуманириев-общественников".

Edited at 2013-05-10 08:37 (UTC)
(Ответить) (Thread)
[User Picture]From: shpriz
2013-05-10 09:48 am
+1. Недавно мне сказали следующее -- публикации не для того чтобы раскрыть 'правду', а для того чтобы начать дискуссию.
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: p2004r
2013-05-10 09:29 am
когда измерение эффекта заменили изучением его "достоверности" ничего другого ожидать не приходится.

маразм столь далеко зашел, что только хардкор, только повторные исследования :)
(Ответить) (Thread)
[User Picture]From: kobak
2013-05-10 12:21 pm
С другой стороны, нужно с подозрением относиться к утверждениям о том, что такой-то эффект не удалось подтвердить. Все знают, что если эффекта нет, то p<0.05 получится "всего" в 5% случаях. Но не все знают, что если эффект есть, то распределение p-values в экспериментах может быть очень широким, и, скажем, p>0.05 может легко получаться в половине случаев. См. смешное видео http://www.youtube.com/watch?v=ez4DgdurRPg.

См. также http://www.frontiersin.org/quantitative_psychology_and_measurement/10.3389/fpsyg.2010.00026/abstract
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]From: p2004r
2013-05-10 01:00 pm

да это вообще особенный барьер такой оказывается :)

The public cannot be expected
to appreciate the implications
of, for example, a western blot
working in one lab and not in
another. Therefore, the meaning
of ‘reproducibility’ in a particular
context should be properly
articulated. This could have
prevented the mistaken inference
that ‘90% of all science cannot be
reproduced’.
In the complex data sets now
being generated by genomics
and proteomics, the nature of
reproducibility is changing; it is
increasingly dissimilar from that
for more simple measurements.
The basic meaning of scientific
knowledge is shifting, and the
community must learn to deal
with it in ways that go beyond
simple semantics.

новое машление нужно применять, это так просто не объяснить --- "тут верить надо" (С) :)

(Ответить) (Thread)
[User Picture]From: rudnev
2013-05-10 03:32 pm
была такая известная в свое время статья, если вы, вдруг, не видели.

Can a Biologist Fix a Radio? — or, What I Learned while Studying Apoptosis.

protein.bio.msu.ru/biokhimiya/contents/v69/pdf/bcm_1403.pdf
(Ответить) (Thread)
From: vasja_iz_aa
2013-05-10 08:46 pm
одиннадцать -- это очень много. это скорее всего свидельство тому, что у них критерии воспроизводимости были очень мягкие
(Ответить) (Thread)
Страница 1 из 2
<<[1] [2] >>