![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
healthy_back https://www.facebook.com/anton.antich/posts/10161715672612995
Оргинал по-английски: https://bigthink.com/neuropsych/replication-crisis/
Старый пост https://healthy-back.livejournal.com/400538.html https://healthy-back.dreamwidth.org/391731.html)
Я периодически ссылаюсь на так называемый P-values disaster / replication crisis в социальных науках и медицине - когда опубликованные в научных peer reviewed journals статьи не могут быть подтверждены последующими исследованиями. Вот неплохая обзорная статья, основная ценность которой в нескольких ссылках на оригинальные исследования на эту тему, которые очень рекомендую интересующимся и разбирающимся в статистике и experiment Setup почитать, особенно оригинальную публикацию от 2005 года именно про медицину с которой собственно все и началось, но highlights честно говоря очень такие troubling:
- в 40-60% семпла ярких опубликованных исследований, включая топовые журналы вроде Nature и Science, в области психологии, экономики и медицины, результаты впоследствии не смогли воспроизвести
- невоспроизводимые исследования с яркими результатами получают в среднем на *16 цитирований в год больше*, чем воспроизводимые, а в сумме это приводит к разнице в 150+ больше цитирований
- после того, когда появляется работа, опровергающая результат или говорящая об их невоспроизводимости, *частота цитирования не снижается*
То есть понимаете что происходит - в общей ментальной картине обществ, политиков итп набор «истин» формулируется в том числе научным знанием. У единиц, профессионально этим занимающихся - через изучение оригинальный исследований, а у масс - через хайпожорские пересказы СМИ, выступления «Authority figures», разных «популяризаторов науки» и прочих блоггеров - при этом чем ярче результаты и *чем больше на них ссылаются* - тем более «правильными» они кажутся, и тем больше внимания получают.
То есть, наша картина подсознательных, базовых истин, на которые мы опираемся в своих рассуждениях даже не проговоривая вслух, ведь они нам кажутся очевидными - довольно сильно загрязнена. Причём как собственно в этих науках у профессионалов, так и в общественном поле когда результаты так или иначе влияют на нашу жизнь (а в области экономики, социологии, психологии и медицины очень многие влияют очень сильно).
Ну как самый тупой пример такого «общего знания», которое очень долго было «ну все же знают» - «мы используем наш мозг всего на 10%». Уже давно известно, что это не так, но некоторые до сих пор в этом уверены, а механизм возникновения этой «истины» в публичном поле был примерно такой же как описано выше.
Причём что самое забавное - сделать с этим ничего невозможно. Когда ты начинаешь question какие-то «общепринятые истины» - недалёкие люди, считающие себя образованными и «верящими в науку» ™ записывают тебя в conspiracy theorists, хотя механизм возникновения этого «знания» ничего общего не имеет ни с каким заговором. Ну и собственно само процитированное исследование - после того, как результаты *были опровергнуты*, частота цитирования оригинального *неверного* исследования не снижается.
То есть, мало того, что:
- у нас на определенный процент неверная картина мира в области социологии, психологии, экономики (не *неполная* - это то как раз ок - именно *неверная*), на основе которой мы принимаем решения, государства вводят полиси и регуляции, Твиттер канселирует людей и прочее
- мы не знаем, в какой именно части она неверная, важная она, неважная, насколько большая, и не наносим ли мы вред своими действиями из неверных предпосылок
- но мы ещё и не можем ее толком исправить, так как после обнаружения неверных результатов цитирования продолжаются
- ну и как вишенка на торте - в social studies куча политкорректности и «запретных вопросов», поэтому определённые области «непреложных истин» вообще законсервированы в янтаре и их трогать нельзя
И нет, для читающих жопой™ , это не имеет никакого отношения к теории заговора. Это в чистом виде человеческая природа, дающая в совокупности множества акторов вот такой эффект.
Что вам с этим знанием делать - решайте сами, но если хотите ссылаться на настоящий научный подход, а не непонятное капризное божество «Наука», которому надо поклоняться и безоговорочно верить, то лучше всегда со скромностью относиться к тому, что мы думаем, что знаем. Научное знание только и расширяется постоянным подвержением консенсуса сомнению.
Процитируя ещё раз Фейнмана - «я предпочту чтобы у меня были вопросы без ответов, чем ответы, к которым нельзя задавать вопросы». И он как раз не про физику говорил, в физике никому и в голову не придёт с этим спорить.
Ну и к вопросу о стандартах значимости - в физике это 5-sigma, что соответствует p-value 3x10-7. В социальных науках это 0.05. То есть, в физике результаты объявляются значимыми в смысле «мы что-то новое открыли» только когда вероятность их случайного появления на 5 порядков ниже, чем «открытие» в социальных науках. Так и живем.
Но подвергать свою картину мира сомнению очень тяжело, да, тут наш мозг работает против нас.
Оргинал по-английски: https://bigthink.com/neuropsych/replication-crisis/
Старый пост https://healthy-back.livejournal.com/400538.html https://healthy-back.dreamwidth.org/391731.html)
Я периодически ссылаюсь на так называемый P-values disaster / replication crisis в социальных науках и медицине - когда опубликованные в научных peer reviewed journals статьи не могут быть подтверждены последующими исследованиями. Вот неплохая обзорная статья, основная ценность которой в нескольких ссылках на оригинальные исследования на эту тему, которые очень рекомендую интересующимся и разбирающимся в статистике и experiment Setup почитать, особенно оригинальную публикацию от 2005 года именно про медицину с которой собственно все и началось, но highlights честно говоря очень такие troubling:
- в 40-60% семпла ярких опубликованных исследований, включая топовые журналы вроде Nature и Science, в области психологии, экономики и медицины, результаты впоследствии не смогли воспроизвести
- невоспроизводимые исследования с яркими результатами получают в среднем на *16 цитирований в год больше*, чем воспроизводимые, а в сумме это приводит к разнице в 150+ больше цитирований
- после того, когда появляется работа, опровергающая результат или говорящая об их невоспроизводимости, *частота цитирования не снижается*
То есть понимаете что происходит - в общей ментальной картине обществ, политиков итп набор «истин» формулируется в том числе научным знанием. У единиц, профессионально этим занимающихся - через изучение оригинальный исследований, а у масс - через хайпожорские пересказы СМИ, выступления «Authority figures», разных «популяризаторов науки» и прочих блоггеров - при этом чем ярче результаты и *чем больше на них ссылаются* - тем более «правильными» они кажутся, и тем больше внимания получают.
То есть, наша картина подсознательных, базовых истин, на которые мы опираемся в своих рассуждениях даже не проговоривая вслух, ведь они нам кажутся очевидными - довольно сильно загрязнена. Причём как собственно в этих науках у профессионалов, так и в общественном поле когда результаты так или иначе влияют на нашу жизнь (а в области экономики, социологии, психологии и медицины очень многие влияют очень сильно).
Ну как самый тупой пример такого «общего знания», которое очень долго было «ну все же знают» - «мы используем наш мозг всего на 10%». Уже давно известно, что это не так, но некоторые до сих пор в этом уверены, а механизм возникновения этой «истины» в публичном поле был примерно такой же как описано выше.
Причём что самое забавное - сделать с этим ничего невозможно. Когда ты начинаешь question какие-то «общепринятые истины» - недалёкие люди, считающие себя образованными и «верящими в науку» ™ записывают тебя в conspiracy theorists, хотя механизм возникновения этого «знания» ничего общего не имеет ни с каким заговором. Ну и собственно само процитированное исследование - после того, как результаты *были опровергнуты*, частота цитирования оригинального *неверного* исследования не снижается.
То есть, мало того, что:
- у нас на определенный процент неверная картина мира в области социологии, психологии, экономики (не *неполная* - это то как раз ок - именно *неверная*), на основе которой мы принимаем решения, государства вводят полиси и регуляции, Твиттер канселирует людей и прочее
- мы не знаем, в какой именно части она неверная, важная она, неважная, насколько большая, и не наносим ли мы вред своими действиями из неверных предпосылок
- но мы ещё и не можем ее толком исправить, так как после обнаружения неверных результатов цитирования продолжаются
- ну и как вишенка на торте - в social studies куча политкорректности и «запретных вопросов», поэтому определённые области «непреложных истин» вообще законсервированы в янтаре и их трогать нельзя
И нет, для читающих жопой™ , это не имеет никакого отношения к теории заговора. Это в чистом виде человеческая природа, дающая в совокупности множества акторов вот такой эффект.
Что вам с этим знанием делать - решайте сами, но если хотите ссылаться на настоящий научный подход, а не непонятное капризное божество «Наука», которому надо поклоняться и безоговорочно верить, то лучше всегда со скромностью относиться к тому, что мы думаем, что знаем. Научное знание только и расширяется постоянным подвержением консенсуса сомнению.
Процитируя ещё раз Фейнмана - «я предпочту чтобы у меня были вопросы без ответов, чем ответы, к которым нельзя задавать вопросы». И он как раз не про физику говорил, в физике никому и в голову не придёт с этим спорить.
Ну и к вопросу о стандартах значимости - в физике это 5-sigma, что соответствует p-value 3x10-7. В социальных науках это 0.05. То есть, в физике результаты объявляются значимыми в смысле «мы что-то новое открыли» только когда вероятность их случайного появления на 5 порядков ниже, чем «открытие» в социальных науках. Так и живем.
Но подвергать свою картину мира сомнению очень тяжело, да, тут наш мозг работает против нас.