![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
healthy_backВсе части в отличном качестве и с картинками-скриншотами:
https://budetlyanin108.livejournal.com/4224131.html
https://budetlyanin108.livejournal.com/4223932.html
Я перепощиваю в таком виде, чтобы были видны ссылки-источники и впихиваю в меньшее количество постов
Большая часть практики вашего врача основана на мошенничестве
Доктор Вояк, доктор медицины (https://substack.com/@drwojakmd)
Даже ведущие медицинские журналы — это не более чем рупоры индустрии, штампующие в основном мусор. Верить в обратное было бы все равно что доверять рекламе сигарет 1950-х годов.
Лучше подбросить монетку, чем слепо доверять тому, что публикуется в медицинских журналах — и, честно говоря, это несправедливо по отношению к монетке. Монета не берет взятки от фармацевтических компаний.
Даже редакторы самых престижных мировых журналов признают, насколько коррумпированной и нечестной стала индустрия медицинских изданий (https://drwojakmd.substack.com/p/insiders-admit-modern-medicine-is-a-fraud), несмотря на поклонение авторитетам и подхалимство перед авторитетными лицами.
Это довольно длинный текст — вы можете свободно перемещаться по разделам, используя список содержания ниже:
Большая часть опубликованных исследований — это мусор. (https://drwojakmd.substack.com/i/162875302/most-of-the-published-research-is-junk)
Кризис воспроизводимости (https://drwojakmd.substack.com/i/162875302/the-replication-crisis)
Конфликты интересов на всех уровнях (https://drwojakmd.substack.com/i/162875302/conflicts-of-interest-at-every-level)
Медицинские журналы (https://drwojakmd.substack.com/i/162875302/medical-journals)
Редакторы журналов (https://drwojakmd.substack.com/i/162875302/journal-editors)
Клинические испытания (https://drwojakmd.substack.com/i/162875302/clinical-trials)
Рецензенты (https://drwojakmd.substack.com/i/162875302/peer-reviewers)
Предвзятость (https://drwojakmd.substack.com/i/162875302/biases)
Склонность к позитивным результатам (https://drwojakmd.substack.com/i/162875302/bias-toward-positive-results)
Культура «публикуй или погибни» (https://drwojakmd.substack.com/i/162875302/publish-or-perish-culture)
Предвзятость в дизайне исследования (https://drwojakmd.substack.com/i/162875302/bias-in-study-design)
Мошенничество и другие противоправные действия (https://drwojakmd.substack.com/i/162875302/fraud-and-other-misconduct)
Мошенничество (https://drwojakmd.substack.com/i/162875302/fraud)
Написание текстов на заказ (https://drwojakmd.substack.com/i/162875302/ghostwriting)
P-хакинг (https://drwojakmd.substack.com/i/162875302/p-hacking)
Цензура (https://drwojakmd.substack.com/i/162875302/censorship)
Рецензирование (https://drwojakmd.substack.com/i/162875302/peer-review)
Рецензенты не согласны. (https://drwojakmd.substack.com/i/162875302/reviewers-dont-agree)
Экспертная оценка не выявляет очевидную нелепость. (https://drwojakmd.substack.com/i/162875302/peer-review-fails-to-catch-obvious-nonsense)
В процессе рецензирования не удается выявить элементарные ошибки. (https://drwojakmd.substack.com/i/162875302/peer-review-fails-to-catch-basic-errors)
Учёные не понимают статистику. (https://drwojakmd.substack.com/i/162875302/academics-dont-understand-statistics)
Предвзятость рецензентов (https://drwojakmd.substack.com/i/162875302/biases-of-peer-reviewers)
Импакт-фактор (https://drwojakmd.substack.com/i/162875302/impact-factor)
Как выглядит настоящая экспертная оценка (https://drwojakmd.substack.com/i/162875302/what-real-peer-review-looks-like)
Заключительные мысли (https://drwojakmd.substack.com/i/162875302/final-thoughts)
Большая часть опубликованных исследований — это мусор
Если результаты исследования невозможно воспроизвести, это не наука — это просто выдумка. Большая часть академической среды страдает от кризиса воспроизводимости (когда последующие исследования не подтверждают первоначальные результаты), но в медицине лженаука не просто вводит в заблуждение — она убивает (https://x.com/DrWojakMD/status/1901964587739623861).
Ежегодно в научной литературе появляются миллионы исследований (https://ncses.nsf.gov/pubs/nsb202333/publication-output-by-region-country-or-economy-and-by-scientific-field), в том числе более 10 000 отозванных работ только в 2023 году (https://www.nature.com/articles/d41586-023-03974-8). И это лишь верхушка айсберга. Большинство некачественных исследований не отзываются. Они просто остаются в сети, загрязняя базу знаний и вводя в заблуждение целые поколения врачей, политиков и пациентов.
Кризис воспроизводимости
Насколько серьёзен кризис воспроизводимости?
1) Иоаннидис (2005) (https://pubmed.ncbi.nlm.nih.gov/16014596/) проанализировал 45 масштабных клинических исследований — тех, которые были опубликованы в престижных журналах и цитировались более тысячи раз. Только 20 (44%) из них впоследствии были воспроизведены; остальные либо противоречили друг другу, либо преувеличивали, либо никогда не проверялись повторно — это означает, что врачи обычно основывают лечение на сомнительных, непроверенных исследованиях.
2) Принц и др. (2011) (https://www.nature.com/articles/nrd3439-c1) оценили 67 доклинических исследований лекарственных препаратов. Только 14 (21%) оказались воспроизводимыми. Именно эти исследования использовались для одобрения многомиллиардных клинических испытаний лекарственных препаратов.
3) Бегли и Эллис (2012) (https://www.nature.com/articles/483531a.pdf) попытались воспроизвести результаты 53 исследований рака. Им это удалось лишь в 6 из них. Это составляет 11%.
4) Бокель и др. (2015) (https://www.sciencedirect.com/science/article/abs/pii/S0010945215000155?via%3Dihub) проанализировали 17 нейровизуализационных исследований. Только одно из них подтвердило результаты. Это составляет 6%.
Проблема касается не только малоизвестных журналов. Речь идёт о ведущей медицинской литературе — самой основе так называемой «доказательной медицины». И большая её часть невоспроизводима или непроверена.
Кризис воспроизводимости настолько серьезен, что 90% исследователей признают его существование (https://www.nature.com/articles/533452a), а остальные либо лгут, либо пребывают в глубоком заблуждении.
Конфликты интересов на всех уровнях
Медицинские журналы
Доходы медицинских журналов в значительной степени зависят от фармацевтических компаний, главным образом за счет рекламы и покупки репринтов — схем, которые больше напоминают взятки, чем законные деловые сделки.
В обычной рекламе цель состоит в том, чтобы проинформировать потенциальных клиентов о продукте. Но в медицинских журналах реклама фармацевтических компаний служит финансовым стимулом, призванным повлиять на решения редакции. Аналогично, перепечатки (покупка конкретных статей фармацевтическими компаниями) по сути являются взятками, влияющими на то, какие исследования будут опубликованы. Без выгодных заказов на перепечатки от фармацевтических компаний медицинским журналам было бы трудно остаться на плаву.
Когда фармацевтические компании хотят опубликовать свои исследования, они часто предлагают значительные объемы перепечаток в случае принятия статьи к публикации. Положительное исследование в высокорейтинговом журнале гораздо ценнее рекламы — оно становится инструментом, который врачи используют для оправдания назначения лекарств пациентам. Врачи выступают в качестве основной силы продаж для фармацевтической промышленности, и публикуемый в этих журналах мусор — это их оружие.
В мае 2003 года на обложке журнала (https://www.bmj.com/content/326/7400) BMJ (https://www.bmj.com/content/326/7400) врачи были изображены в виде свиней, пирующих на банкете, которых обслуживали представители фармацевтических компаний, похожие на ящериц (https://www.bmj.com/content/326/7400). Это меткое изображение вызвало волну возмущения, и фармацевтические компании пригрозили отозвать рекламу на сумму 75 000 фунтов стерлингов (https://pmc.ncbi.nlm.nih.gov/articles/PMC1383755/). Аналогичным образом, журнал Annals of Internal Medicine потерял от 1 до 1,5 миллиона долларов дохода от рекламы после публикации исследования, критикующего рекламу фармацевтической промышленности (https://pubmed.ncbi.nlm.nih.gov/16777891/).
Что касается перепечаток, даже The Lancet — самый престижный медицинский журнал Европы — признал, что 41% его доходов поступает от продажи перепечаток (https://pmc.ncbi.nlm.nih.gov/articles/PMC2964337/). Если The Lancet готов это признать, можно с уверенностью предположить, что ситуация еще хуже в ведущих американских журналах, которые отказываются раскрывать свои данные.
Финансовые ставки колоссальны. В отчете 2005 года было показано, что публикация положительной статьи может принести фармацевтической компании до 200 миллионов фунтов стерлингов (https://pmc.ncbi.nlm.nih.gov/articles/PMC546051/), причем часть этих денег поступает в карманы врачей, которые продвигают продукцию компании.
Коррупция затронула весь спектр медицинских журналов — от самых престижных до узкоспециализированных изданий. Журнал Transplantation and Dialysis отклонил редакционную статью с критикой препарата после трех рецензий — не из-за научной ценности, а потому что его отдел маркетинга отменил решение редакторов (https://pubmed.ncbi.nlm.nih.gov/16777891/). Более мелкие специализированные журналы часто еще сильнее связаны с фармацевтическими компаниями, регулярно публикуя спонсируемые отраслью симпозиумы, наполненные торговыми марками и созданные для продажи продукции. В одном печально известном случае компания Merck создала целый собственный журнал, напичканный рекламой и положительными статьями, замаскированными под независимое исследование (https://www.nytimes.com/2009/05/14/business/14vioxx.html).
Редакторы журналов
Исследование 2017 года, опубликованное в журнале BMJ (https://www.bmj.com/content/359/bmj.j4619), показало, что более половины (50,6%) редакторов самых влиятельных медицинских журналов мира получали деньги напрямую от фармацевтических компаний и производителей медицинского оборудования (https://www.bmj.com/content/359/bmj.j4619) — иногда десятки или даже сотни тысяч долларов.
Только в 2014 году средний редактор получил 27 564 доллара в виде личных выплат, а также дополнительные средства на «исследования» — зачастую это условное обозначение щедрых льгот и поездок, спонсируемых отраслью. В журнале Американского колледжа кардиологии 19 редакторов получили в среднем по 475 072 доллара каждый, а также еще 119 407 долларов в виде так называемых выплат на исследования.
Клинические испытания
Клинические испытания лекарств и других методов лечения — это скорее пропаганда, чем наука. В отличие от настоящей науки, их, как правило, невозможно независимо воспроизвести, обсудить или подвергнуть тщательному анализу, поскольку компании контролируют данные и скрывают все, что не служит их интересам.
Ситуация хуже, чем многие себе представляют. Анализ протоколов клинических испытаний показал, что в половине случаев (https://pmc.ncbi.nlm.nih.gov/articles/PMC4046551/) спонсоры (то есть фармацевтические компании) имели возможность заблокировать публикацию (https://pmc.ncbi.nlm.nih.gov/articles/PMC4046551/). В большинстве других случаев они могли создавать юридические или логистические барьеры. В медицинских школах США исследования, спонсируемые промышленностью, регулярно нарушают редакционные нормы, включая доступ к исходным данным и право на публикацию результатов (https://pubmed.ncbi.nlm.nih.gov/12397192/).
Опрос 2005 года показал, что 80% учебных заведений готовы принять контракты, предоставляющие спонсорам право собственности на данные, а 50% разрешают спонсорам самостоятельно писать текст исследования (https://pubmed.ncbi.nlm.nih.gov/15917385/). Даже после подписания контрактов 82% учреждений сталкивались с конфликтами со спонсорами. В одном случае компания задержала окончательный платеж, потому что ей не понравились результаты исследования. Контракты, как правило, держатся в секрете, что, вероятно, приводит к недооценке истинных масштабов коррупции. Тем не менее, 69% администраторов признали, что давление со стороны финансирования часто вынуждало их принимать неэтичные условия. В результате культура академических исследований почти полностью коррумпирована промышленностью.
Согласно действующим правилам, спонсоры, как правило, владеют всем набором данных, контролируют доступ к нему и разрешают исследователям просматривать только отдельные сводки — обычно на территории компании.
В настоящее время финансирование клинических исследований со стороны промышленности доминирует. В США его доля выросла с 32% в 1980 году до 62% к 2000 году (https://pubmed.ncbi.nlm.nih.gov/12533125/). Академические медицинские центры получают все меньшую долю этих средств — с 63% в 1994 году до 26% в 2004 году (https://www.nejm.org/doi/full/10.1056/NEJMp048353) — при этом их место занимают частные контрактные исследовательские организации (CRO). Многие CRO открыто занимаются маркетингом, что еще больше размывает грань между исследованиями и продажами.
Чтобы оставаться конкурентоспособными, университеты стремятся привлечь деньги от промышленности, предоставляя доступ к пациентам и клиническому персоналу. Врачи же превращаются в вербовщиков, предлагающих своих пациентов в обмен на льготы и публикации. В некоторых случаях врачи получают до 42 000 долларов за каждого зачисленного пациента (https://oig.hhs.gov/reports/all/2000/recruiting-human-subjects-pressures-in-industry-sponsored-clinical-research/).
Рецензенты
В период с 2020 по 2022 год более половины рецензентов журналов JAMA, New England Journal of Medicine, BMJ и The Lancet получали деньги от фармацевтических и медицинских компаний — в общей сложности 1,06 миллиарда долларов (https://www.medpagetoday.com/special-reports/features/112338).
- 58,9% получили выплаты от отрасли.
- 54% принимали общие платежи (например, подарки, гонорары за выступления и т. д.).
- 31,8% получили финансирование на исследования.
Средняя сумма выплаты за исследовательскую работу составила 153 173 доллара.
Это не маргинальные журналы. Это так называемый золотой стандарт медицинской издательской деятельности. И люди, решающие, что будет опубликовано, финансируются той самой индустрией, которую они должны контролировать. В отличие от редакторов и авторов, рецензенты даже не обязаны раскрывать свои конфликты интересов. Журналы будут держать их имена и связи в секрете от общественности.
Предвзятость
Склонность к позитивным результатам
Одно из наиболее распространенных предубеждений в медицинских исследованиях — это предпочтение положительных результатов. Исследования, подтверждающие эффективность того или иного метода лечения или вмешательства, с гораздо большей вероятностью будут опубликованы, процитированы и восприняты всерьез — независимо от их качества.
Эта предвзятость проявляется на всем протяжении исследовательского процесса: от разработки исследований учеными до принятия журналами решений о том, что публиковать. Исследование 2010 года показало, что статьи с положительными результатами принимались к публикации в 97,3% случаев, в то время как статьи с отрицательными результатами — только в 80% случаев (https://www.researchgate.net/publication/49629516_Testing_for_the_Presence_of_Positive-Outcome_Bias_in_Peer_Review_A_Randomized_Controlled_Trial).
Фармацевтическая индустрия использует это предубеждение в своих интересах. Фармацевтические компании гораздо чаще публикуют исследования с благоприятными результатами, а остальные скрывают. В одном анализе исследований антидепрессантов, представленных в FDA, было опубликовано 94% положительных исследований, но только 8% отрицательных. Если полагаться исключительно на опубликованную литературу, может показаться, что антидепрессанты в подавляющем большинстве случаев эффективны. В действительности же только 51% всех исследований показали хоть какой-то эффект (https://www.nejm.org/doi/full/10.1056/NEJMsa065779#t=abstract).
Это и есть проблема «ящика для документов» в действии: отрицательные или неубедительные результаты тихонько откладываются в сторону, в то время как положительные наводняют научные журналы. Это не просто вводит в заблуждение — это обман путем умолчания, и это систематически искажает все наше понимание медицинской науки.
Культура «публикуй или погибнешь»
В академической среде больше ценится количество публикаций, чем качество. Исследователи вынуждены постоянно публиковаться, иначе рискуют потерять финансирование, продвижение по службе или карьеру.
Вместо того чтобы заниматься тщательными и содержательными исследованиями, учёных подталкивают к тому, чтобы штамповать статьи, которые с большей вероятностью будут опубликованы.
В результате появляется множество низкокачественных исследований, призванных служить интересам промышленности, пройти рецензирование и приукрасить резюме. В научные журналы попадает много псевдонаучных работ, если они соответствуют необходимым критериям.
Предвзятость в дизайне исследования
Предвзятость часто возникает еще до начала исследования — на этапе проектирования. Исследователи разрабатывают исследования, которые с большей вероятностью подтвердят их собственные гипотезы, тем самым вводя предвзятость подтверждения с самого начала. Даже без злых намерений, решения о том, что измерять, как это измерять и как формулировать вопросы, могут склонить результаты в определенном направлении. В сочетании с давлением, связанным с необходимостью публикации, и отсутствием прозрачности, эти структурные предубеждения создают основу для ошибочных и ненадежных исследований.
Мошенничество и другие противоправные действия
Мошенничество
Проблема заключается не только в предвзятости или конфликтах интересов — это широко распространенное, преднамеренное мошенничество. Истинные масштабы научных нарушений, вероятно, гораздо хуже, чем показывают приведенные ниже цифры, поскольку большинство исследователей вряд ли признаются в мошенничестве — даже анонимно.
Опрос 3247 американских ученых, финансируемых Национальными институтами здравоохранения (NIH), показал, что 33% из них признались в сомнительных методах проведения исследований за последние три года (http://www.lscp.net/persons/dupoux/teaching/JOURNEE_AUTOMNE_CogMaster_2011-12/readings_deontology/Martisson_etal_2005_Scientists_behaving_badly.nature.pdf), в том числе:
- 16% участников внесли изменения в дизайн исследования, методологию или результаты из-за проблем с финансированием.
- 15% тех, кто упустил неудобные данные.
- 14% использовали неподходящие или неадекватные методы исследования.
В более широком обзоре 21 исследования, посвященного нарушениям в научной деятельности (https://pubmed.ncbi.nlm.nih.gov/19478950/):
- До 5% ученых признались в фальсификации или подделке данных.
- До 33% имели личные сведения о коллегах, которые фальсифицировали данные, а до 72% были осведомлены о других сомнительных практиках.
- До 34% признались в других формах неправомерного поведения.
Другое исследование показало, что 81% стажеров в области биомедицинских исследований были готовы утаивать или фальсифицировать данные, чтобы получить грант или опубликовать статью (https://pubmed.ncbi.nlm.nih.gov/19478950/).
Написание текстов на заказ
В мире медицинских исследований глубоко укоренилась практика написания текстов на заказ (ghostwriting), когда фармацевтические компании нанимают авторов для создания научных работ, которые затем публикуются под именами известных ученых или исследователей.
Исследование, посвященное клиническим испытаниям, финансируемым промышленностью, показало, что в 75% случаев авторами были «призрачные авторы» (https://pmc.ncbi.nlm.nih.gov/articles/PMC1769411/), а если учесть исследователей, которые должны были быть указаны в качестве авторов, но были упомянуты только в разделе благодарностей, то эта цифра подскочила до 91%.
P-хакинг
В мире медицинских исследований «p-хакинг» — это манипулирование статистическими данными с целью получения результата, который является статистически значимым (значение p меньше 0,05), но на самом деле может не отражать истинную природу данных. Эта практика широко распространена в клинических испытаниях, где исследователи находятся под давлением, стремясь получить благоприятные результаты для удовлетворения требований источников финансирования или достижения целей по публикации.
P-хакинг обычно включает в себя поиск закономерностей в данных, которые не являлись частью первоначальной гипотезы, или выборочное представление результатов, когда исследователи сосредотачиваются только на определенных результатах, которые, как кажется, подтверждают их выводы. Это приводит к ложным срабатываниям — результатам, которые предполагают эффект там, где его нет, — и способствует росту числа научных публикаций, которые не просто вводят в заблуждение, но и являются откровенным мошенничеством.
Цензура
Цензура в медицинской издательской деятельности — это не просто отклонение статей, она часто принимает форму целенаправленного подавления, отзыва публикаций и профессионального уничтожения тех, кто бросает вызов господствующим в отрасли нарративам. Два показательных примера — это доктор Эндрю Уэйкфилд и доктор Пол Томас, чьи рецензированные исследования были отозваны, а карьера впоследствии разрушена.
В 1998 году журнал The Lancet опубликовал статью, соавтором которой был доктор Эндрю Уэйкфилд, предполагающую возможную связь между вакциной MMR и желудочно-кишечными проблемами у детей с аутизмом. В исследовании содержались осторожные выводы и открытый призыв к проведению дополнительных исследований, но реакция была резкой. Под сильным давлением со стороны руководства журнал The Lancet отозвал статью, а Уэйкфилд был лишен медицинской лицензии. Независимо от того, согласен ли кто-либо с интерпретацией исследования или нет, реакция была направлена не на научный дискурс, а на установление границ допустимых научных исследований.
Подобная участь постигла и доктора Пола Томаса, который в 2020 году опубликовал в рецензируемом журнале исследование, сравнивающее показатели здоровья вакцинированных и невакцинированных детей в своей практике. Данные показали, что у невакцинированных детей было меньше хронических заболеваний. Позже исследование было отозвано без серьезного научного опровержения, а медицинская лицензия доктора Томаса была приостановлена. Наказание было связано не с мошенничеством или методологическими недостатками, а с представлением результатов, которые бросали вызов влиятельным интересам.
Подобная цензура не ограничивается громкими делами. Целые категории исследований, ставящие под сомнение фармацевтические продукты, политику в отношении вакцин или доминирующие нарративы в области общественного здравоохранения, регулярно исключаются из публикации. Журналы, тесно связанные с финансированием со стороны промышленности и заботой о репутации, выступают в роли идеологических привратников. Исследования с неудобными результатами незаметно отфильтровываются, в то время как статьи, лояльные к промышленности, проходят через этот процесс.
Рецензирование
Процесс рецензирования в академических журналах — это просто посмешище. Он полон недостатков и предвзятости, позволяющих некачественным исследованиям проходить бесконтрольно, одновременно подавляя работы, бросающие вызов устоявшимся представлениям в отрасли. Вместо того чтобы быть строгим механизмом контроля качества, рецензирование — это сломанная система, которая защищает престиж, прибыль и ортодоксальность в ущерб истине и точности.
Многие рецензенты почти не читают статьи. Некоторые не понимают методологию. Других отбирают потому, что они сочувствуют авторам или разделяют желаемые выводы. В результате получается процесс отбора, который легитимизирует псевдонауку и скрывает неудобные результаты.
Рецензенты не согласны
Рецензенты часто расходятся во мнениях друг с другом, зачастую до такой степени, что их оценки ничем не лучше случайности. Метаанализ согласованности оценок показал, что у коллег‑рецензентов, как правило, низкий уровень согласия при оценке одного и того же исследования (https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0014331). Если рецензенты даже сами не могут прийти к согласию относительно того, что представляет собой хорошее исследование, как мы можем доверять точности или содержательности их оценок?
Экспертная оценка не выявляет очевидную нелепость.
Престижные журналы неоднократно публиковали фальшивые или откровенно бессмысленные исследования, демонстрируя, насколько несовершенен процесс рецензирования. В 2009 году BMJ опубликовал статью о вымышленном заболевании под названием «целло‑скротум» (http://news.bbc.co.uk/2/hi/health/7853564.stm). Авторы представили её в шутку, рассчитывая, что кто‑нибудь ею заинтересуется, но этого не произошло.
В 2013 году журналист отправил заведомо фальшивую статью, изобилующую элементарными химическими ошибками, более чем в 300 журналов (https://www.science.org/doi/10.1126/science.2013.342.6154.342_60). Более половины из них приняли её к публикации.
В процессе рецензирования не удается выявить элементарные ошибки.
Одним из существенных недостатков рецензирования является то, что оно часто не выявляет даже элементарные ошибки в представленных статьях. Многочисленные исследования показали, что рецензенты часто пропускают вопиющие ошибки, и эта неспособность ставит под сомнение надежность процесса.
Один из печально известных экспериментов, проведенный Фионой Годли, редактором BMJ, заключался в том, что в статью, готовящуюся к публикации в журнале, были намеренно внесены восемь ошибок (https://www.annemergmed.com/article/S0196-0644(98)70006-X/fulltext). Затем статья была отправлена 420 рецензентам; из них ответили только 53%, а среднее количество выявленных ошибок составило всего две. Удивительно, но 35% рецензентов вообще не обнаружили никаких ошибок.
В другом исследовании, проведенном Годли в 2008 году, в статью, отправленную 607 рецензентам, было внесено девять серьезных и пять незначительных ошибок (https://pmc.ncbi.nlm.nih.gov/articles/PMC2586872/). Несмотря на вопиющие ошибки, процент их обнаружения оставался крайне низким.
Учёные не понимают статистику
Ещё одна проблема, связанная с рецензированием, — это недостаточная статистическая грамотность среди учёных. Несмотря на свою квалификацию, многие исследователи, в том числе те, кому поручено рецензировать статьи, не до конца понимают ключевые статистические понятия, такие как p-значения, доверительные интервалы и t-критерии. Это непонимание снижает их способность оценивать достоверность результатов исследований.
Например, в исследовании 2015 года 89% эпидемиологов не смогли правильно интерпретировать статистический результат, касающийся противоракового вмешательства, когда значение p превышало 0,05, даже несмотря на то, что этот результат был статистически значимым (https://www.researchgate.net/publication/283175190_Blinding_Us_to_the_Obvious_The_Effect_of_Statistical_Training_on_the_Evaluation_of_Evidence). Аналогично, исследование 2016 года показало, что 84% статистиков не смогли правильно оценить сравнение двух методов лечения (https://amstat.tandfonline.com/doi/abs/10.1080/01621459.2017.1289846). Если даже эксперты в этой области не могут правильно интерпретировать основные статистические результаты, как мы можем ожидать, что рецензенты — которых часто выбирают на основе их экспертных знаний в узкой области — смогут эффективно оценить статистическую обоснованность исследований?
Предвзятость рецензентов
Рецензенты, как правило, отдают предпочтение статьям, которые соответствуют их собственным взглядам или прежним убеждениям. Эта предвзятость приводит к укреплению устоявшихся идей и подавлению новых или спорных исследований.
В исследовании 1977 года ученые обнаружили, что рецензенты оценивали статьи, сообщающие о положительных результатах, соответствующих их собственным убеждениям, как более качественные, в то время как статьи, противоречащие их взглядам, оценивались более негативно (https://link.springer.com/article/10.1007/BF01173636). Аналогично, исследование 1993 года показало, что ученые с большей вероятностью принимали статьи, которые соответствовали их прежним убеждениям (https://www.sciencedirect.com/science/article/abs/pii/S0749597883710447). Предвзятость подтверждения широко распространена в процессе рецензирования. Вместо того чтобы способствовать непредвзятой оценке, рецензирование лишь укрепляет существующее положение вещей.
Импакт-фактор
Престиж научного журнала строится на очень легко поддающемся манипуляциям показателе — импакт-факторе, который измеряет частоту цитирования статей в журнале. Фармацевтические компании используют этот показатель, организуя публикации, написанные «под чужим именем», в которых цитируются ошибочные результаты клинических испытаний, тем самым повышая как собственный маркетинг, так и престиж журнала.
Возьмем, к примеру, New England Journal of Medicine (NEJM) (https://pmc.ncbi.nlm.nih.gov/articles/PMC4046551/). В NEJM были опубликованы результаты испытаний вориконазола компании Pfizer с вводящими в заблуждение выводами, но эти ошибочные исследования цитировались сотни раз в других статьях, многие из которых, вероятно, были написаны самими сотрудниками компании. Эта сеть цитирования искусственно завышала импакт-фактор журнала, повышая его репутацию и распространяя корпоративную пропаганду.
Публикуя и продвигая эти предвзятые исследования, журналы получают прибыль от продажи репринтов, а фармацевтические компании — дополнительную известность своей продукции. Импакт-фактор может отражать скорее влияние отрасли, чем научную ценность.
Как выглядит настоящая экспертная оценка
Настоящая экспертная оценка — это не закулисный процесс утверждения, проводимый безымянными «привратниками» в журналах, контролируемых отраслевыми компаниями.
Реальное рецензирование происходит открыто — на таких платформах, как Substack, X, независимых блогах и журналах открытого доступа, — где любой может читать, критиковать и взаимодействовать с материалом напрямую. Никаких анонимных комиссий или закулисных сделок.
Всё больше исследователей публикуют свои работы в журналах открытого доступа и в препринтах, где результаты исследований находятся в свободном доступе и подлежат общественному контролю. Также растёт давление на учреждения с целью публикации всех результатов, включая отрицательные, а не только тех, которые служат коммерческим интересам.
В отличие от коррумпированных медицинских журналов, поддерживаемых деньгами фармацевтических компаний, настоящая система рецензирования децентрализована и прозрачна. Она процветает там, где идеи получают признание или терпят неудачу на основе их достоинств, а не в зависимости от известных журналов или узких кругов.
Вот почему медицинское сообщество так упорно борется за контроль над интернетом и цензуру инакомыслия — как мы видели во время фальшивой пандемии COVID-19, когда слишком многие начали думать самостоятельно. Если свобода дискуссии будет разрешена, их контроль над информационным пространством, поддерживаемый иллюзией престижа научных журналов, начнет ослабевать.
Заключительные мысли
Любой, кто до сих пор апеллирует к престижу научных журналов как к доказательству научной честности, либо безнадежно доверчив, либо причастен к коррупции.
Арнольд Релман, бывший редактор журнала The New England Journal of Medicine, предупреждал нас об этом еще десятилетия назад:
«Медицинская профессия покупается фармацевтической промышленностью — не только в плане медицинской практики, но и в плане преподавания и исследований. Академические учреждения этой страны позволяют себе быть платными агентами фармацевтической промышленности. Я считаю это позорным».
Он был прав. Коррупция не второстепенна — она имеет фундаментальное значение. Журналы, редакторы, исследователи и учреждения — все оказались под ее влиянием. То, что выдается за «доказательную медицину», зачастую является всего лишь коммерчески мотивированной догмой, замаскированной под научный язык.
Мы должны перестать рассматривать публикацию в научных журналах как заменитель истины. Исследования следует оценивать по их собственным достоинствам — открыто, прозрачно и в каждом конкретном случае. Этот сдвиг уже происходит в децентрализованных пространствах: Substack, X, независимые блоги и платформы открытого доступа, где идеи анализируются публично.
Те, кто всё ещё цепляется за старые иллюзии, сдерживают крах разлагающейся системы.
https://budetlyanin108.livejournal.com/4224131.html
https://budetlyanin108.livejournal.com/4223932.html
Я перепощиваю в таком виде, чтобы были видны ссылки-источники и впихиваю в меньшее количество постов
Доктор Вояк, доктор медицины (https://substack.com/@drwojakmd)
Даже ведущие медицинские журналы — это не более чем рупоры индустрии, штампующие в основном мусор. Верить в обратное было бы все равно что доверять рекламе сигарет 1950-х годов.
Лучше подбросить монетку, чем слепо доверять тому, что публикуется в медицинских журналах — и, честно говоря, это несправедливо по отношению к монетке. Монета не берет взятки от фармацевтических компаний.
Даже редакторы самых престижных мировых журналов признают, насколько коррумпированной и нечестной стала индустрия медицинских изданий (https://drwojakmd.substack.com/p/insiders-admit-modern-medicine-is-a-fraud), несмотря на поклонение авторитетам и подхалимство перед авторитетными лицами.
Это довольно длинный текст — вы можете свободно перемещаться по разделам, используя список содержания ниже:
Большая часть опубликованных исследований — это мусор. (https://drwojakmd.substack.com/i/162875302/most-of-the-published-research-is-junk)
Кризис воспроизводимости (https://drwojakmd.substack.com/i/162875302/the-replication-crisis)
Конфликты интересов на всех уровнях (https://drwojakmd.substack.com/i/162875302/conflicts-of-interest-at-every-level)
Медицинские журналы (https://drwojakmd.substack.com/i/162875302/medical-journals)
Редакторы журналов (https://drwojakmd.substack.com/i/162875302/journal-editors)
Клинические испытания (https://drwojakmd.substack.com/i/162875302/clinical-trials)
Рецензенты (https://drwojakmd.substack.com/i/162875302/peer-reviewers)
Предвзятость (https://drwojakmd.substack.com/i/162875302/biases)
Склонность к позитивным результатам (https://drwojakmd.substack.com/i/162875302/bias-toward-positive-results)
Культура «публикуй или погибни» (https://drwojakmd.substack.com/i/162875302/publish-or-perish-culture)
Предвзятость в дизайне исследования (https://drwojakmd.substack.com/i/162875302/bias-in-study-design)
Мошенничество и другие противоправные действия (https://drwojakmd.substack.com/i/162875302/fraud-and-other-misconduct)
Мошенничество (https://drwojakmd.substack.com/i/162875302/fraud)
Написание текстов на заказ (https://drwojakmd.substack.com/i/162875302/ghostwriting)
P-хакинг (https://drwojakmd.substack.com/i/162875302/p-hacking)
Цензура (https://drwojakmd.substack.com/i/162875302/censorship)
Рецензирование (https://drwojakmd.substack.com/i/162875302/peer-review)
Рецензенты не согласны. (https://drwojakmd.substack.com/i/162875302/reviewers-dont-agree)
Экспертная оценка не выявляет очевидную нелепость. (https://drwojakmd.substack.com/i/162875302/peer-review-fails-to-catch-obvious-nonsense)
В процессе рецензирования не удается выявить элементарные ошибки. (https://drwojakmd.substack.com/i/162875302/peer-review-fails-to-catch-basic-errors)
Учёные не понимают статистику. (https://drwojakmd.substack.com/i/162875302/academics-dont-understand-statistics)
Предвзятость рецензентов (https://drwojakmd.substack.com/i/162875302/biases-of-peer-reviewers)
Импакт-фактор (https://drwojakmd.substack.com/i/162875302/impact-factor)
Как выглядит настоящая экспертная оценка (https://drwojakmd.substack.com/i/162875302/what-real-peer-review-looks-like)
Заключительные мысли (https://drwojakmd.substack.com/i/162875302/final-thoughts)
Если результаты исследования невозможно воспроизвести, это не наука — это просто выдумка. Большая часть академической среды страдает от кризиса воспроизводимости (когда последующие исследования не подтверждают первоначальные результаты), но в медицине лженаука не просто вводит в заблуждение — она убивает (https://x.com/DrWojakMD/status/1901964587739623861).
Ежегодно в научной литературе появляются миллионы исследований (https://ncses.nsf.gov/pubs/nsb202333/publication-output-by-region-country-or-economy-and-by-scientific-field), в том числе более 10 000 отозванных работ только в 2023 году (https://www.nature.com/articles/d41586-023-03974-8). И это лишь верхушка айсберга. Большинство некачественных исследований не отзываются. Они просто остаются в сети, загрязняя базу знаний и вводя в заблуждение целые поколения врачей, политиков и пациентов.
Кризис воспроизводимости
Насколько серьёзен кризис воспроизводимости?
1) Иоаннидис (2005) (https://pubmed.ncbi.nlm.nih.gov/16014596/) проанализировал 45 масштабных клинических исследований — тех, которые были опубликованы в престижных журналах и цитировались более тысячи раз. Только 20 (44%) из них впоследствии были воспроизведены; остальные либо противоречили друг другу, либо преувеличивали, либо никогда не проверялись повторно — это означает, что врачи обычно основывают лечение на сомнительных, непроверенных исследованиях.
2) Принц и др. (2011) (https://www.nature.com/articles/nrd3439-c1) оценили 67 доклинических исследований лекарственных препаратов. Только 14 (21%) оказались воспроизводимыми. Именно эти исследования использовались для одобрения многомиллиардных клинических испытаний лекарственных препаратов.
3) Бегли и Эллис (2012) (https://www.nature.com/articles/483531a.pdf) попытались воспроизвести результаты 53 исследований рака. Им это удалось лишь в 6 из них. Это составляет 11%.
4) Бокель и др. (2015) (https://www.sciencedirect.com/science/article/abs/pii/S0010945215000155?via%3Dihub) проанализировали 17 нейровизуализационных исследований. Только одно из них подтвердило результаты. Это составляет 6%.
Проблема касается не только малоизвестных журналов. Речь идёт о ведущей медицинской литературе — самой основе так называемой «доказательной медицины». И большая её часть невоспроизводима или непроверена.
Кризис воспроизводимости настолько серьезен, что 90% исследователей признают его существование (https://www.nature.com/articles/533452a), а остальные либо лгут, либо пребывают в глубоком заблуждении.
Медицинские журналы
Доходы медицинских журналов в значительной степени зависят от фармацевтических компаний, главным образом за счет рекламы и покупки репринтов — схем, которые больше напоминают взятки, чем законные деловые сделки.
В обычной рекламе цель состоит в том, чтобы проинформировать потенциальных клиентов о продукте. Но в медицинских журналах реклама фармацевтических компаний служит финансовым стимулом, призванным повлиять на решения редакции. Аналогично, перепечатки (покупка конкретных статей фармацевтическими компаниями) по сути являются взятками, влияющими на то, какие исследования будут опубликованы. Без выгодных заказов на перепечатки от фармацевтических компаний медицинским журналам было бы трудно остаться на плаву.
Когда фармацевтические компании хотят опубликовать свои исследования, они часто предлагают значительные объемы перепечаток в случае принятия статьи к публикации. Положительное исследование в высокорейтинговом журнале гораздо ценнее рекламы — оно становится инструментом, который врачи используют для оправдания назначения лекарств пациентам. Врачи выступают в качестве основной силы продаж для фармацевтической промышленности, и публикуемый в этих журналах мусор — это их оружие.
В мае 2003 года на обложке журнала (https://www.bmj.com/content/326/7400) BMJ (https://www.bmj.com/content/326/7400) врачи были изображены в виде свиней, пирующих на банкете, которых обслуживали представители фармацевтических компаний, похожие на ящериц (https://www.bmj.com/content/326/7400). Это меткое изображение вызвало волну возмущения, и фармацевтические компании пригрозили отозвать рекламу на сумму 75 000 фунтов стерлингов (https://pmc.ncbi.nlm.nih.gov/articles/PMC1383755/). Аналогичным образом, журнал Annals of Internal Medicine потерял от 1 до 1,5 миллиона долларов дохода от рекламы после публикации исследования, критикующего рекламу фармацевтической промышленности (https://pubmed.ncbi.nlm.nih.gov/16777891/).
Что касается перепечаток, даже The Lancet — самый престижный медицинский журнал Европы — признал, что 41% его доходов поступает от продажи перепечаток (https://pmc.ncbi.nlm.nih.gov/articles/PMC2964337/). Если The Lancet готов это признать, можно с уверенностью предположить, что ситуация еще хуже в ведущих американских журналах, которые отказываются раскрывать свои данные.
Финансовые ставки колоссальны. В отчете 2005 года было показано, что публикация положительной статьи может принести фармацевтической компании до 200 миллионов фунтов стерлингов (https://pmc.ncbi.nlm.nih.gov/articles/PMC546051/), причем часть этих денег поступает в карманы врачей, которые продвигают продукцию компании.
Коррупция затронула весь спектр медицинских журналов — от самых престижных до узкоспециализированных изданий. Журнал Transplantation and Dialysis отклонил редакционную статью с критикой препарата после трех рецензий — не из-за научной ценности, а потому что его отдел маркетинга отменил решение редакторов (https://pubmed.ncbi.nlm.nih.gov/16777891/). Более мелкие специализированные журналы часто еще сильнее связаны с фармацевтическими компаниями, регулярно публикуя спонсируемые отраслью симпозиумы, наполненные торговыми марками и созданные для продажи продукции. В одном печально известном случае компания Merck создала целый собственный журнал, напичканный рекламой и положительными статьями, замаскированными под независимое исследование (https://www.nytimes.com/2009/05/14/business/14vioxx.html).
Редакторы журналов
Исследование 2017 года, опубликованное в журнале BMJ (https://www.bmj.com/content/359/bmj.j4619), показало, что более половины (50,6%) редакторов самых влиятельных медицинских журналов мира получали деньги напрямую от фармацевтических компаний и производителей медицинского оборудования (https://www.bmj.com/content/359/bmj.j4619) — иногда десятки или даже сотни тысяч долларов.
Только в 2014 году средний редактор получил 27 564 доллара в виде личных выплат, а также дополнительные средства на «исследования» — зачастую это условное обозначение щедрых льгот и поездок, спонсируемых отраслью. В журнале Американского колледжа кардиологии 19 редакторов получили в среднем по 475 072 доллара каждый, а также еще 119 407 долларов в виде так называемых выплат на исследования.
Клинические испытания
Клинические испытания лекарств и других методов лечения — это скорее пропаганда, чем наука. В отличие от настоящей науки, их, как правило, невозможно независимо воспроизвести, обсудить или подвергнуть тщательному анализу, поскольку компании контролируют данные и скрывают все, что не служит их интересам.
Ситуация хуже, чем многие себе представляют. Анализ протоколов клинических испытаний показал, что в половине случаев (https://pmc.ncbi.nlm.nih.gov/articles/PMC4046551/) спонсоры (то есть фармацевтические компании) имели возможность заблокировать публикацию (https://pmc.ncbi.nlm.nih.gov/articles/PMC4046551/). В большинстве других случаев они могли создавать юридические или логистические барьеры. В медицинских школах США исследования, спонсируемые промышленностью, регулярно нарушают редакционные нормы, включая доступ к исходным данным и право на публикацию результатов (https://pubmed.ncbi.nlm.nih.gov/12397192/).
Опрос 2005 года показал, что 80% учебных заведений готовы принять контракты, предоставляющие спонсорам право собственности на данные, а 50% разрешают спонсорам самостоятельно писать текст исследования (https://pubmed.ncbi.nlm.nih.gov/15917385/). Даже после подписания контрактов 82% учреждений сталкивались с конфликтами со спонсорами. В одном случае компания задержала окончательный платеж, потому что ей не понравились результаты исследования. Контракты, как правило, держатся в секрете, что, вероятно, приводит к недооценке истинных масштабов коррупции. Тем не менее, 69% администраторов признали, что давление со стороны финансирования часто вынуждало их принимать неэтичные условия. В результате культура академических исследований почти полностью коррумпирована промышленностью.
Согласно действующим правилам, спонсоры, как правило, владеют всем набором данных, контролируют доступ к нему и разрешают исследователям просматривать только отдельные сводки — обычно на территории компании.
В настоящее время финансирование клинических исследований со стороны промышленности доминирует. В США его доля выросла с 32% в 1980 году до 62% к 2000 году (https://pubmed.ncbi.nlm.nih.gov/12533125/). Академические медицинские центры получают все меньшую долю этих средств — с 63% в 1994 году до 26% в 2004 году (https://www.nejm.org/doi/full/10.1056/NEJMp048353) — при этом их место занимают частные контрактные исследовательские организации (CRO). Многие CRO открыто занимаются маркетингом, что еще больше размывает грань между исследованиями и продажами.
Чтобы оставаться конкурентоспособными, университеты стремятся привлечь деньги от промышленности, предоставляя доступ к пациентам и клиническому персоналу. Врачи же превращаются в вербовщиков, предлагающих своих пациентов в обмен на льготы и публикации. В некоторых случаях врачи получают до 42 000 долларов за каждого зачисленного пациента (https://oig.hhs.gov/reports/all/2000/recruiting-human-subjects-pressures-in-industry-sponsored-clinical-research/).
Рецензенты
В период с 2020 по 2022 год более половины рецензентов журналов JAMA, New England Journal of Medicine, BMJ и The Lancet получали деньги от фармацевтических и медицинских компаний — в общей сложности 1,06 миллиарда долларов (https://www.medpagetoday.com/special-reports/features/112338).
- 58,9% получили выплаты от отрасли.
- 54% принимали общие платежи (например, подарки, гонорары за выступления и т. д.).
- 31,8% получили финансирование на исследования.
Средняя сумма выплаты за исследовательскую работу составила 153 173 доллара.
Это не маргинальные журналы. Это так называемый золотой стандарт медицинской издательской деятельности. И люди, решающие, что будет опубликовано, финансируются той самой индустрией, которую они должны контролировать. В отличие от редакторов и авторов, рецензенты даже не обязаны раскрывать свои конфликты интересов. Журналы будут держать их имена и связи в секрете от общественности.
Склонность к позитивным результатам
Одно из наиболее распространенных предубеждений в медицинских исследованиях — это предпочтение положительных результатов. Исследования, подтверждающие эффективность того или иного метода лечения или вмешательства, с гораздо большей вероятностью будут опубликованы, процитированы и восприняты всерьез — независимо от их качества.
Эта предвзятость проявляется на всем протяжении исследовательского процесса: от разработки исследований учеными до принятия журналами решений о том, что публиковать. Исследование 2010 года показало, что статьи с положительными результатами принимались к публикации в 97,3% случаев, в то время как статьи с отрицательными результатами — только в 80% случаев (https://www.researchgate.net/publication/49629516_Testing_for_the_Presence_of_Positive-Outcome_Bias_in_Peer_Review_A_Randomized_Controlled_Trial).
Фармацевтическая индустрия использует это предубеждение в своих интересах. Фармацевтические компании гораздо чаще публикуют исследования с благоприятными результатами, а остальные скрывают. В одном анализе исследований антидепрессантов, представленных в FDA, было опубликовано 94% положительных исследований, но только 8% отрицательных. Если полагаться исключительно на опубликованную литературу, может показаться, что антидепрессанты в подавляющем большинстве случаев эффективны. В действительности же только 51% всех исследований показали хоть какой-то эффект (https://www.nejm.org/doi/full/10.1056/NEJMsa065779#t=abstract).
Это и есть проблема «ящика для документов» в действии: отрицательные или неубедительные результаты тихонько откладываются в сторону, в то время как положительные наводняют научные журналы. Это не просто вводит в заблуждение — это обман путем умолчания, и это систематически искажает все наше понимание медицинской науки.
Культура «публикуй или погибнешь»
В академической среде больше ценится количество публикаций, чем качество. Исследователи вынуждены постоянно публиковаться, иначе рискуют потерять финансирование, продвижение по службе или карьеру.
Вместо того чтобы заниматься тщательными и содержательными исследованиями, учёных подталкивают к тому, чтобы штамповать статьи, которые с большей вероятностью будут опубликованы.
В результате появляется множество низкокачественных исследований, призванных служить интересам промышленности, пройти рецензирование и приукрасить резюме. В научные журналы попадает много псевдонаучных работ, если они соответствуют необходимым критериям.
Предвзятость в дизайне исследования
Предвзятость часто возникает еще до начала исследования — на этапе проектирования. Исследователи разрабатывают исследования, которые с большей вероятностью подтвердят их собственные гипотезы, тем самым вводя предвзятость подтверждения с самого начала. Даже без злых намерений, решения о том, что измерять, как это измерять и как формулировать вопросы, могут склонить результаты в определенном направлении. В сочетании с давлением, связанным с необходимостью публикации, и отсутствием прозрачности, эти структурные предубеждения создают основу для ошибочных и ненадежных исследований.
Мошенничество
Проблема заключается не только в предвзятости или конфликтах интересов — это широко распространенное, преднамеренное мошенничество. Истинные масштабы научных нарушений, вероятно, гораздо хуже, чем показывают приведенные ниже цифры, поскольку большинство исследователей вряд ли признаются в мошенничестве — даже анонимно.
Опрос 3247 американских ученых, финансируемых Национальными институтами здравоохранения (NIH), показал, что 33% из них признались в сомнительных методах проведения исследований за последние три года (http://www.lscp.net/persons/dupoux/teaching/JOURNEE_AUTOMNE_CogMaster_2011-12/readings_deontology/Martisson_etal_2005_Scientists_behaving_badly.nature.pdf), в том числе:
- 16% участников внесли изменения в дизайн исследования, методологию или результаты из-за проблем с финансированием.
- 15% тех, кто упустил неудобные данные.
- 14% использовали неподходящие или неадекватные методы исследования.
В более широком обзоре 21 исследования, посвященного нарушениям в научной деятельности (https://pubmed.ncbi.nlm.nih.gov/19478950/):
- До 5% ученых признались в фальсификации или подделке данных.
- До 33% имели личные сведения о коллегах, которые фальсифицировали данные, а до 72% были осведомлены о других сомнительных практиках.
- До 34% признались в других формах неправомерного поведения.
Другое исследование показало, что 81% стажеров в области биомедицинских исследований были готовы утаивать или фальсифицировать данные, чтобы получить грант или опубликовать статью (https://pubmed.ncbi.nlm.nih.gov/19478950/).
Написание текстов на заказ
В мире медицинских исследований глубоко укоренилась практика написания текстов на заказ (ghostwriting), когда фармацевтические компании нанимают авторов для создания научных работ, которые затем публикуются под именами известных ученых или исследователей.
Исследование, посвященное клиническим испытаниям, финансируемым промышленностью, показало, что в 75% случаев авторами были «призрачные авторы» (https://pmc.ncbi.nlm.nih.gov/articles/PMC1769411/), а если учесть исследователей, которые должны были быть указаны в качестве авторов, но были упомянуты только в разделе благодарностей, то эта цифра подскочила до 91%.
P-хакинг
В мире медицинских исследований «p-хакинг» — это манипулирование статистическими данными с целью получения результата, который является статистически значимым (значение p меньше 0,05), но на самом деле может не отражать истинную природу данных. Эта практика широко распространена в клинических испытаниях, где исследователи находятся под давлением, стремясь получить благоприятные результаты для удовлетворения требований источников финансирования или достижения целей по публикации.
P-хакинг обычно включает в себя поиск закономерностей в данных, которые не являлись частью первоначальной гипотезы, или выборочное представление результатов, когда исследователи сосредотачиваются только на определенных результатах, которые, как кажется, подтверждают их выводы. Это приводит к ложным срабатываниям — результатам, которые предполагают эффект там, где его нет, — и способствует росту числа научных публикаций, которые не просто вводят в заблуждение, но и являются откровенным мошенничеством.
Цензура
Цензура в медицинской издательской деятельности — это не просто отклонение статей, она часто принимает форму целенаправленного подавления, отзыва публикаций и профессионального уничтожения тех, кто бросает вызов господствующим в отрасли нарративам. Два показательных примера — это доктор Эндрю Уэйкфилд и доктор Пол Томас, чьи рецензированные исследования были отозваны, а карьера впоследствии разрушена.
В 1998 году журнал The Lancet опубликовал статью, соавтором которой был доктор Эндрю Уэйкфилд, предполагающую возможную связь между вакциной MMR и желудочно-кишечными проблемами у детей с аутизмом. В исследовании содержались осторожные выводы и открытый призыв к проведению дополнительных исследований, но реакция была резкой. Под сильным давлением со стороны руководства журнал The Lancet отозвал статью, а Уэйкфилд был лишен медицинской лицензии. Независимо от того, согласен ли кто-либо с интерпретацией исследования или нет, реакция была направлена не на научный дискурс, а на установление границ допустимых научных исследований.
Подобная участь постигла и доктора Пола Томаса, который в 2020 году опубликовал в рецензируемом журнале исследование, сравнивающее показатели здоровья вакцинированных и невакцинированных детей в своей практике. Данные показали, что у невакцинированных детей было меньше хронических заболеваний. Позже исследование было отозвано без серьезного научного опровержения, а медицинская лицензия доктора Томаса была приостановлена. Наказание было связано не с мошенничеством или методологическими недостатками, а с представлением результатов, которые бросали вызов влиятельным интересам.
Подобная цензура не ограничивается громкими делами. Целые категории исследований, ставящие под сомнение фармацевтические продукты, политику в отношении вакцин или доминирующие нарративы в области общественного здравоохранения, регулярно исключаются из публикации. Журналы, тесно связанные с финансированием со стороны промышленности и заботой о репутации, выступают в роли идеологических привратников. Исследования с неудобными результатами незаметно отфильтровываются, в то время как статьи, лояльные к промышленности, проходят через этот процесс.
Рецензирование
Процесс рецензирования в академических журналах — это просто посмешище. Он полон недостатков и предвзятости, позволяющих некачественным исследованиям проходить бесконтрольно, одновременно подавляя работы, бросающие вызов устоявшимся представлениям в отрасли. Вместо того чтобы быть строгим механизмом контроля качества, рецензирование — это сломанная система, которая защищает престиж, прибыль и ортодоксальность в ущерб истине и точности.
Многие рецензенты почти не читают статьи. Некоторые не понимают методологию. Других отбирают потому, что они сочувствуют авторам или разделяют желаемые выводы. В результате получается процесс отбора, который легитимизирует псевдонауку и скрывает неудобные результаты.
Рецензенты не согласны
Рецензенты часто расходятся во мнениях друг с другом, зачастую до такой степени, что их оценки ничем не лучше случайности. Метаанализ согласованности оценок показал, что у коллег‑рецензентов, как правило, низкий уровень согласия при оценке одного и того же исследования (https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0014331). Если рецензенты даже сами не могут прийти к согласию относительно того, что представляет собой хорошее исследование, как мы можем доверять точности или содержательности их оценок?
Экспертная оценка не выявляет очевидную нелепость.
Престижные журналы неоднократно публиковали фальшивые или откровенно бессмысленные исследования, демонстрируя, насколько несовершенен процесс рецензирования. В 2009 году BMJ опубликовал статью о вымышленном заболевании под названием «целло‑скротум» (http://news.bbc.co.uk/2/hi/health/7853564.stm). Авторы представили её в шутку, рассчитывая, что кто‑нибудь ею заинтересуется, но этого не произошло.
В 2013 году журналист отправил заведомо фальшивую статью, изобилующую элементарными химическими ошибками, более чем в 300 журналов (https://www.science.org/doi/10.1126/science.2013.342.6154.342_60). Более половины из них приняли её к публикации.
В процессе рецензирования не удается выявить элементарные ошибки.
Одним из существенных недостатков рецензирования является то, что оно часто не выявляет даже элементарные ошибки в представленных статьях. Многочисленные исследования показали, что рецензенты часто пропускают вопиющие ошибки, и эта неспособность ставит под сомнение надежность процесса.
Один из печально известных экспериментов, проведенный Фионой Годли, редактором BMJ, заключался в том, что в статью, готовящуюся к публикации в журнале, были намеренно внесены восемь ошибок (https://www.annemergmed.com/article/S0196-0644(98)70006-X/fulltext). Затем статья была отправлена 420 рецензентам; из них ответили только 53%, а среднее количество выявленных ошибок составило всего две. Удивительно, но 35% рецензентов вообще не обнаружили никаких ошибок.
В другом исследовании, проведенном Годли в 2008 году, в статью, отправленную 607 рецензентам, было внесено девять серьезных и пять незначительных ошибок (https://pmc.ncbi.nlm.nih.gov/articles/PMC2586872/). Несмотря на вопиющие ошибки, процент их обнаружения оставался крайне низким.
Ещё одна проблема, связанная с рецензированием, — это недостаточная статистическая грамотность среди учёных. Несмотря на свою квалификацию, многие исследователи, в том числе те, кому поручено рецензировать статьи, не до конца понимают ключевые статистические понятия, такие как p-значения, доверительные интервалы и t-критерии. Это непонимание снижает их способность оценивать достоверность результатов исследований.
Например, в исследовании 2015 года 89% эпидемиологов не смогли правильно интерпретировать статистический результат, касающийся противоракового вмешательства, когда значение p превышало 0,05, даже несмотря на то, что этот результат был статистически значимым (https://www.researchgate.net/publication/283175190_Blinding_Us_to_the_Obvious_The_Effect_of_Statistical_Training_on_the_Evaluation_of_Evidence). Аналогично, исследование 2016 года показало, что 84% статистиков не смогли правильно оценить сравнение двух методов лечения (https://amstat.tandfonline.com/doi/abs/10.1080/01621459.2017.1289846). Если даже эксперты в этой области не могут правильно интерпретировать основные статистические результаты, как мы можем ожидать, что рецензенты — которых часто выбирают на основе их экспертных знаний в узкой области — смогут эффективно оценить статистическую обоснованность исследований?
Предвзятость рецензентов
Рецензенты, как правило, отдают предпочтение статьям, которые соответствуют их собственным взглядам или прежним убеждениям. Эта предвзятость приводит к укреплению устоявшихся идей и подавлению новых или спорных исследований.
В исследовании 1977 года ученые обнаружили, что рецензенты оценивали статьи, сообщающие о положительных результатах, соответствующих их собственным убеждениям, как более качественные, в то время как статьи, противоречащие их взглядам, оценивались более негативно (https://link.springer.com/article/10.1007/BF01173636). Аналогично, исследование 1993 года показало, что ученые с большей вероятностью принимали статьи, которые соответствовали их прежним убеждениям (https://www.sciencedirect.com/science/article/abs/pii/S0749597883710447). Предвзятость подтверждения широко распространена в процессе рецензирования. Вместо того чтобы способствовать непредвзятой оценке, рецензирование лишь укрепляет существующее положение вещей.
Импакт-фактор
Престиж научного журнала строится на очень легко поддающемся манипуляциям показателе — импакт-факторе, который измеряет частоту цитирования статей в журнале. Фармацевтические компании используют этот показатель, организуя публикации, написанные «под чужим именем», в которых цитируются ошибочные результаты клинических испытаний, тем самым повышая как собственный маркетинг, так и престиж журнала.
Возьмем, к примеру, New England Journal of Medicine (NEJM) (https://pmc.ncbi.nlm.nih.gov/articles/PMC4046551/). В NEJM были опубликованы результаты испытаний вориконазола компании Pfizer с вводящими в заблуждение выводами, но эти ошибочные исследования цитировались сотни раз в других статьях, многие из которых, вероятно, были написаны самими сотрудниками компании. Эта сеть цитирования искусственно завышала импакт-фактор журнала, повышая его репутацию и распространяя корпоративную пропаганду.
Публикуя и продвигая эти предвзятые исследования, журналы получают прибыль от продажи репринтов, а фармацевтические компании — дополнительную известность своей продукции. Импакт-фактор может отражать скорее влияние отрасли, чем научную ценность.
Настоящая экспертная оценка — это не закулисный процесс утверждения, проводимый безымянными «привратниками» в журналах, контролируемых отраслевыми компаниями.
Реальное рецензирование происходит открыто — на таких платформах, как Substack, X, независимых блогах и журналах открытого доступа, — где любой может читать, критиковать и взаимодействовать с материалом напрямую. Никаких анонимных комиссий или закулисных сделок.
Всё больше исследователей публикуют свои работы в журналах открытого доступа и в препринтах, где результаты исследований находятся в свободном доступе и подлежат общественному контролю. Также растёт давление на учреждения с целью публикации всех результатов, включая отрицательные, а не только тех, которые служат коммерческим интересам.
В отличие от коррумпированных медицинских журналов, поддерживаемых деньгами фармацевтических компаний, настоящая система рецензирования децентрализована и прозрачна. Она процветает там, где идеи получают признание или терпят неудачу на основе их достоинств, а не в зависимости от известных журналов или узких кругов.
Вот почему медицинское сообщество так упорно борется за контроль над интернетом и цензуру инакомыслия — как мы видели во время фальшивой пандемии COVID-19, когда слишком многие начали думать самостоятельно. Если свобода дискуссии будет разрешена, их контроль над информационным пространством, поддерживаемый иллюзией престижа научных журналов, начнет ослабевать.
Заключительные мысли
Любой, кто до сих пор апеллирует к престижу научных журналов как к доказательству научной честности, либо безнадежно доверчив, либо причастен к коррупции.
Арнольд Релман, бывший редактор журнала The New England Journal of Medicine, предупреждал нас об этом еще десятилетия назад:
«Медицинская профессия покупается фармацевтической промышленностью — не только в плане медицинской практики, но и в плане преподавания и исследований. Академические учреждения этой страны позволяют себе быть платными агентами фармацевтической промышленности. Я считаю это позорным».
Он был прав. Коррупция не второстепенна — она имеет фундаментальное значение. Журналы, редакторы, исследователи и учреждения — все оказались под ее влиянием. То, что выдается за «доказательную медицину», зачастую является всего лишь коммерчески мотивированной догмой, замаскированной под научный язык.
Мы должны перестать рассматривать публикацию в научных журналах как заменитель истины. Исследования следует оценивать по их собственным достоинствам — открыто, прозрачно и в каждом конкретном случае. Этот сдвиг уже происходит в децентрализованных пространствах: Substack, X, независимые блоги и платформы открытого доступа, где идеи анализируются публично.
Те, кто всё ещё цепляется за старые иллюзии, сдерживают крах разлагающейся системы.