В интернете кто-то неправ!
Научные исследования спорных вопросов

Я убеждена, что мир был бы гораздо лучше, если бы подкрепление любых своих утверждений ссылками на научные исследования превратилось бы в общепринятую норму, в золотой стандарт во время любого холивара. Чтобы любой человек, делающий громкие заявления, немедленно сталкивался бы с вежливой просьбой подкрепить их ссылками на авторитетные источники — и чтобы никто из читателей не воспринимал его слова всерьез в случае неспособности это сделать. Для этого нужно, чтобы как можно больше людей понимало, чем в принципе отличаются научные источники от ненаучных и как эти научные источники искать.

Если совсем коротко, то разница в том, что в научном журнале гораздо сложнее опубликовать ерунду. Если я напишу текст о том, что держать дома ежиков опасно, потому что это вызывает бронхиальную астму, и попытаюсь пристроить его в научно-популярный журнал (или в собственную книжку), то редактор, конечно, удивится. Посмотрит в Википедию, увидит, что там в статье про астму среди факторов риска ежики не упоминаются. Спросит меня, откуда я вообще это взяла. На этом месте я сделаю умный вид и скажу, например: «Мне рассказал об этом ученый Джон Смит в частной беседе!» Если редактор очень въедливый и очень дорожит репутацией журнала (или издательства), то он, конечно, все равно скажет, что часть про ежиков надо выкинуть, раз уж я не могу сослаться на нормальный источник (хотя бы на опубликованную статью того же Джона Смита). Но если у редактора на этой неделе еще десять таких же психов, как и я, и при этом он понимает, что мой текст важен, потому что иначе пустая полоса в журнале подвисает, да и вообще меня читают хорошо, — то он плюнет и опубликует статью вместе с ежиком и астмой, небезосновательно полагая, что это мои личные репутационные риски. А вот в научный журнал мне с моими ежиками соваться бессмысленно изначально и было бы бессмысленно, даже если бы я была профессором Гарварда. Редактор научного журнала (как правило, профессиональный ученый) в принципе согласится со мной разговаривать о ежиках, только если в статье будет описано проведенное исследование или ссылка на данные, которые уже были опубликованы в научном журнале. Допустим, мы с коллегами провели исследования и наша статья состоит из двух частей. Во-первых, мы сравнили 1000 владельцев ежиков с 1000 свободных от ежиков людей и обнаружили, что в первой группе за время содержания ежиков заболели астмой 246 человек, а во второй группе за аналогичное время только 100 человек. Во-вторых, мы идентифицировали в кожных выделениях ежиков мелкодисперсный компонент, который назвали ежикастмином, и установили, что в концентрации 2 мг на литр выпитой воды он повышает вероятность развития астмы у подопытных крыс на 146%. Однако тот факт, что редактор согласится со мной и моими коллегами разговаривать, еще не означает, что статья будет опубликована. Потому что научные журналы — это рецензируемые журналы. Любую статью, которая туда поступает и не была отвергнута на первом этапе, редактор отправляет рецензентам. В этой роли выступают ученые, которые занимаются исследованиями в близких областях, — в данном случае это может быть, например, специалист по влиянию домашних животных на развитие астмы и специалист по кожным выделениям ежиков. Первый скажет: «Видовая принадлежность животных тут вообще ни при чем, просто любые звери наводят беспорядок и поднимают в воздух тонны пыли, которая может усугублять течение астмы». Второй скажет: «Этот ваш ежикастмин, судя по описанию, не что иное, как фрагменты иголок, как вы вообще додумались их в воду добавлять?» Статью с такими замечаниями не опубликуют, в лучшем случае отправят на доработку: сравнивать владельцев ежиков с владельцами других домашних животных и пробовать поить крыс водой с примесью любых других маленьких твердых частиц, а заодно доказывать, что в результате совместной жизни человека с ежом эти частицы в принципе попадают в питьевую воду. Другими словами — ставить эксперименты не так, чтобы доказать гипотезу, которая нам нравится, а так, чтобы честно попытаться ее опровергнуть и судить о ее перспективах по успеху этого мероприятия.

Разумеется, система рецензирования не дает абсолютной гарантии, что в журнал никогда не просочится ерунда. Такое исследование может показаться рецензентам вполне корректным, и они его пропустят. Дальше есть два варианта: если это мелкое и неважное исследование (или исследование, чьи результаты хорошо согласуются с уже известными данными), то на этом история и закончится. Но если исследование яркое и удивительное, то после его выхода приключения только начинаются.

Во-первых, до публикации описание эксперимента прочитали всего лишь два-три специалиста (авторам работы, впрочем, в большинстве случаев не сообщают их имена, так что найти и подкупить их невозможно), а вот после публикации исследование будут читать сотни ученых, работающих в той же области. Они не поленятся написать в редакцию, если увидят в статье грубые методологические ошибки, нарушение правил статистической обработки данных или еще какие-то проблемы. Лавина обоснованной критики может привести и к отзыву статьи, причем относительно быстрому, в течение года-двух. Это означает, что статья сохраняется на сайте журнала, но перечеркнута яркой надписью RETRACTED и где-то рядом есть ссылка на пояснение: что случилось и почему уже опубликованную статью признали недостоверной. Так произошло, например, со статьей Сералини про то, что генетически модифицированная кукуруза якобы вызывает опухоли у крыс (см. соответствующую главу). А могут не отозвать статью, но дополнить ее страницу на сайте журнала ссылками на критические разборы экспертов, чтобы все читатели знали, почему к этим данным следует относиться с осторожностью. Во-вторых, многие научные группы, заинтересованные в той же тематике, попытаются воспроизвести результаты исследователей-первопроходцев. Они будут ставить такие же эксперименты; будут ставить похожие эксперименты с изменениями в деталях; будут искать взаимосвязь между ежиками и астмой какими-то альтернативными методами. Если будет проведено множество тщательных исследований на больших выборках и ни у кого не получится найти никакой связи даже близко (и кроме того, будут существовать сомнения в том, что первоначальная работа была выполнена корректно), это может привести к тому, что журнал отзовет статью уже лет через десять после публикации — так произошло с исследованием Уэйкфилда про связь между прививками и аутизмом (эта история тоже есть у меня в книжке). Наконец, возможна ситуация, когда в разных исследованиях одной и той же проблемы получились не вполне совпадающие или даже противоречащие друг другу результаты. Это довольно часто бывает — мало ли у кого какие мелкие отличия в выборках и методиках. Здесь спасают систематические обзоры и метаанализы — работы, авторы которых собирают в кучу 50 исследований одной и той же проблемы и формулируют общие выводы. Это практически всегда более достоверный источник, чем любая отдельно взятая исследовательская работа.

Важно осознавать, что именно публикация в рецензируемом журнале — это элементарная единица нового научного знания. Абсолютно все остальные формы представления информации менее надежны. Официальные отчеты всяких серьезных организаций типа ООН — это ценнейший источник статистических данных, но даже при их чтении стоит держать в голове, что выводы рождены внутри организации под влиянием ее политики и не верифицировались независимыми исследователями. В университетском учебнике автор может недостаточно четко провести границу между тем, что доказано в лабораторных экспериментах, и тем, что просто выглядит логичным, а рецензенты учебника могут быть его друзьями и смотреть на лирические отступления сквозь пальцы (конечно, когда там нет чего-то откровенно сомнительного). В выступлении на конференции ученый может акцентировать яркие стороны своего исследования и умолчать о тех серьезных проблемах, с которыми столкнулся. В интервью он тем более может запросто это сделать. Полет фантазии научного журналиста не сдерживает ничто, кроме опасений за профессиональную репутацию (она трудно и долго формируется, легко разрушается и очень сильно влияет на карьерные перспективы). У обычного журналиста, который берется писать о науке, нет и этого: количество кликов и перепостов, как правило, интересует его редактора гораздо сильнее, чем достоверность опубликованной информации. То есть существует некая иерархия источников по степени достоверности, в которой статьи в рецензируемых журналах стоят особняком, на первом месте, с большим отрывом от любых других типов публикаций. И по-хорошему любой приличный человек, который хочет не просто поругаться в интернете, но и разобраться в том, как все устроено, должен ссылаться в первую очередь на них.

А теперь у меня для вас очень плохая новость. Я не могу предложить универсального критерия демаркации, абсолютно точного способа отличать надежную научную публикацию от ненадежной, такого, чтобы он никогда не приносил ни ложноположительных, ни ложноотрицательных результатов. Существуют хорошие научные журналы, существуют ненаучные журналы, и существует серая зона — журналы, которые выглядят как научные, относятся к категории научных по ряду формальных признаков, но в которые при этом можно пропихнуть сомнительное, недостоверное, невоспроизводимое исследование. Человек со стороны никогда не может быть полностью уверен в том, что публикация качественная, и редко может быть полностью уверен в том, что она некачественная. Есть, впрочем, ряд критериев, которые существенно повышают вероятность того или иного исхода.

Естественно, на сайте журнала должны быть волшебные слова peer-reviewed, которые означают, что статьи проходят процесс рецензирования другими учеными. Издание должно быть внесено в авторитетные международные библиографические базы данных, такие как Scopus, Web of Science, MEDLINE, о чем оно обычно само с гордостью сообщает где-нибудь на видном месте, а главное — его можно найти с помощью соответствующих поисковых систем. У научной статьи всегда есть DOI — уникальный цифровой индекс, который позволяет однозначно идентифицировать издателя и саму статью (но если он есть, это никак не гарантирует, что статья научная). Экспериментальные работы всегда оформлены примерно одинаково — выходные данные, заголовок, список авторов с указанием их мест работы, абстракт (краткое содержание статьи), введение, материалы и методы, результаты, обсуждение, часто ссылка на дополнительные страницы с информацией о работе, которая не влезла в публикацию. И самое главное — всегда, всегда, всегда в конце есть список использованной литературы, который также состоит из научных статей. Вот если списка литературы нет, то не может быть никаких сомнений: этот материал точно не является научной статьей. О чем можно говорить с автором, который не знаком с другими исследованиями в своей области? Обратное неверно: в моих текстах, как правило, множество ссылок на хорошие источники, но в качестве научных работ они, разумеется, рассматриваться не могут*.

Если мы предполагаем, что какая-то публикация является научной статьей из рецензируемого журнала, это уже хорошо. Но насколько серьезно стоит ее воспринимать? Есть ряд косвенных, почти интуитивных признаков, позволяющих оценить вероятность того, что текст качественный. Некоторые из них я уже упоминала по ходу книжки. Чем больше выборка — тем выше шансы на то, что авторы пришли к верным выводам. Попытка найти корреляции между миллионом вещей сразу — плохой признак, потому что при таком подходе их нетрудно найти случайно. Двойное слепое плацебо-контролируемое исследование лекарственного препарата всегда надежнее, чем любой другой метод изучения его эффективности. Если авторов у статьи несколько, то это обычно лучше, чем если автор один (потому что они друг друга дополнительно предостерегают от ошибок). Чем больше времени прошло с момента публикации статьи, тем выше вероятность, что по этому вопросу уже получены дополнительные данные, всегда полезно это проверить. Чем больше статью цитировали другие ученые, тем больше шансов, что она важная и значимая; правда, этот критерий неприменим к статьям, которые вышли недавно, потому что те, кто будет их цитировать, еще не успели опубликовать свои исследования. И вообще всё это косвенные признаки, для которых нетрудно найти контрпримеры.

Самый лучший формальный критерий, позволяющий сделать достаточно обоснованное предположение о качестве научной статьи даже прежде, чем вы начнете ее читать, — это рейтинг журнала, в котором статья опубликована. У обыкновенных журналов, с барышнями на обложке, рейтинг определяется числом читателей, что неизбежно приводит к стремлению публиковать тексты яркие, удивительные и провокационные. А у научных журналов рейтинг определяется числом цитирований в других исследовательских работах, что приводит к стремлению публиковать статьи надежные и достоверные, чтобы достойным людям не было стыдно на них ссылаться. Численная характеристика крутости журнала называется импакт-фактор, IF. Это отношение числа цитирований этого журнала к общему числу опубликованных в нем статей. Рассчитывается так: если в 2013–2014 годах условный журнал «Секреты свиноводства» опубликовал 100 статей, а в 2015 году эти статьи были в общей сложности процитированы в других научных журналах 500 раз, то импакт-фактор «Секретов свиноводства» за 2015 год составит 500/100 = 5. Понятно, что на эту цифру влияет не только значимость статьи для науки, но и ее тематика — описания методов и обзорные исследования получают в среднем больше ссылок, чем экспериментальные работы, а модные темы типа исследований рака получают в среднем больше ссылок, чем исследования, скажем, почечной недостаточности. Однако за неимением лучшего, сравнивая два журнала, стоит ориентироваться именно на их импакт-факторы. Хотя бы потому, что при наличии выбора все исследователи хотят публиковаться в журналах с большим IF и первым делом отправляют свои статьи именно туда. Если редакция журнала считает, что статья хорошая, и рецензенты тоже так считают, то статью публикуют. Если же нет, то в публикации отказывают — и уже только после этого бредут незадачливые ученые, солнцем палимы, в журнал с низким импакт-фактором, который на безрыбье согласен смотреть на недостатки работы сквозь пальцы. Вот некоторые примеры журналов, которые (в абсолютном большинстве случаев) публикуют качественные статьи: Nature (IF=41,5), Science (31,5), The Lancet (39,2), The New England Journal of Medicine (55,9), Cell (32,2). Для сравнения, журнал Homeopathy, публикующий исследования гомеопатических препаратов, может похвастаться импакт-фактором 0,76. В случае Journal of Acupuncture and Meridian Studies, к которому я была вынуждена обратиться в связи с попытками научно объяснить рефлексотерапию, импакт-фактор, кажется, вообще не оценен официально. Но по расчетам издательского дома Elsevier, выпускающего этот журнал (а также ряд приличных), индекс цитирования составляет 0,93. То есть в обоих случаях получается, что почти на каждую статью, публикуемую в этих, мм, рецензируемых научных журналах, кто-нибудь один все-таки ссылается. Рекомендую послушать на YouTube песенку «Радость взаимного цитирования».

Как обстоят дела в России? Тренд положительный: прямо сейчас активно обсуждается радикальное сокращение перечня ВАК — списка журналов, публикации в которых учитываются при присуждении ученой степени (наряду с публикациями в западных рецензируемых журналах). По-видимому, к концу 2015 года в нем останется около 300 самых приличных журналов. Но пока я пишу этот текст, в перечень ВАК все еще входят 2269 изданий на русском языке, и ситуация была примерно такой в течение многих лет. Оценивают их авторитетность обычно с помощью Российского индекса научного цитирования, который, впрочем, рассчитывается аналогично импакт-фактору. По данным научной электронной библиотеки Elibrary.ru, у абсолютного российского рекордсмена, журнала «Авиационные материалы и технологии», индекс цитирования составляет 6,98. Среди журналов, которые библиотека относит к медицинским, первое место в рейтинге занимает «Суицидология» с индексом цитирования 4,27. Всего среди российских 2269 официально признанных научных журналов насчитывается 17 изданий с индексом цитирования больше двух и 104 издания, чей индекс цитирования превышает единицу (то есть на каждую опубликованную в них статью ссылается в среднем хотя бы один исследователь). Это, в принципе, нормальная ситуация для любых неанглоязычных журналов (если у вас есть хорошие данные, то вы опубликуете их на английском, потому что это международный язык науки). Но это означает, что к любой публикации не на английском нужно относиться с осторожностью и гуглить базы поиска по научным статьям нужно, все-таки используя общепринятый язык.

You probably think that you have to speak English fluently to read scientific papers, but in fact if you understand this sentence, your level is good enough. Даже если вам некомфортно читать на английском, все равно лучше понять со словарем хотя бы абстракт статьи из Nature, чем подробнейшим образом ознакомиться с публикацией по той же теме из условных «Секретов свиноводства». Просто потому, что в Nature, скорее всего, опубликована хорошо обоснованная информация. А в «Секретах свиноводства», с высокой вероятностью, нет.

Каким образом нормальный человек без навыков академической работы может найти научную статью по интересующему его вопросу? Для этого нужно воспользоваться специализированной системой поиска по научным статьям. К сожалению, некоторые из них требуют регистрации и подтверждения принадлежности к научным организациям. Человеку с улицы разумно использовать две поисковые системы: PubMed и Google Scholar. Первая индексирует журналы, входящие в базу данных MEDLINE, то есть полезна прежде всего для поиска статей по медицине и смежным областям. Вторая индексирует вообще всё, что Google по каким-то причинам посчитал научными текстами (даже мою первую книжку!), соответственно, требует более критического подхода, зато приносит больше информации. В обеих системах есть много удобных фильтров, но, насколько мне известно, нет возможности сортировать статьи по числу цитирований или по импакт-фактору журнала, так что это все-таки приходится оценивать самостоятельно. Для того чтобы вводить поисковый запрос, полезно представлять, как именно называется в академической среде интересующий вас феномен. Иногда это приходится делать методом перебора разных вариантов, иногда помогает внимательное прочтение английской Википедии по соответствующей тематике (она, кстати, сама часто ссылается на важные исследования), иногда стоит попробовать сначала ввести запрос в обычной поисковой системе и посмотреть, какие синонимы она предлагает. Скажем, когда я писала вступление к главе про вегетарианство и хотела найти, сколько времени тратят на питание гориллы и шимпанзе, я довольно долго и мучительно билась с разными запросами, пока не осознала, что нужно использовать словосочетание time budget (или activity budget) и тогда всё находится мгновенно.

Итак, вы нашли статью, похожую на то, что вам нужно. И вы сталкиваетесь с тем, что абстракт-то вы прочитать можете, а вот полный текст закрыт от посторонних, и за него необходимо заплатить 20–30 долларов. В общем-то, если вы точно уверены, что вам нужно именно это исследование, вы можете его и купить как честный человек. Но полезно знать, что это не единственный возможный вариант. Дело в том, что цели научного журнала и публикующихся в нем авторов не всегда совпадают: издательство хочет, чтобы за статью платили, а авторы, как правило, сильнее заинтересованы в том, чтобы статью читали и цитировали. Поэтому очень часто они сами выкладывают копию статьи в каком-нибудь другом месте, например на сайте своей лаборатории. А поисковая система Google Scholar умеет находить все версии статьи, все сайты, на которых она выложена, — и среди них с высокой вероятностью будут и такие, где текст есть в открытом доступе. Просматривая список ссылок, обращайте внимание на пометку [PDF] в правой части экрана.

Кроме того, чаще всего вам нужна не конкретная статья профессора Смита, а любое нормальное исследование на занимающую вас тему. В этом случае можно сразу искать только статьи, выложенные в открытый доступ, — в поисковой системе PubMed есть для этого специальная галочка. Правда, при таком подходе нужно особенно внимательно смотреть на импакт-фактор найденных журналов: не всегда, но часто выкладывание статей в открытый доступ продиктовано именно тем, что импакт-фактор слишком маленький и журнал таким образом стремится его наращивать.

Если у вас есть доступ к компьютерам серьезного университета, то проблем c поиском полного текста статьи у вас и не возникнет: у них есть подписка на существенную часть научных изданий. Если доступа нет у вас, то он наверняка есть у ваших знакомых — можно просто попросить вытащить вам полный текст, и если делать это не слишком часто, то вам наверняка помогут. Кроме того, подписка на научные журналы есть во многих крупных библиотеках (и компьютеры там тоже уже есть — сообщаю на тот случай, если вы последний раз ходили в библиотеку в школе). А еще есть специальный сайт, который использует университетские прокси, чтобы скачивать научные публикации и делиться ими со всеми страждущими. По мере того как люди жертвуют деньги на его развитие, в базе данных накапливается все больше и больше доступных полнотекстовых статей. У меня не хватит решимости назвать его адрес, потому что если с ним вдруг после этого что-нибудь случится, то меня возненавидит абсолютно все научное и научно-журналистское сообщество. Но вы можете спросить дружественных ученых, они наверняка знают.

Вообще, по моим ощущениям, открытых научных текстов с каждым годом становится все больше, больше и больше. Когда я училась в университете, было очень сложно найти просто любую научную статью, чтобы читать ее на уроках английского. В основном, конечно, это было связано с моими плохими поисковыми навыками, но едва ли полностью объяснялось ими. Когда три года назад я писала свою первую книжку, в открытом доступе было процентов двадцать нужных мне источников. Работая над этой книжкой, я пыталась во всех тех случаях, когда мне не была принципиально важна какая-то конкретная научная статья, выбирать источники, которые вы потом сможете найти в открытом доступе, чтобы меня перепроверить. Так что в моем нынешнем списке литературы более половины полнотекстовых статей могут быть найдены без всяких хитростей, просто в Google Scholar.

Я предполагаю, что после публикации этой книги появится довольно много людей, которые отреагируют на нее эмоционально и захотят мне возразить. Это послесловие написано в значительной степени для того, чтобы им помочь. Единственный способ конструктивно спорить с человеком, который ссылается на научные статьи, — найти другие научные статьи, с противоположным смыслом, причем в более авторитетных журналах и с более крупными выборками. Как вариант, внимательно прочитать те статьи, на которые ссылается собеседник, и доказать с помощью конкретных цитат, что он совершенно неправильно все пересказал. Если моя книжка подвигнет какого-нибудь возмущенного читателя глубоко погрузиться в чтение научных публикаций ради того, чтобы аргументированно доказать, что я ничего ни в чем не понимаю, — это будет отличный результат, он меня полностью устроит. Даже в том маловероятном случае, если этот человек достигнет успеха и не оставит от моей книжки камня на камне.

Существует не так много вещей, в которые я верю без ссылок на источники, но вот одна из них: я верю, что навыки поиска и анализа научной информации необходимы каждому человеку. Я верю, что сама привычка к интеллектуальной деятельности меняет мозг в правильном направлении, формирует такие нейронные сети, с которыми гораздо сложнее быть не только глупым, но и злым или несчастным, скучающим или напуганным — просто потому, что мир становится понятнее, а значит, безопаснее и интересней. Человек, привыкший самостоятельно работать с источниками, становится менее восприимчивым к любым манипуляциям, будь то эмоциональный шантаж или политическая пропаганда. Человек становится более дружелюбным, потому что привыкает интересоваться разнообразием окружающего мира. Человек чувствует себя более уверенно и меньше тревожится, потому что способен структурировать хаотический поток информации, узнавать в нем знакомые фрагменты и сопоставлять разрозненные факты с известными закономерностями и моделями. Жизнь становится более безопасной, потому что чтение научных статей дает возможность объективно оценивать разнообразные риски, с которыми сталкивается человек. Знания повышают коммуникативную ценность — способность вспомнить в разговоре релевантное научное исследование впечатляет ваших собеседников (и собеседниц) гораздо сильнее, чем даже способность вспомнить смешной анекдот. И наконец, постоянное поглощение научной информации делает человека более счастливым, потому что позволяет в полной мере осознать, в какое потрясающе интересное время удалось родиться, почувствовать себя в какой-то степени причастным к научному прогрессу. Мы живем в XXI веке, тут и роботы, и коллайдер, и генная терапия рака, и метаматериалы, и беспилотники, — и живые люди, которые все это делают и регулярно об этом рассказывают. Можно все что угодно найти и во всем разобраться. Обычно это помогают делать научные журналисты, но мне искренне хотелось бы, чтобы наша роль была вспомогательной, а не ключевой, чтобы люди были склонны разбираться во всех интересных им темах самостоятельно, опираясь на научные источники, и только для первичного знакомства с совершенно новыми областями обращались бы к популярным пересказам. Чтобы люди были склонны сомневаться в той информации, которую они получают, и не испытывали бы серьезных трудностей при попытках ее перепроверить. Мне представляется, что общество, в котором принято критически относиться к любой поступающей информации, добилось бы невероятного успеха и процветания — хотя бы благодаря осмысленному распределению ресурсов. Я не уверена, что такое общество в принципе возможно построить, учитывая нашу всеобщую склонность к разнообразным когнитивным искажениям, а также то обстоятельство, что учиться бывает скучно и это всегда занимает кучу времени. Но если хотя бы один человек, прочитавший мою книжку и не нашедший в ней ответов на те вопросы, которые интересовали именно его, пойдет искать эти ответы в научных статьях — я уже буду знать, что написала ее не зря.

* Дело не в том, что я пишу относительно легким языком, и даже не в том, что я не провожу собственных исследований, а пересказываю чужие. Мои тексты не являются научными, потому что не проходят процесс научного рецензирования. Конечно, я показываю их специалистам, но, во-первых, я сама их выбираю, а во-вторых, именно за мной остается право решающего голоса — какие правки учитывать, какие нет. Рецензенты не могут влиять на то, будет ли книжка напечатана в существующем виде. А если бы это была научная книжка — могли бы. Именно здесь проходит водораздел.