Я просматривал комментарии на мою первую колонку и нашел очень интересный отзыв. В той статье я рассказывал про «хорошую» науку, и один комментатор расценил мои слова как пиар, мол, у меня «наука хорошая, а у других может быть плохая». Это ценный отзыв и ценное недоумение, потому что, просто введя термин «хорошая наука», проиллюстрировав его частностями, я так и не объяснил, о чем речь.
Вот эта колонка и будет про «хорошую» науку и про «плохую», тем более что у меня появился повод поговорить про это: два моих клиента обратились ко мне за советом по поводу одного очень распространенного детского лекарства, спросили о моем отношении к статье, в которой собраны сведения про это лекарство. Статья опубликована в 2010 году, она представляет собой короткий обзор эффективности и описание областей применения препарата Кортексин. Скажу сразу, мне не интересен этот препарат (почему, я думаю, вам станет понятно позже), я не получаю денег ни от производителей препарата, ни от конкурентов производителя, а про статью я решил рассказать лишь потому, что она мне попалась в руки, и потому, что это прекрасный повод обсудить, что такое плохое наука. Она выглядит солидно, в ней используются сложные и умные словечки вроде «биорегуляция» и «гипертензивная ангиоретинопатия», она подписана именами людей со званиями докторов и кандидатов медицинских наук, в конце есть список литературы из тридцати пунктов, и тем не менее это очень и очень некачественная наука, та самая плохая наука, про которую я писал в первой колонке.
Я расскажу и покажу, почему это так, но сначала я расскажу про то, как наука устроена и почему она вообще может быть качественной и некачественной.
Существует порочное и вредное представление об ученых и специалистах, как о людях, наделенных какими-то особенными, уникальными знаниями, особенными чувствами или опытом. В этом представлении получается, что ученые излагают свои мнение, свое суждение, на основании своих особенных способностей, мудрости и опыта. Мы все время слышим, высказывания вроде «врачи рекомендуют» или «ученые доказали» или «профессор такой-то считает», а следом идет то самое изречение некоторой мудрости, чего-то, что нужно делать или наоборот избегать, чего-то, что полезно или вредно для человека.
Так не работает настоящая наука и практика, это неправильно. В хорошей, настоящей науке важно не столько то, что ученый говорит, важно то, как он пришел к определенному выводу, как он доказывает полезность и эффективность своих убеждений, своих рекомендаций. Плохая наука строится на плохих доказательствах (и даже на их отсутствии), хорошая – на полноценных, качественных, убедительных доказательствах.
Что это за доказательства?
Первое, что приходит на ум, – опыт. Человек может говорить так: «я считаю, что это хорошее лекарство, так как я вижу, что оно работает». Так вот, личный опыт является самым недостоверным подтверждением какого-либо мнения, самым слабым подтверждением. Этому есть несколько причин, но основная – склонность людей ошибаться в процессе наблюдений. Ошибки могут быть разными. Например, человек может забывать о неудачных случаях, может неосознанно игнорировать какие-то данные против его мнения, его выводы могут быть ошибочными (скажем, врач может считать, что его лекарство помогло в развитии речи, а у ребенка речь развилась самостоятельно или благодаря логопеду) и так далее. С этим знаком каждый человек. Мы нередко бываем неправы во многих вещах, меняем свои точки зрения, узнавая что-то новое.
Чтобы избежать ошибок, ученые проводят эксперименты, задача которых подтвердить или опровергнуть гипотезы. Именно экспериментом доказывается то или иное утверждение, а исследованием, клиническим испытанием доказывается эффективность того или иного лекарства.
Все это немного скучные, занудные рассуждения, но в медицине цена таких рассуждений – жизни сотен тысяч людей. Я не утрирую. Самый простой пример – кровопускание, метод лечения, практиковавшийся веками. Он убил больше людей, чем какая-нибудь европейская война, однако врачи упрямо верили в его эффективность, назначая и проводя его снова и снова.
Эксперимент эксперименту рознь, исследования исследованиям рознь. Как любой аргумент, они могут быть хорошими, а могут быть плохими и некачественными.
Что такое хороший эксперимент?
Если кратко, то это такой эксперимент, такое испытание, которое исключает вероятность ошибки, вероятность случайности или совпадения. Конечно, на сто процентов этого нельзя сделать, но можно к этому приблизиться.
Например, в хорошем исследовании будет сравниваться новое лекарство со старым эффективным или новое лекарство с плацебо (плацебо – это то, что выглядит как лекарство или лечение, но на самом деле его не содержит, например, таблетка в которой только сахар, или процедура, выглядящая точь в точь как исследуемый метод, но проводящийся при выключенной аппаратуре). Зачем это нужно? Чтобы удостовериться в том, что новое лекарство работает лучше, чем просто убеждение в том, что тебя лечат, вера в лечение, удостовериться в том, что новое лекарство лучше и безопаснее, чем старое.
Тут я отвлекусь и скажу важную вещь: эффект плацебо (когда ты чувствуешь себя лучше в момент использования лекарства или методики, в которой ничего лечебного нет) – не постыдная вещь, подверженность ему – не признак слабости или внушаемости. Эффект плацебо – свидетельство удивительной силы человеческого мозга, удивительного влияния мозга на тело, на его болезни. При самых тяжелых ситуациях, при самых страшных заболеваниях эффект плацебо может быть очень высоким и заметным, это просто поражает воображение. Кстати, он бывает и у маленьких детей (про это я написал маленькую статью).
Вторая задача заключается в том, чтобы врачи и сами пациенты не знали, какое лекарство они принимают – настоящее или пустышку. Такое знание может сводить на нет весь эксперимент, врач может (вольно или невольно) лучше оценивать тех, кто получает настоящее лекарство, сам пациент может больше жаловаться, зная, что его по-настоящему не лечат. Этот процесс называется «ослеплением», отсутствие ослепления в исследовании сильно снижает достоверность результатов.
Третья задача заключается в том, чтобы измерять то, что важно и нужно. Звучит очень наивно, но на самом деле, это то, как фармацевтические компании подтасовывают результаты исследований, делая так, что их лекарство выглядит лучше, чем оно есть. Например, фармацевтическая компания может утверждать, что лекарство хорошо лечит депрессию или снимает головную боль, доказывая это исследованием, в котором измеряется какой-нибудь лабораторный показатель, а не изменение собственно самочувствия. В такой ситуации кажется, что лекарство работает хорошо (оно же чего-то делает, чего-то меняет!), но в действительно совсем непонятно, влияет ли оно на то, что нам нужно.
Еще одна задача заключается в том, чтобы сделать группы исследуемых людей похожими, ведь, например, можно устроить так, что в группу, в которой будут давать исследуемое лекарство, наберут людей с более легкими формами болезни, а в группу плацебо с более тяжелыми. Конечно, в итоге получится, что лекарство будет выглядеть хорошо, а плацебо хуже. Чтобы избежать этого, в группы распределяют специальным случайным образом, при помощи компьютерных программ, при помощи людей, никак не связанных с исследователями. Этот процесс называется рандомизацией.
Все что я описал здесь – очевидные для каждого современного врача или ученого вещи. Если их суммировать в нескольких предложениях, то получится так – в принятии решений нельзя опираться на свой опыт, нужно проводить эксперименты и испытания, эти испытания нужно делать как можно более достоверными. Чем лучше испытание, чем оно лучше устроено, тем больше его выводам можно доверять, чем оно хуже, тем меньше на него можно опираться.
Именно поэтому, когда публикуется какая-то работа, результаты исследования, ученые, врачи начинают его… критиковать. Исследование рассматривается, обсуждается, разбирается на части, это нормальный процесс, это то, что обязательно нужно делать. Для чего? Для того, чтобы понять можно ли его результатам доверять.
А теперь давайте посмотрим на статью, про которую я хочу вам рассказать. Вывод этой статьи, несколько двусмысленно сформулированный, все же категоричен – «высокие терапевтические свойства Кортексина делают его препаратом выбора». У кого и где – не написано, но чуть выше указано, что некоторые свойства (заметьте, что не эффективность!) определяют «все больший спектр возможностей для применения этого препарата … начиная с периода новорожденности и до старческого возраста». Иными словами, Кортексин – хорошее лекарство для детей и взрослых, но почему-то в выводах не указано для каких заболеваний. Просто какое-то полезное средство.
Хорошо, давайте посмотрим на то, как авторы доказывают свое мнение. Для удобства, я разделю все их утверждения на несколько групп.
- Мнение и опыт коллег. Например, мнением профессора или мнением выступавших докладчиков на конференции. Мы с вами знаем, что мнение – самая низшая степень достоверности, люди (даже самые умные) могут быть уверены в ошибочных вещах, от чего не защищает ни опыт, ни звания, ни признание другими.
- Ссылки на работы, содержание которых недоступно. Я не смог найти и прочитать многие из работ, на которые ссылаются авторы. Их нет в интернете, нет в общедоступных электронных медицинских библиотеках. Казалось бы, двадцатый век, интернет, достижение в медицине, коммерческая выгода от распространения препарата и, соответственно, заинтересованность в том, чтобы доказательства его пользы были всем доступны… но нет. Почему-то эта информация скрыта. Это 9 ссылок из 30, почти треть. В этих работах могло быть написано что угодно, например, то, что Кортексин не помогает или даже вредит, они могли быть неточными, но узнать это не получится.
- Ссылки на обзоры, подобные своим. То есть фактически цитируют такие же пространные размышления о том, что это хороший препарат. Почему это неправильно? Просто потому, что если одну мысль написать или повторить много раз, она от этого не становится правильной, верной. Мысль, гипотеза должна быть доказанной, а повторы доказательствами не являются.
- Ссылки на исследования, испытания. А вот это уже серьезно, это хорошо. Мало того, исследования (которые были доступны) можно было прочитать и оценить. В основном эти исследования касались лечения эпилепсии в разных группах пациентов, оценивалась способность влиять на приступы, на дополнительные симптомы. Каждое из клинических исследований имело серьезные методологические проблемы – в каких-то не было контрольной группы (то есть не было сравнения с теми, кто не получал лечение или получал бы плацебо), в каких-то если была контрольная группа, то она не получала плацебо, в каких-то не было описано как скрывалась информация от оценивающих врачей и как распределялись люди в группы, то есть то, как проводилась рандомизация. Иными словами, все эти исследования были слабыми, предварительными, такими, на которых нельзя было бы окончательно делать выводы.
- Особо я хочу рассказать про последнюю ссылку, венец этой работы, этого обзора. Рассказывая про это исследование, опубликованное в европейском журнале на английском языке, авторы с гордостью говорят, что эта последняя публикация «указывает не только на эффективность … с позиций доказательной медицины, но и на международное признание этого российского препарата». Авторы описывают, что в этой работе был подтвержден анксиолитический эффект (то есть снятие тревожности) и отсутствие побочных реакций. Заинтригованный, я бросился смотреть эту работу, легко нашел ее полный текст и обнаружил, что это… исследование эффективности Кортексина у мышей!
Вот к чему мы пришли. Есть утверждение, которое я привел в начале. Утверждение о том, что лекарство, которое исследователи описывают в своей работе, очень хорошее, «препарат выбора» – ни много ни мало. Для иллюстрации своих утверждений авторы приводят что угодно, но только не качественные исследования и работы. Это та самая плохая наука, о которой я писал в первой колонке, наука, основанная на мнении, на подтасовке, искажении информации. Выглядит все это солидно, но на проверку (очень простую, поверхностную) все эти утверждения оказываются пустышкой.
Напоследок, я посоветую тем, кому эта тема интересна (а мне кажется, что она может быть интересна всем, ведь все мы иногда лечимся), посмотреть короткое сообщение обаятельного английского врача-эпидемиолога Бена Голдейкера (Ban Goldacre). Он много рассказывает про плохую науку, ведет колонки, пишет книги про это. И это действительно очень важно.
