Возможные смещения при оценке эффективности лечения методом доказательной медицины в серийных исследованиях

Введение

Специалисты уже много лет говорят о необходимости создания подобных структур в России, а также о важности развития доказательной медицины для всей системы здравоохранения. Еще в 2005 году на Международном совещании на базе ММА им. И.М. Сеченова его участники сочли необходимым «просить Министерство здравоохранения и социального развития РФ рассмотреть вопрос о возможности создания структуры по оценке медицинских технологий». Также отмечалось, что, используя принципы доказательной медицины, можно более рационально расходовать ресурсы общественного здравоохранения, то есть создавать более эффективную систему здравоохранения по сравнению с существующей [7].

Подходы к медицинской практике и общественному здоровью, основанные на научных доказательствах (доказательная практика) не имеют рациональной альтернативы. Тем не менее, они имеют свои слабые места. Эти слабости не означают ущербности по сравнению с другими подходами. Они лишь означают, что наличными средствами надежность решений, обосновываемых научными данными, может быть относительно низкой.

Для некоторых, основных случаев обоснования решений, уже найдены достаточно эффективные методы работы. Так, например, для случая отсутствия больших доброкачественных испытаний эффективности и безопасности вмешательств была разработана методика мета-анализа. Результат каждого отдельного исследования может отличаться от истинного результата вмешательства в силу случайных или систематических ошибок при проведении исследования. Объединяя в мета-анализ результаты нескольких независимых исследований, мы снижаем влияние случайных ошибок, а в некоторых случаях и систематических смещений.

Согласно современным представлениям о доказательной медицине мета-анализ нескольких исследований считается медицинским утверждением, обладающим наибольшей доказательной силой по сравнению с отдельными исследованиями или экспертными мнениями. Но в силу ряда причин проведение мета-анализа также имеет свои ограничения. Во-первых, разные исследования одного и того же вмешательства могут опираться на разные конечные точки, поэтому их результаты будут несопоставимы между собой. Во-вторых, не для всех вмешательств можно найти даже два исследования, которые бы можно было бы включить в один мета-анализ. Такая проблема остро стоит для редких вмешательств, например, лечения орфанных заболеваний, когда количество потенциальных участников исследований невелико в силу небольшого количества пациентов. Кроме того это актуально и для новых препаратов и вмешательств, с которыми еще не провели достаточного для мета-анализа количества исследований. В-третьих, присутствующее в медицинской периодике публикационное смещение может сказаться на результатах мета-анализа и привести к их отклонению от истинного значения эффекта вмешательства.

Публикационное смещение, кроме влияния на результаты мета-анализов, также само по себе является одним из изъянов методов, применяемых в доказательной медицине для научного обоснования принятия решений. Также как несовершенство методов, используемых доказательной медициной, можно рассматривать проблемы, связанные с недостаточной фиксацией и преуменьшением побочных явлений в исследованиях. При современных подходах к проведению исследований, анализу их результату и алгоритмах принятия решений (учитывая бенефициаров этих решений) проявляется тенденция к рекомендации лишних вмешательств, в которых у пациента не было необходимости. Подсчет размера побочных эффектов от совершения необоснованных вмешательств по сравнению с невмешательством затруднен. Публикационное смещение традиционно учитывается при составлении систематических обзоров и мета-анализа с помощью воронкообразного графика, который позволяет с некоторой долей субъективности, вынести суждение о наличии или отсутствии публикационного смещения по данной проблеме, а также, иногда о степени его выраженности.

Существует сложность и в самих вмешательствах. Если вмешательство является чем-то более сложным, чем прием пациентом таблетки, то провести вмешательство можно по-разному. Замечено, что разные исследователи, используя одни и те же термины для описания вмешательств в публикациях, на самом деле могут производить с пациентом достаточно отличающиеся друг от друга действия. Сравнение результатов двух таких различных исследований может быть некорректным.

В данной работе также рассматривается еще одно возможное слабое место в применении принципов доказательной медицины. При проведении серийных исследований одного вмешательства (например, нового лекарственного препарата) возможна ситуация, когда «положительный» результат исследования, то есть статистически значимые различия между контрольной и экспериментальной группами будет являться не истинным значением эффекта, оказываемого данным препаратом, а следствием ошибки первого рода. Чем больше исследований проведено, тем больше вероятность, что хотя бы одно из них будет результатом этой ошибки. Как описывалось выше, в случаях проведения нескольких сходных исследований одного и того же вмешательства, в последствии с ними можно произвести мета-анализ, который сможет продемонстрировать отсутствие статистически значимых различий по суммарному результату нескольких исследований. Но, если исследования одного и того же препарата проводить при разных заболеваниях или состояниях, или на разных популяциях, не поддающихся сравнению, или использовать для измерения эффекта вмешательства разные конечные точки, проведение мета-анализа исследований окажется невозможным. В таком случае исследование, которое изначально являлось результатом ошибки первого рода, может стать доказательной основой для подтверждения несуществующей в реальности эффективности вмешательства.

При принятии организационных и экономических решений в области здравоохранения, опираясь на строгие научные методы, необходимо понимать и учитывать их возможные слабые стороны. Поэтому изучение возможных несовершенств, которые могут возникнуть при принятии решений, основанных на строгих научных методах, применяемых в доказательной медицине, на уровне систем здравоохранения является важной составляющей организации здравоохранения. Организационные и экономические решения, принятые под влиянием смещенных результатов исследований, могут приводить к нерациональному расходованию средств. Ограниченные средства системы здравоохранения могут быть выделены на предоставление неэффективного медицинского вмешательства, нередко дорогостоящего, в ущерб эффективным и необходимым медицинским вмешательствам. На основе публикационного смещения и ложноположительных результатов клинических испытаний число медицинских вмешательств, которые будут рассматриваться как вмешательства с доказанной эффективностью, может постоянно расти, даже если не будет обнаруживаться ни одного нового действительно эффективного вмешательства.

Целью данного исследования является анализ возможных смещений при оценке эффективности медицинских вмешательств, выявляемых в серийных исследованиях, а также предложение путей решения для важнейших проблем, выявленных в ходе анализа.

Работа над данным исследованием предполагает решение следующих задач:

1. Изучить обнаруженные несовершенства в применении научно обоснованных методов для оценки эффективности медицинских вмешательств, обсуждаемых в публикациях;

2. Сформулировать алгоритмы для вычисления вероятности ложноположительного результата для серийных исследований, не поддающихся объединению для проведения мета-анализа;

3. Провести анализ существующих серийных исследований на предмет вероятности, что показанный в исследованиях положительный результат является ложноположительным.

4. Сформулировать рекомендации по учету возможных смещений при оценке эффективности медицинских вмешательств в серийных исследованиях для более обоснованного принятия решений о рациональном расходовании средств бюджета здравоохранения.

Объектом данного исследования являются рандомизированные контролируемые испытания новых препаратов, проводимые сериями в различных областях медицинского применения.

Предметом данного исследования являются заложенные в серийных испытаниях величины допустимых ошибок первого и второго рода, результаты отдельных испытаний в серии, вероятность получения ложноположительного результата, говорящего об эффективности исследуемого вмешательства, при проведении серийных испытаний.

Теоретико-методологической основой данного исследования послужили труды по доказательной медицине, эпидемиологии, статистическому анализу в медицине таких ученых как Роберт и Сюзанна Флетчеры и Эдвард Вагнер, В. Власов, С. Гланц, О. Реброва, а также публикации Дж. Иоаннидиса о имеющихся несовершенствах в применении научно обоснованных методов оценки эффективности медицинских вмешательств.

В качестве эмпирической базы исследования выбраны регистры клинических испытаний, публикации о результатах зарегистрированных в регистрах испытаний или же данные о том, что такие результаты не были опубликованы, данные о регистрации новых лекарственных препаратов.

В качестве гипотезы данного исследования взято предположение, что при проведении рандомизированных клинических испытаний новых препаратов в разных областях медицины, результаты которых не могут быть подвергнуты мета-анализу, данные об эффективности препарата в одной из областей применения могут быть результатом статистической ошибки первого рода. Подобные данные, представленные независимо от других исследований в серии, не показавших эффективности, могут послужить сильным доказательством для дальнейшего применения препарата в данной области. А также могут стать основой для принятия ошибочных экономических и организационных решений об оплате подобного лечения и о предпочтительном выборе данного лечения по сравнению с лечением другим препаратом или отсутствием лечения.

Научной новизной исследования является расчет вероятности ложноположительного результата исследования в серии исследований, основанный на заложенных уровнях ошибок первого и второго рода, числе исследований данного препарата, проведенных на данный момент, количестве исследований, показавших эффективность препарата, вне зависимости от медицинской сферы проведения отдельных испытаний препарата. В данной работе были проанализированы 70 исследований, зарегистрированных в регистрах клинических испытаний, проводившихся в связи с изучением пяти препаратов, одобренных FDA. Вычислены вероятности ложноположительных результатов среди исследований, показавших статистически значимые различия.

Практическая значимость работы состоит в формулировании предложений и рекомендаций по учету существующих слабых мест в доказательствах эффективности медицинских вмешательств. Правильный учет и анализ слабых и сильных сторон доказательств критически важен для принятия решений в области организации здравоохранения о закупках и предоставлении лекарственных препаратов, решений об оснащении учреждений здравоохранения теми или иными видами оборудования, принятия решений о включении исследований как профилактических или скрининговых. Именно от таких решений зависит эффективность и рациональность расходования средств здравоохранения. А поскольку ресурсы, в том числе денежные, имеющиеся в распоряжении системы здравоохранения, всегда ограничены, возможность правильно оценить силу доказательств и избежать трат на лечение, доказательство эффективности которого являются следствием ложноположительного результата, имеет важное организационное и экономическое значение для здравоохранения.