Введение

Постоянное повышение квалификации является необходимым условием профессиональной деятельности работников здравоохранения, что особенно заметно на фоне продолжающегося прогресса науки и технологий в медицинской сфере. Дискуссии возникают вокруг организации доступа к информации, учета, контроля и последующего применения полученных в последипломном обучении знаний, умений и навыков. Профессиональное развитие медицинских работников в разных странах в этом смысле происходит по-разному – где-то ответственность за него полностью лежит на самих специалистах, где-то обеспечивается на уровне профессиональных сообществ, где-то к контролю и учету привлечено государство.

Одним из механизмов обеспечения профессионального роста является непрерывное медицинское образование (НМО). НМО как система призвана постоянно способствовать поддержанию и совершенствованию профессиональных компетенций медицинских специалистов, обеспечивая их новой и актуальной информацией в сфере их деятельности и предоставляя возможность освоения новейших технологий в отрасли.

В том или ином виде НМО присутствует в США и Канаде, почти во всех европейских странах¹, в Австралии, Китае и Японии, в ряде стран Ближнего Востока, а с 2012 года внедряется и в России. Такие масштабы не могли не вызвать пристального внимания к НМО со стороны исследователей. В числе предметов изучения важное место занимает эффективность системы и ее отдельных компонентов в медицинском, психологическом, педагогическом, социологическом и других ракурсах. Следует отметить, что НМО, как и вообще дополнительное профессиональное образование, и даже шире – образование взрослых, всё больше смещается в сторону процессов, основанных на активной, взаимообогащающей модели отношений между специалистами – в противовес пассивной дидактической модели, где одни только дают информацию, а другие только воспринимают.

В 2000-е годы вышло несколько развернутых обзоров и мета-аналитических исследований, посвященных эффективности непрерывного медицинского образования (см., например, [13, 22]), в том числе весьма развернутые в США [14] и в Великобритании [21]. Относительно недавно анализ подобных проектов был осуществлен по заказу ACCME² [9]. Из обзоров можно узнать, что исследования эффективности носят разнообразный характер и сделаны по различной методологии. Так, наряду с привычными анкетированием и тестированием, часто применяются продуманные квази-экспериментальные схемы; используются сложные процедуры, сочетающие различные способы измерения. Некоторые исследования проводятся по лонгитюдной схеме, когда работа специалистов отслеживается в течение нескольких лет – очевидно, процесс образования как продолжительный, неоднородный, имеющий динамику и дающий долгосрочные последствия, не может оцениваться, особенно по параметру эффективности, разовым замером. Среди работ есть как эмпирические (психологические, социологические), так и кабинетные или теоретические (основанные на статистике, рассматривающие управленческие и административные процедуры и т.п.). Содержательно описать такие исследования даже в обобщенном виде можно только в рамках полноценной монографии.

В настоящей статье сделан лишь узкий срез этой проблематики:

• способы определения понятия «эффективность НМО»,
• модели оценки эффективности НМО,
• оценка эффективности различных форматов обучения в ходе НМО.

Определение понятия «эффективность НМО»

Определить, что такое эффективность в сфере постдипломного³ медицинского образования, достаточно сложно – не существует однозначного определения, пригодного для операционализации с целью дальнейшего изолированного изучения. Кроме того, существуют близкие по сути, но содержательно отличающиеся проблемы, например, качество НМО, передача знания (transfer of knowledge или knowledge / learning translation) в ходе НМО и др. Часто применяются не столько научные, сколько методические определения и классификации, носящие едва ли не спекулятивный характер.

Отдельной трудностью уже для русскоязычного обзора является то, что калька «эффективность» применяется для перевода к разным английским словам: effectiveness (ближе к «успешности»), efficiency (в смысле отношения результата к затратам), efficacy (способность дать результат, полезность – обычно используется в отношении лекарственных препаратов). В том же значении часто используются слова с другим корнем, например, value или quality. В том же значении часто используются слова с другим корнем, например, performance или quality.

Проблема сохранения смысла при переводе встает и перед другими исследователями из неанглоязычных стран. Так испанские специалисты Энрико и Марта Бурхес, посвятившие разбору этой терминологической проблемы отдельную статью [7], показывают сложности словоупотребления в данной профессиональной сфере и пытаются переопределить смыслы в зависимости от контекста, предложив разделять «стратегическую» и «тактическую» эффективность на уровне языка, что нам видится неверным. Применение терминов в научной (как медицинской, так и психолого-педагогической) литературе не устоялось в достаточной мере, и авторы, иногда даже носители английского языка, зачастую вынуждены отдельно оговаривать применение схожих терминов в каждом конкретном случае. При этом в смежных дисциплинах есть свои как устоявшиеся, так и не устоявшиеся нюансы понимания и методы измерения эффективности.

Не случайно авторы одного из самых объемных по спектру задач и, соответственно, сложных по структуре исследований, обозначив проблему, не стали искать ее решение, а просто дали самое общее определение: «Применимо любое понимание эффективности <…> так как [это понятие] сложное, многомерное и, соответственно, не поддается сравнениям. <…> В наиболее широком смысле эффективность НМО относится к изменениям в профессиональной деятельности вообще, как на личностном уровне, так и на уровне клинической практики» [9, pp.12-13].

Поэтому представляется целесообразным рассматривать эффективность в том смысле, в котором ее понимает конкретный автор или коллектив, при необходимости сопровождая анализ уточнениями.

Модели оценки эффективности образования

Определив понятие эффективности, исследователь в области непрерывного медицинского образования должен решить следующую проблему: как именно нужно мерить эффективность? Иначе говоря, в какой момент времени измеряется эффективность и каковы критерии оценки?

В качестве методологической опоры для решения этого вопроса используются различные шкалы оценки эффективности обучения. Чаще всего выбираются классическая модель Д. Киркпатрика, задуманная в середине XX века для оценки результатов бизнестренингов, или детальная модель Д. Мура, разработанная специально для НМО с учетом имеющихся методик оценки собственно медицинских компетенций. В обеих моделях важную роль играет временной по отношению к образовательному воздействию фактор.

Д. Киркпатрик [12] предложил выделить 4 уровня оценки эффективности обучающих программ. На уровне «Реакции» оцениваются отношение обучающихся к теме и материалу, ожидание от применения в профессиональной сфере и т.п. На уровне «Обучения» оценке подлежит собственно усвоение материала, причем необязательно в форме тестов или задач. Уровень «Поведения» – это понимание того, насколько часто и грамотно полученные знания и умения применяются на практике (с учетом факторов, способствующих и препятствующих этой деятельности). Наконец, основная задача на уровне «Результатов» – понять, в какой мере по итогам обучения достигнуты намеченные цели. Важно отметить, что исходно в понимании Киркпатрика и тренеру, и обучающемуся цели ставят лица, не обязательно вовлеченные в обучение. Это не вполне соответствует сути НМО, где велика роль мотивации самого медицинского работника, поэтому зачастую оговаривается ограниченность применения этой модели или необходимость ее модификации. Однако исследователей привлекают простота, распространенность и опыт использования модели, которые делают её удобной, универсально применимой и позволяют делать сравнение с другими отраслями.

Семиуровневая модель, созданная Д. Мур с коллегами формально в оригинальной работе 2009 года содержит фактически восемь уровней [17]. Еще больше запутывает описание работы то, что Американская медицинская ассоциация приняла за основу и использует в методических целях ранний вариант этой модели – с шестью уровнями (именно его, как наиболее официальный, обычно переводят на русский язык [1]). В ходе доработки модели 3-й уровень («Обучение») был разделен на три части в соответствии с методикой оценки клинической деятельности Миллера [16]. Нам не удалось найти корректное изложение полной версии модели на русском языке, поэтому приведем здесь собственный перевод с пояснениями (таблица)⁴.

Следует обратить внимание на то, как устроена модель Мура с точки зрения исследователя. Как на уровне «Участия», так и на уровне «Здоровья» населения собственно медицинский работник деперсонализируется, становится в лучшем случае статистической единицей, и здесь неприменимы эмпирические методы изучения (в этом смысле, получается, уровни образуют замкнутый континуум). Опубликованные исследования такого рода (в основном с первого уровня) основываются и на российском материале (например, [4]). Уровни «Применение» и «Здоровье пациента» для независимого исследователя остаются фактически «черным ящиком», содержание которого доступно лишь административному персоналу и органам власти и часто защищено на законодательном уровне. Публикуемые работы в части эффективности НМО на этих уровнях сравнительно редки, однако в них ставятся сложные вопросы и появляются оригинальные решения. Приведем пример.

Исследование эффективности НМО затруднено практической невозможностью выделить «чистое» влияние образовательных мероприятий из многочисленных факторов, влияющих на «Здоровье населения», в том числе таких, которые не зависят от медицинских работников. Однако эти факторы можно попробовать сопоставить между собой по степени влияния. Группа американских исследователей анализировала эффективность мероприятий НМО и сравнивала его с фактором роста доли страхового покрытия в стоимости лечения [18]. Объектом исследования было увеличение числа назначений инновационного варианта протезирования коленного сустава по сравнению с традиционным. Выяснилось, что НМО в целом положительно влияет на работу врачей: до 10% (на второй-третий год после проведения соответствующего мероприятия) чаще рекомендуются новые протезы – но не более чем в пятилетней перспективе, затем эффект сходит «на нет». А вот увеличение страхового покрытия с 50% затрат на лечение до 90% обеспечивает рост числа назначений новых протезов на десять и более лет вперед. Таким образом, фактор образования в таких случаях оказывается менее критическим по сравнению с финансово-экономической стороной деятельности врача.

Основная же масса исследований эффективности НМО реализуется на оставшихся уровнях по Муру, обычно совпадающих с двумя первыми уровнями модели Киркпатрика. Исследования, соответствующие уровню «Удовлетворенности», не специфичны для медицинского дополнительного образования и в подавляющем большинстве случаев методологически достаточно примитивны –  это обычно анкетирование после (в самых «продвинутых» вариантах – до и после) образовательного воздействия. Простота проведения делает такие исследования весьма распространенными, есть они и в России (например, [5]). А вот исследования для уровня «Обучения» как раз могут иметь специфику, характерную именно для медицинского образования, особенно если затрагивают область «Применения».

Модели можно использовать как для классификации имеющихся исследований, так и для определения потребностей в новых. Обе модели разрабатывались для контроля образовательных мероприятий и программ на американском рынке. Однако схема Киркпатрика за многие годы использовалась в самых разных странах и культурах, где показала свою принципиальную эффективность. Модель Мура в последнем, наиболее заточенном под НМО варианте также выглядит логичной и устойчивой, при этом довольно приемлемой в любой схожей системе, однако вне Северной Америки применяется редко. Преимущество более развернутой и специализированной модели Мура перед моделью Киркпатрика для оценки эффективности именно НМО, на наш взгляд, заключается в принципиальной возможности выявить причину возникающей проблемы, принять во внимание такие факторы, как мотивация, личная эффективность специалиста или способность медицинской организации предоставить возможность для реализации полученных в ходе обучения компетенций.

Недостаток, а точнее, естественное ограничение обеих моделей в том, что оценивается только формальное образование. По результатам замеров не оценивается влияние информации, полученной из неконтролируемых исследователем источников; при этом для стимулирования самообразования в некоторых странах в рамках НМО учитываются и вознаграждаются такие действия, как подписка на специализированные издания или поиск релевантной информации в Интернете. Впрочем, в развитых системах НМО обучение в значительной степени произрастает из выявления индивидуальных потребностей специалистов. Врач получает необходимую информацию от пациентов, коллег, администрации, преподавателей и органов образования, общественности и общества в целом, а также путем самооценки. Для всех этих каналов есть собственные механизмы поступления и оценки информации, что позволяет врачу управлять своим НМО и повышать его эффективность [10].

Изучение эффективности различных форматов обучения

В оценке эффективности образовательной системы можно выбрать в качестве единицы обучающего воздействия⁵ как всю систему, так и ее отдельный процесс или элемент. Наиболее понятным и, следовательно, популярным среди исследователей видом воздействия является образовательный элемент, чаще всего, в соответствии с практикой НМО на Западе, – образовательное мероприятие.

Традиционные форматы обучения

Основу кредитной системы современного «западного» НМО составляют в примерно равной пропорции обучающие программы по специальности и мероприятия. И те и другие, как уже отмечалось [2], всё больше смещаются из преимущественно пассивного участия в интерактивные, симуляционные, медиа-форматы. Однако вплоть до последнего времени традиционное очное обучение являлось неотъемлемой частью постдипломного образования. Это способствовало значительному числу исследований процесса такого обучения, в том числе с точки зрения его эффективности.

В 1998 году группа под руководством психолога Джеймса Неффа исследовала как эффективность обучения зависит от формата проведения образовательного мероприятия, на примере мероприятий по оказанию первой помощи пациентам с инфекционными заболеваниями, передающимися половым путем (ИППП), в том числе ВИЧ. В ходе эксперимента часть испытуемых (врачей, медсестер, иных работников клиник) получала информацию посредством традиционных для американского НМО конференций, а другая – на клинических семинарах с относительно небольшим количеством слушателей. После этого замерялся эффект от обучения через 2 месяца и через 10 месяцев. Среди измеряемых параметров были: знание об ИППП, установки по отношению к заболеваниям и пациентам и т.п. Полученный результат чрезвычайно важен: оказалось, что несмотря на существенно выросший в обеих группах уровень теоретических и практических знаний и умений, ни в кратко-, ни в долгосрочной перспективе между группами не оказалось значимых различий по сохранности эффекта от обучения. Из этого можно сделать вывод о том, что способ получения информации в ходе НМО не играет ведущей роли в эффективности деятельности медицинского работника. Важно, что этот результат оказался надежным: он был получен на пилотном этапе [19] и потом подтвержден в основном исследовании [20]. Полученные данные имеют ряд ограничений: специфическая аудитория, традиционно разные методы рекрутирования слушателей для каждой формы и т.д., – но при этом методы и выводы исследования вызвали интерес и ряд комментариев с позиций психологии и педагогики (см., например, [15]. Так или иначе, на наш взгляд, результаты исследований эффективности НМО нужно оценивать с учетом выводов из исследования Неффа.

Медийные технологии в обучении

«Применение новых форматов коммуникации в обучении должно положительно отразиться на эффективности НМО» – на самом деле этот тезис только кажется очевидным: многие специалисты здравоохранения довольно консервативны или не чувствуют в себе способности учиться по-новому. Влияют ли инновационные методы обучения на качество работы медицинских специалистов, и если да, то как именно – такими вопросами задаются исследователи разных стран, в т.ч. и России (см., например, [3] – правда, здесь экспериментальная процедура реализована на студентах). Обычно, впрочем, на уровень «Применения» такие проекты всё же не выходят.

В 2000-х годах бурное развитие интернета вызвало появление образовательных мероприятий, проводимых онлайн, и вслед за этим – исследований их эффективности. Масштабный проект реализовали сотрудники университета Алабамы в 2005-2007 годах [8]. В нем обследовались свыше 5000 врачей, при этом примерно половину выборки составили те, кто участвовал в одном из 48 онлайн-мероприятий на разные темы; члены другой половины, составившие контрольную группу, эти мероприятия пропустили (но, разумеется, могли обучаться по тем же темам иным образом). Непосредственно перед посещением мероприятия и сразу после него врачей попросили решить несколько клинических задач. Контрольная группа получила те же задания. Данные сравнили, и оказалось, что после посещения онлайн-мероприятия врачи в целом справлялись с задачами лучше. Попутно были сделаны и другие интересные выводы:

• онлайн-мероприятия принесли больше пользы (если оценивать ее как способность решать клинические задачи по теме – прим. авт.) врачам первичного звена, чем врачам-специалистам;
• 24 онлайн-мероприятия состояли в изложении (презентации) какого-то текста, например, статьи или документа, а другие 24 базировались на обсуждении клинических случаев. Более полезным оказался именно второй вариант – в соответствии с примененным статистическим критерием Коэна⁶, изменения в качестве решения задач здесь попали в интервал «значительных», в то время как текстовый формат способствовал лишь «средним».

Эти результаты говорят о том, что онлайн-мероприятия вполне эффективны и способствуют приросту знаний врачей, однако при условии правильного, с точки зрения формата и целевой аудитории, применения.

Перечень таких проектов, несмотря на сложность их осуществления, постоянно растет, так как высока и актуальность результата. О проведении аналогичного исследования, правда по более сложной квази-экспериментальной схеме, было объявлено в Германии [11]. В качестве зависимой переменной должны использоваться два формата тренинга, основанного на одном и том же содержательном материале (особенности обращения с раковыми больными, имеющими маленьких детей), – с личным участием и онлайн. Опираясь на шкалу Киркпатрика, авторы планируют три этапа замеров – до тренинга, сразу после него и через полгода (для контрольной группы из специалистов, не участвующих в этих этапах НМО, замер двухэтапный: второй замер состоится через 6 недель после первого). Само исследование рассматривается как пилотное к еще более масштабному, включающему в себя тренинг не только врачей, но и самих больных.

В предыдущем десятилетии символом распространения технического прогресса стали носимые терминалы связи с интеллектуальными операционными системами, иными словами, – смартфоны и планшеты. Важную роль играют они и в образовательном процессе, в том числе в НМО, в частности, для организации доступа к образовательным материалам. Так, по данным исследования, осуществленного в 2019 году на Портале непрерывного медицинского и фармацевтического образования Минздрава России edu.rosminzdrav.ru⁷, 70% пользователей – российских специалистов здравоохранения – хотя бы иногда заходят в Личный кабинет на Портале с помощью смартфонов и планшетов, а для 32% это основной механизм использования материалов Портала. Примером изучения целесообразности применения таких устройств в НМО может служить проект, осуществленный в Иране [6], где в ходе небольшого квазиэксперимента сравнили две группы: первая получала знания НМО (связанные с детской стоматологией и рассчитанные на педиатров) с помощью аккредитованного приложения для смартфона; вторая, контрольная – традиционным способом, посредством семинара и раздачи печатной продукции. Через 4 месяца после интервенции значимого различия между группами по уровню знания, отношению к проблеме, практическому применению освоенного материала выявлено не было – экспериментальная группа даже показала чуть более высокие (но в пределах статистической погрешности) результаты.

Таким образом, высокие технологии оказываются вполне полезным дополнением в развитии НМО. При этом явно существуют как ограничения, так и зоны развития, изучение которых является актуальным трендом исследовательской работы в области НМО.

Заключение

В настоящей статье мы попытались, с одной стороны, описать методологическую основу, на которой ведется работа по изучению эффективности НМО, а с другой, хотя бы частично, на самых изящных примерах отразить разнообразие методов, применяемых в ходе исследований. При разнообразии возможных определений и исчислений эффективности, в целом исследователям хватает для ориентации в них всего одной-двух моделей оценки, производимой в разные моменты воздействий. Сами воздействия также являются предметом изучения: так, разные формы очных мероприятий сравниваются между собой и с цифровыми форматами. При этом пока исследовательский вывод о том, что «не так важна форма, как контент», остаётся устойчивым и в эпоху тотальной цифровизации.

1.↑Study concerning the review and mapping of continuous professional development and lifelong learning for health professionals in the EU. Final report. 2013. Online: https://ec.europa.eu/health/sites/health/files/workforce/docs/cpd_mapping_report_en.pdf
2.↑Accreditation Council for Continuing Medical Education (Совет по аккредитации для непрерывного медицинского образования) – некоммерческая организация, ответственная за НМО в США.
3.↑Этим термином мы будем обозначать все виды целенаправленного образования профессионалов, уже работающих в соответствии с ранее полученной специальностью.
4.↑Дословный перевод терминов “Declarative / Procedural Knowledge”, который используется в русскоязычной практике, представляется в данном случае не вполне корректным, так как при разделении 3 уровня модели эти термины применены авторами довольно произвольно. Декларативные знания (примером может служить содержание прочитанной словарной статьи) вряд ли вообще можно считать целью НМО. Поэтому перевод этого и других терминов в таблице сделан в максимальном соответствии со смыслом.
5.↑Еще одна лингвистическо-терминологическая сложность. Английское слово intervention в том «психологическом» языке, который часто используют исследователи в сфере образования, означает не только «вмешательство», но и «воздействие» в самом широком смысле слова, поэтому для обозначения и мероприятия, и средства, и процедуры, и технологии передачи информации используется один термин. Во избежание утери – в каждом конкретном случае – смысла иногда приходится применять перевод-кальку, который в России уже получил определенное распространение.
6.↑Каппа Коэна часто применяется в зарубежных исследованиях в сфере образования для оценки пороговых различий эффекта от воздействия. См. Cohen J. A coefficient of agreement for nominal scales // Educational and Psychological Measurement. 1960. V.20. P.37-46.
7.↑Опрос проводился Центром развития непрерывного медицинского и фармацевтического образования на базе РНИМУ им. Н.И. Пирогова онлайн 25-28 февраля 2019 г. В исследовании приняли участие 6535 пользователей Портала (врачи и средний медицинский персонал). Результаты ранее не публиковались.