ВВЕДЕНИЕ

Интерактивные образовательные модули (далее – ИОМ) являются значимыми образовательными элементами непрерывного медицинского и фармацевтического образования (далее – НМФО), обеспечивающими индивидуальную познавательную деятельность («самообразование») работников здравоохранения [1]. Высокая значимость ИОМ для НМФО подчеркивается предоставленной актуальным нормативным документом возможностью включения результатов их освоения в портфолио для периодической аккредитации специалистов [2]. В настоящее времы ИОМ представляют собой это образовательные элементы, реализуемые с применением исключительно электронного обучения, обеспечивающие достижение и/или объективную оценку определенных результатов, включающий один или структурированную совокупность ЭОР, а при необходимости и контрольно-измерительные материалы, размещенный в электронной информационно-образовательной среде, к которой предоставляется доступ через Портал непрерывного медицинского и фармацевтического образования Минздрава России¹ edu.rosminzdrav.ru (далее – Портал) [3]. Подготовку материалов ИОМ осуществляют ведущие эксперты отрасли с учетом порядков оказания медицинской помощи, клинических рекомендаций и принципов доказательной медицины [4], значительная роль в подготовке материалов ИОМ принадлежит национальным медицинским исследовательским центрам (НМИЦ) [5]. Центр развития непрерывного медицинского и фармацевтического образования на базе РНИМУ им. Н.И. Пирогова (далее Центр НМФО) осуществляет регулярный анализ эффективности освоения ИОМ специалистами здравоохранения с высшим и средним профессиональным образованием (ВО и СПО, соответственно), а также с помощью механизмов обратной связи изучает и анализирует удовлетворенность пользователей. В ходе указанных работ выявляются ИОМ с проблемами, для решения которых рекомендованы определенные повторные действия в рамках системы оценки качества образовательных элементов. Изменения по итогам этих действий могут включать в себя корректировку авторами учебного материала, банка тестовых заданий, а также прекращение доступа пользователей к ИОМ.

МАТЕРИАЛЫ И МЕТОДЫ

В работе представлена методология проведения анализа эффективности освоения интерактивных образовательных модулей (далее – ИОМ) на Портале и примеры её применения по данным за III квартал 2022 года. Методы исследования: статистический, аналитический.

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

Анализ эффективности освоения ИОМ проводится ежеквартально в отношении ИОМ, размещенных на платформе онлайн-обучения Портала и на сторонних платформах, поставленные в план пользователями Портала не менее 1 раза. При анализе не учитываются ИОМ, предназначенные для самоконтроля пользователей Портала (ИОМ-КИМ), а также высокотехнологичные ИОМ, на эффективность освоения которых может дополнительно оказывать влияние возможность выполнения обучающимся технических требований для их корректного использования (ИОМ-ИСЗ с 3D и ИОМ-ИСЗ с VR).

Всего в базе на конец III квартала 2022 года хранится информация по 8085 ИОМ, в том числе по 7318 ИОМ для специалистов с ВО (далее – ИОМ ВО) и 767 ИОМ для специалистов с СПО (далее – ИОМ СПО), созданных за всё время существования Портала.

На конец III квартала в статусе «Открыт слушателям» находилось 7101 ИОМ, в том числе 6767 ИОМ ВО и 334 ИОМ СПО, в финальный массив данных были включены 6843 ИОМ, поставленных в план не менее 1 раза, в том числе 6541 ИОМ ВО и 302 ИОМ СПО, из них 413 размещенных на сторонних платформах (Rosmedlib, ЛОГОДЕРM, МedX PRO, НОЧУ ОДПО "Актион-МЦФЭР") – 398 ИОМ ВО и 15 ИОМ СПО.  Поставлено в план пользователями Портала не менее 100 раз – 5945 ИОМ ВО и 302 ИОМ СПО. Распределение анализируемых ИОМ по виду представлено в Таблице 1.  (табл. 1)

Описательная статистика по ИОМ, открытых слушателям на конец отчетного периода и поставленных в план не менее 1 раза представлена в Таблице 2. (табл. 2)

Анализ эффективности освоения ИОМ проводился по следующим направлениям: результаты рассмотрения обращений пользователей Портала, успешность освоения ИОМ, анализ удовлетворенность пользователей.

1. Результаты рассмотрения обращений пользователей Портала.
Одним из факторов снижения эффективности освоения ИОМ являются технические и, реже, содержательные ошибки. Сведения о таких ошибках поступают в службу технической поддержки Портала, а также появляются на форуме Портала. При поступлении рекламаций на наличие технических ошибок Центр НМФО проводит оперативное их устранение без прекращения доступа пользователей к ИОМ. В случае поступления рекламации на наличие содержательной ошибки, данное обращение рассматривается Методической комиссией по планированию, разработке и оценке качества образовательных элементов непрерывного образования (далее – Методическая комиссия) и при подтверждении наличия содержательной ошибки по результатам рассмотрения, материалы ИОМ направляются автору для коррекции с временным прекращением доступа пользователей к ИОМ. После коррекции материалов доступ пользователей к ИОМ возобновляется.

В III квартале 2022 года в Центр НМФО поступили рекламации на 8 ИОМ. Все ИОМ содержали незначительные технические ошибки, которые были оперативно исправлены в день поступления рекламаций по ним. Доступ пользователей к ИОМ не прекращался.
Таким образом, по итогам III квартала 2022 года направлений на Методическую комиссию ИОМ на основании обращений пользователей не потребовалось.

2. Успешность освоения ИОМ
Показатель успешности освоения ИОМ рассчитывается как доля пользователей, освоивших ИОМ, от общего числа пользователей, поставивших его в план (в анализ включаются ИОМ, имеющие 1 и более постановок в план пользователями Портала). При ежеквартальном анализе показателя потенциальная необходимость корректирующих действий определяется экстремально низкой (0%-5%) долей успешно освоивших ИОМ пользователей Портала от общего числа поставивших ИОМ в план на дату начала отчетного периода (для ИОМ, размещенных не позднее чем за 3 месяца до начала отчетного квартала с количеством постановок в план не менее 100). При обнаружении ИОМ с экстремально низкими показателями успешности освоения Методическая комиссия принимает решение о проведении повторного расширенного анализа показателей эффективности освоения данных ИОМ, по результатам которого Методическая комиссия принимает решение:
а) сохранить доступ пользователей Портала к ИОМ (при коррекции показателей успешности освоения в сочетании с удовлетворительными значениями остальных показателей эффективности освоения ИОМ);
б) сохранить доступ пользователей Портала к ИОМ с проведением таргетированного опроса пользователей, поставивших ИОМ в план, но не освоивших ИОМ (при отсутствии коррекции показателей успешности освоения в сочетании с удовлетворительными значениями остальных показателей эффективности освоения ИОМ);
в) временно прекратить доступ пользователей Портала к ИОМ с направлением материалов ИОМ автору для проверки и коррекции (при отсутствии коррекции показателей успешности освоения в сочетании с неудовлетворительными значениями одного или нескольких из остальных показателей эффективности освоения ИОМ). После коррекции материалов решением Методической комиссии доступ пользователей к ИОМ возобновляется и проводится повторный расширенный анализ показателей эффективности освоения данных ИОМ через 6 месяцев после возобновления доступа к ИОМ пользователей Портала;
г) закрыть доступ пользователей к ИОМ и направить материалы ИОМ автору с целью решения вопроса об актуализации.

Описательная статистика успешности освоения ИОМ по данным III квартала 2022 года приводится в Таблице 3. (табл. 3)

Средние значения показателя успешности освоения ИОМ для специалистов с высшим и со средним профессиональным образованием в III квартале 2022 года остались практически без изменений по сравнению с аналогичным показателем прошлого отчетного периода: показатели демонстрируют такое же значение (0,38) медианы эффективности освоения ИОМ специалистами с высшим образованием и снижение на 0,03 (с 0,65 до 0,62) медианы эффективности освоения ИОМ специалистами со средним профессиональным образованием. Снижение медианы эффективности освоения ИОМ специалистами со средним профессиональным образованием связано с увеличением на 20% количества ИОМ (243 ИОМ в II квартале 2022 года и 302 ИОМ в III квартале 2022 года), включенных в анализ в III квартале 2022 года в связи с увеличением количества ИОМ, имеющих 1 и более постановок в план.

По результатам анализа успешности освоения было выявлено 36 ИОМ ВО вида ЭОК с экстремально низкой долей освоения, включая 5 ИОМ вида ЭОК с постановкой в план более 100 раз. Из указанных 5 ИОМ вида ЭОК 2 ИОМ вида ЭОК рассматривались Методической комиссией во II квартале 2022 года с решением провести расширенный анализ эффективности их освоения (Таблица 4) и 2 ИОМ вида ЭОК («Нарушения дыхания во время сна в практике кардиолога» и «Основы лечебной физкультуры (ЛФК) при заболеваниях кисти и лучезапястного сустава») были рассмотрены Методической комиссией по итогу II квартала 2022 г. с решением сохранить доступ к освоению ИОМ и повторную оценку провести по итогам II квартала 2023 г. для увеличения времени освоения ИОМ пользователями Портала по результатам опроса. (табл. 4)

В связи с тем, что для ИОМ «Рентгенэндоваскулярная эмболизация периферических артерий – жидкие материалы, спирали» по решению Методической комиссии уже проводился расширенный анализ эффективности освоения по итогам II квартала, в III квартале 2022 года Методической комиссией было принято решение провести повторный расширенный анализ эффективности освоения по итогам III квартала 2022 года в сравнении с показателями, полученными по итогам II квартала 2022 года. Результаты расширенного анализа эффективности освоения ИОМ по итогам III квартала 2022 года в сравнении с результатами по итогам II квартала 2021 года с решением Методической комиссии приведены в Таблице 5. (табл. 5)

Таким образом, по итогам III квартала 2022 года дополнительных направлений на Методическую комиссию ИОМ с низкими показателями успешности освоения не проводилось.

3. Анализ удовлетворенности пользователей
Имеющиеся технические средства Портала позволяют специалистам здравоохранения после освоения ИОМ оценить его по 10-балльной шкале. Кроме того, специалист имеет возможность оставить содержательный отзыв, заполнив анкету и оценив качество учебного материала, а также оставить свои замечания и жалобы, благодаря чему анкеты помогают понять причины низких оценок. Таким образом, анализ удовлетворенности пользователей включает анализ средней оценки ИОМ и анализ анкет.

3.1. Средняя оценка ИОМ
Средняя оценка ИОМ, отображающаяся на Портале, рассчитывается как средняя арифметическая оценок, проставляемых пользователями по 10-балльной шкале. Высокой средней оценкой считается 7 баллов и более, удовлетворительной – от 5 до 7 и неудовлетворительной – до 5 баллов. Анализ средней оценки производится ежеквартально. В анализ включаются ИОМ, имеющие хотя бы одно освоение и не менее одной оценки. В случае выявления ИОМ с неудовлетворительными значениями средней оценки, ИОМ с количеством оценок не менее 5 направляются на Методическую комиссию для принятия решения по итогам анализа удовлетворенности пользователей.

Результаты анализа средних значений оценки ИОМ, имеющих хотя бы 1 освоение по данным III квартала 2022 года приведены в Таблице 6. (табл. 6)

В ходе анализа было выявлено 33 ИОМ ВО с неудовлетворительной оценкой (Таблица 7). (табл. 7) Из них от 5 оценок имел только 1 ИОМ ВО. В связи с тем, что для данного ИОМ по решению Методической комиссии уже проводился расширенный анализ эффективности освоения по итогам IV квартала 2021 года и по итогам I квартала 2022 года, и отсутствуют рекламации к материалам со стороны пользователей Портала, Методическая комиссия приняла решение оставить данный ИОМ доступным для освоения пользователями; автору направлена информация об эффективности освоения ИОМ с материалами ИОМ для оценки актуальности и корректности подачи учебного материала. Также принято решение провести опрос пользователей Портала, освоивших данный ИОМ с целью установить причины неудовлетворительной средней оценки ИОМ. Из-за малого количества результатов опроса анализ его результатов в III квартале 2022 года признан неинформативным. Методическая комиссия приняла решение продолжить опрос с анализом его результатов в IV квартале 2022 года, доступ пользователей к ИОМ на этот период сохранен.

Таким образом, по итогам III квартала дополнительных направле-ний на Методическую комиссию ИОМ с низкими (менее 5) показателями средней оценки не проводилось.

3.2. Анализ анкет

Количественный анализ анкет проводится по показателю субъективной оценки учебного материала. Показатель субъективной оценки учебного материала рассчитывается аналогично средней оценке: при ответе на вопрос «Оцените учебное содержание данного электронного образовательного курса по 10-тибалльной шкале» высокой оценкой считается 7 баллов и более, удовлетворительной – от 5 до 7 и неудовлетворительной – до 5 баллов. Количественный анализ анкет производится ежеквартально, в анализ включаются ИОМ, имеющие хотя бы одно освоение и не менее 1 анкеты. В случае выявления ИОМ с неудовлетворительными значениями оценки по анкетам, ИОМ с количеством анкет не менее 5 направляются на Методическую комиссию для принятия решения по итогам анализа удовлетворенности пользователей.

По итогам анализа удовлетворенности пользователей Методическая комиссия принимает решение о проведении повторного расширенного анализа показателей эффективности освоения данных ИОМ, по результатам которого Методическая комиссия принимает решение:
а) сохранить доступ пользователей Портала к ИОМ (при коррекции показателей удовлетворенности пользователей в сочетании с удовлетворительными значениями остальных показателей эффективности освоения ИОМ);
б) временно прекратить доступ пользователей Портала к ИОМ с направлением материалов ИОМ автору для проверки и коррекции (при отсутствии коррекции показателей удовлетворенности пользователей в сочетании с неудовлетворительными значениями одного или нескольких из остальных показателей эффективности освоения ИОМ). После коррекции материалов решением Методической комиссии доступ пользователей к ИОМ возобновляется и проводится повторный расширенный анализ показателей эффективности освоения данных ИОМ через 6 месяцев после возобновления доступа к ИОМ пользователей Портала;
в) закрыть доступ пользователей к ИОМ и направить материалы ИОМ автору с целью решения вопроса о целесообразности их актуализации.

В Таблице 8 представлена статистика по оценкам, полученным в результате анкетирования для ИОМ, для которых имеется хотя бы одна заполненная анкета по данным за III квартал 2022 года. (табл. 8)

Было выявлено 91 ИОМ с неудовлетворительным показателем оценки, полученной в результате анкетирования, в том числе 4 ИОМ, имеющих не менее 5 оценок (Таблица 9). (табл. 9)

В связи с тем, что для 2 ИОМ («Гнойные заболевания костей и суставов» и «Выбор метода контрацепции с учетом периода жизни женщины») по решению Методической комиссии уже проводился расширенный анализ эффективности освоения по итогам I квартала 2022 года и по итогам II квартала 2022 года, и отсутствуют рекламации к материалам со стороны пользователей Портала, Методическая комиссия приняла решение оставить данные ИОМ доступными для освоения пользователями; авторам направлена информация о неудовлетворительной (менее 5 баллов) оценке по результатам анкетирования с материалами ИОМ для оценки актуальности и корректности подачи учебного материала. Также принято решение провести опрос пользователей Портала, освоивших данные ИОМ с целью установить причины низкой оценки по результатам анкетирования. Проведение опроса и анализ его результатов запланированы на IV квартал 2022 года.

По итогам анализа результатов анкетирования на Методическую комиссию первично были направлены 2 ИОМ (Таблица 10).(табл. 10)

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

Поскольку разработка и размещение на Портале ИОМ входит в показатели федеральных проектов «Обеспечение медицинских организаций системы здравоохранения квалифицированными кадрами» и «Развитие сети национальных медицинских исследовательских центров и внедрение инновационных медицинских технологий» [6], анализ эффективности их освоения приобретает ключевое значение и требует проработанных методологических подходов. Применяемая методология оценки эффективности освоения ИОМ не противоречит общим представлениям об изучении эффективности непрерывного медицинского и фармацевтического образования в части обучения с применением онлайн-технологий [7]. При этом следует отметить, что технические средства Портала, как системы информационной поддержки непрерывного медицинского образования [8] предоставляют возможности для оценки эффективности освоения ИОМ в большей степени по сравнению с освоением дополнительных профессиональных программ повышения квалификации (далее – ДПП ПК) [9]. Помимо оценки удовлетворенности пользователей, применяемой как для ИОМ, так и для ДПП ПК, в оценку эффективности включается также успешность освоения, возможность анализировать обращения пользователей и гибко реагировать на них.

ВЫВОДЫ

Оценка эффективности освоения ИОМ является комплексным мероприятием, включающим анализ обращений пользователей Портала, оценку успешности освоения ИОМ и удовлетворенности пользователей. Применяемая методология позволяет разносторонне оценить эффективность освоения ИОМ и своевременно провести корректирующие мероприятия для нормализации исследуемых показателей.

1.↑ https://edu.rosminzdrav.ru/ (дата обращения 11.10.2022 г.)