«ПРОФИЛАКТИКА» ЗАПРОСОВ ПО ПОЛЬЗОВАТЕЛЬСКОМУ ТЕСТИРОВАНИЮ ЛИСТКА-ВКЛАДЫША. ЧАСТЬ 2

Ирина Краснова, заместитель директора департамента развития производства и регистрации OOO «НПФ «Материа Медика Холдинг»

Автор: ИРИНА КРАСНОВА, заместитель директора департамента развития производства и регистрации OOO «НПФ «Материа Медика Холдинг»

В соответствии с Приложением № 1 к Правилам регистрации и экспертизы лекарственных средств для медицинского применения, утв. Решением Совета Евразийской экономической комиссии от 3 ноября 2016 г. № 78 (ред. решения Совета ЕЭК от 29.05.2024 № 43) (далее – Правила), регистрационное досье лекарственного препарата должно включать листок-вкладыш (далее – ЛВ) и общую характеристику лекарственного препарата (ОХЛП). При использовании ЛВ необходимо провести его пользовательское тестирование и предоставить в составе досье соответствующие документы.

В данной статье¹ я поделюсь опытом подготовки документов по пользовательскому тестированию ЛВ и ответов на запросы, поступивших в рамках регистрационных мероприятий в отношении этих документов. Материал структурирован следующим образом: по каждому запросу приведена тактика ответа на него и описаны меры, реализация которых поможет его избежать. В случаях, когда тактика ответа отличается от превентивных мер только временной формой глагола, они объединены.

ЗАПРОС 1

В оценке поиска информации отсутствует информация о том, что считалось минимальным количеством времени на поиск информации (не указано временное ограничение).

Тактика ответа:

Согласно требованиям, изложенным в п. 3.1 Приложения №  14 «Стандартная методика проведения пользовательского тестирования ЛВ в целевых группах» к Требованиям к инструкции по медицинскому применению лекарственных препаратов и общей характеристике лекарственных препаратов для медицинского применения, утвержденным Решением Совета ЕЭК от 03.11.2016 г. № 88, максимальная продолжительность интервью не должна превышать 45 минут во избежание утомления участника. При этом время, затраченное на поиск информации, не регламентировано. В ответе на запрос отразить факт того, что продолжительность каждого интервью, проведенного в рамках пользовательского тестирования листка-вкладыша, не превышала 45 минут.

Превентивные меры:

Контролировать и фиксировать продолжительность каждого интервью. Оценивать продолжительность каждого интервью, проводимого в рамках пользовательского тестирования листка-вкладыша на соответствие установленным требованиям (не более 45 минут), результаты отражать в отчете и резюме отчета по пользовательскому тестированию ЛВ.

ЗАПРОС 2

Вопросы не в полной мере соответствуют требованиям Решения Совета ЕЭК от 03.11.2016 № 88, в том числе вопросы не охватывают поиск, понимание и способность участников действовать надлежащим образом; не выдержан баланс общих и частных вопросов. Вопросы должны быть открытыми, должны позволять участнику представить себя в определенной ситуации и не должны подсказывать ему ответ, содержащийся в ЛВ. Количество вопросов также не в полной мере соответствует Решению Совета ЕЭК от 03.11.2016 № 88, т.к. только 10 вопросов охватывают разделы 1–4 ЛВ (а достаточным считается 12-15 вопросов).

Тактика ответа:

Оценить вопросы опросника на соответствие требованиям Приложения № 14 «Стандартная методика проведения пользовательского тестирования ЛВ в целевых группах» к Требованиям к инструкции по медицинскому применению лекарственных препаратов и общей характеристике лекарственных препаратов для медицинского применения, утвержденным Решением Совета ЕЭК от 03.11.2016 г. № 88. Описать результаты оценки и выводы в ответе на запрос.

Превентивные меры:

1. Определить ключевые сведения по безопасному применению лекарственного препарата.

2. Составить вопросы для проведения пользовательского тестирования таким образом, чтобы они обеспечивали возможность оценки понимания всей информации, содержащейся в ключевых сведениях по безопасному применению лекарственного препарата. Вопросы опросника должны охватывать все ключевые сведения по безопасному применению лекарственного препарата, представленные в разделах 1–4 ЛВ. Если информация, отраженная в разделах 5–6 ЛВ, имеет важное значение для безопасного и эффективного применения лекарственного препарата, то ее доступность для понимания также должна быть оценена в рамках пользовательского тестирования ЛВ. По этой причине вышеуказанная информация должна быть идентифицирована как ключевые сведения для безопасного применения препарата и включена в протокол, отчет и резюме отчета по пользовательскому тестированию ЛВ. В таком случае опросник должен содержать соответствующий вопрос.
   При составлении вопросов для проведения пользовательского тестирования ЛВ следует основываться на рекомендациях, изложенных в Приложении № 14 «Стандартная методика проведения пользовательского тестирования ЛВ в целевых группах» к Требованиям к инструкции по медицинскому применению лекарственных препаратов и общей характеристике лекарственных препаратов для медицинского применения, утвержденным Решением Совета ЕЭК от 03.11.2016 г. № 88.

В частности, вопросы для проведения пользовательского тестирования листка-вкладыша должны отвечать следующим требованиям:

1. Вопросы открытого типа;
2. Вопросы затрагивают все критические аспекты безопасности применения лекарственного препарата (разделы 1–5 ЛВ);
3. Количество вопросов должно быть минимально достаточным;
4. Соблюден баланс общих и частных вопросов;
5. Вопросы составлены отлично от ЛВ, чтобы избежать ответов участников, основанных лишь на нахождении групп слов;
6. Вопросы следуют в случайном порядке (то есть в порядке, отличном от подачи информации в ЛВ).

Варианты формирования вопросов, не отвечающие рекомендациям²:

• вопросы не затрагивают критические аспекты безопасности (условия хранения и приготовления ЛП, применяемого исключительно в стационаре) или в основном относятся к общим вопросам (торговое наименование ЛП, действующее вещество, к какой группе препаратов относится);
• вопросы, которые могут вызвать затруднение, например, если применяемый синоним в вопросе не известен респонденту (для выявления таких вопросов необходим пилотный раунд);
• вопросы, которые могут вводить в заблуждение. Например, вопрос: «Почему пациенту, принимающему препарат, нельзя применять во время курса лечения и после циклоспорин?» использует определение действия «нельзя применять», такое же определение действия есть в другом вопросе: «В каких случаях препарат применять нельзя (не применяют)?» и указывается информация раздела «Противопоказания», но циклоспорин не противопоказан к совместному применению с данными ЛП, и первый вопрос необходимо перефразировать;
• вопросы в отношении нежелательных реакций, которые включают в себя исключительно статистический аспект. Например: «Перечислите нежелательные реакции, которые возникают “очень часто”, “часто”…»;
• вопросы, следующие по порядку;
• используются вопросы, ответы на которые нельзя найти в ЛВ;
• физическое отсутствие ответа на вопрос. Например, нежелательная реакция.

ЗАПРОС 3

Следует отдельно представить диаграммы по поиску ответа на вопрос и по пониманию вопроса респондентом.

Следует конкретизировать подписи к диаграммам.

Тактика ответа / Превентивные меры:

Результаты пилотного и основного раундов пользовательского тестирования ЛВ по параметрам «поиск» и «понимание» представить в отдельных таблицах и на диаграммах. Предоставить скорректированный отчет по результатам пользовательского тестирования ЛВ (в ответ на запрос).

ЗАПРОС 4

Подробно не расписаны и не обсуждены результаты каждого из этапов пользовательского тестирования (в том числе по каждому вопросу), не представлены результаты в виде таблицы (в том числе для результатов пилотного тестирования не представлена информация об оценке правильности вопросов.

Тактика ответа:

1. Оценить соответствие результатов каждого этапа пользовательского тестирования критериям приемлемости, указанным в Приложении 14 к Требованиям к инструкции по медицинскому применению лекарственных препаратов и общей характеристике лекарственных препаратов для медицинского применения, утвержденным Решением Совета ЕЭК от 03.11.2016 г. № 88.
   В том числе провести анализ неправильных ответов респондентов с целью выявления факторов, затрудняющих понимание информации ЛВ.

2. Оценить обратную связь от респондентов на наличие значимых замечаний и пожеланий относительно содержания и дизайна ЛВ после каждого этапа основного раунда тестирования.
   Поскольку задачей пилотного раунда является валидация опросника, то его результаты оцениваются с точки зрения понятности формулировок вопросов. Критерии приемлемости для данного этапа могут быть сформулированы следующим образом: если вопрос был непонятным 1/3 участников, принявших участие в валидации, формулировки данных вопросов в опроснике для проведения пользовательского тестирования ЛВ необходимо скорректировать.

3. Отразить результаты анализа обратной связи от респондентов относительно содержания и дизайна ЛВ и результаты тестирования, а также принятое по результатам этого анализа решение о необходимости принятия мер по устранению недопонимания (при необходимости) и возможности перехода на следующий этап тестирования в отчете и/или резюме отчета по пользовательскому тестированию.
4. Предоставить скорректированный отчет и/или резюме отчета по пользовательскому тестированию.

Превентивные меры: 

1. Оценивать соответствие результатов каждого этапа пользовательского тестирования критериям приемлемости, указанным в Приложении 14 к Требованиям к инструкции по медицинскому применению лекарственных препаратов и общей характеристике лекарственных препаратов для медицинского применения, утвержденным Решением Совета ЕЭК от 03.11.2016 г. № 88.
   В том числе проводить анализ неправильных ответов респондентов с целью выявления факторов, затрудняющих понимание информации ЛВ.

2. В рамках интервью собирать обратную связь от респондентов относительно содержания и дизайна листка-вкладыша, а также варианты неправильных ответов. Оценивать неправильные ответы и обратную связь от респондентов на наличие значимых замечаний и пожеланий относительно содержания и дизайна ЛВ после каждого этапа основного раунда тестирования.
   Результаты пилотного раунда оценить с точки зрения понятности формулировок вопросов. Критерии приемлемости для данного этапа представлены выше.

3. Если обратная связь от респондентов относительно содержания и дизайна ЛВ не содержит значимых замечаний и пожеланий относительно содержания и дизайна листка-вкладыша и результаты 1-го или 2-го этапов основного этапа пользовательского тестирования соответствуют критериям приемлемости, то отсутствует необходимость предпринимать какие-либо меры по устранению недопонимания, в т.ч. корректировки ЛВ, и допускается переходить к следующему этапу тестирования.
   Если результаты 1-го или 2-го этапов основного раунда пользовательского тестирования не соответствуют критериям приемлемости, и/или получены значимые замечания/ пожелания относительно содержания и дизайна ЛВ, и/или выявлены иные негативно влияющие на понимание и использование листка-вкладыша факторы, необходимо предпринять меры по устранению недопонимания, например, путем внесения изменений в содержание и/или дизайн листка-вкладыша. В этом случае необходимо повторить предшествующие этапы пользовательского тестирования.

4. Отражать результаты анализа результатов тестирования и обратной связи от респондентов, а также принятое по результатам этого анализа решение о необходимости принятия мер по устранению недопонимания (при необходимости) и возможности перехода на следующий этап тестирования в отчете и/или резюме отчета по пользовательскому тестированию.

ЗАПРОС 5

Отсутствуют критерии оценки поиска информации респондентом «нашел / не нашел», ответ на вопрос. Не выделены критерии оценки «поиска» информации и «понимания» информации.

Указать интерпретацию качественной оценки понимания вопросов для используемых категорий, ответов на вопросы (для оценки нахождения ответов на вопрос такая интерпретация есть) и как качественные ответы интерпретированы в количественные оценки (для нахождения и понимания).

Тактика ответа:

При отсутствии в документах по пользовательскому тестированию критериев и шкал оценки ответов, дополнить соответствующей информацией протокол и отчет. Предоставить в рамках ответа скорректированные документы.

Превентивные меры:

Критерии оценки ответов для вопросов категории «поиск», «понимание», «применение» включать в протокол и отчет пользовательского тестирования. В протоколе и отчете описывать используемую шкалу оценки ответов респондентов. Например, может быть использована бинарная шкала (правильно/неправильно) или шкала, которая предполагает классификацию ответов с учетом совокупности факторов, таких как время, затраченное на поиск ответа, трудности при поиске ответа и т.д. Кроме того, использованные шкалы могут предполагать конвертацию качественных результатов в баллы, что, в свою очередь, также должно быть описано.

ПРИМЕР КРИТЕРИЕВ ОЦЕНКИ ОТВЕТОВ

Критерии результата «правильно»: участник нашел нужную для ответа на вопрос информацию (параметр оценки – поиск) или дал ответ, по смыслу соответствующий представленной в ЛВ информации в отношении данного вопроса (параметр оценки – понимание).

Критерии результата «неправильно»: участник не нашел нужную для ответа на вопрос информацию (параметр оценки – поиск) или не смог дать ни одного из возможных вариантов правильного ответа, если вопрос предусматривал несколько тактик действия (параметр оценки – понимание).

Заключение

Надеюсь, что представленная в статье информация будет полезна при подготовке и/или проверке документов по результатам пользовательского тестирования ЛВ (в случае, если пользовательское тестирование отдано на аутсорсинг) и поможет оптимизировать трудо-временные затраты при ведении регистрационных мероприятий.

Удачных подач!

Данная статья является частью проекта «Регуляторная осознанность». Другие материалы проекта доступны на сайте.

***

¹  «Профилактика» запросов по пользовательскому тестированию листка-вкладыша. Часть 1 – опубликована в NPJ 3/2024 (https://npjnews.com/arhiv/)
²   Парфенова Е.Ю. Пользовательское тестирование. Опыт экспертизы [Презентация] // Научно-практическая конференция «Регуляторная практика и регистрация лекарственных средств» – «РЕГЛЕК 2023», – М., 24 апреля 2023.