Заключение по оценке
Файл: АПН образец методички.docx | Язык: RU | Риск: MEDIUM
Общее заключение
Банк тестовых заданий по практике умений и навыков в образовательной программе 6В10117 «Стоматология» представлен в формате методических рекомендаций с детальным алгоритмом выполнения каждой практической процедуры. Общее качество материалов можно оценить как удовлетворительное с рядом значительных достоинств и системных недостатков, влияющих на валидность и надежность оценивания. В первую очередь, следует отметить высокую инструктивную плотность и подробность описания этапов практических заданий, что способствует стандартизации проведения и оценивания. Однако, во многих заданиях отсутствует явно сформулированный ответный ключ в формате тестовых вопросов с вариантами ответов, что затрудняет единообразную проверку знаний и навыков, снижая уровень объективности экзаменации.
Ключевые сильные стороны:
- Детальное описание процедур с конкретными временными рамками, максимальным количеством баллов и проходным баллом, что повышает стандартизацию.
- Доступное, последовательно структурированное изложение каждого алгоритма с обозначением необходимых предметов и действий.
- Присутствие критериев оценки по частям задания, что облегчает формирование и применение рубрик для критериев оценивания.
Основные недостатки и риски:
1) Отсутствие типовых тестовых вопросов (multiple choice, single best answer) с четким ключом правильных ответов. Вся оценка построена на практическом выполнении, что требует очень строгой и контролируемой проверки, при этом не предоставляется механизм исключения субъективности.
2) Язык и стилистика инструкций не всегда выдержаны единой терминологией. Есть вариативность терминов (например, разные варианты указания температуры или действий), что может приводить к неоднозначности понимания задания экзаменаторами и экзаменуемыми.
3) В некоторых местах алгоритмы излишне детализированы или избыточны, что может создавать когнитивную нагрузку и затруднять восприятие на экзамене.
4) Недостаточная проработанность критериев оценки конкретных ошибок или отклонений от алгоритмов (нет рекомендаций, как оценивать вариации или незначительные отклонения).
5) Повторение отдельных формулировок и пунктов снижает качество восприятия и увеличивает риск технических ошибок в процессе обучения и тестирования.
6) Отсутствие системной проверки полноты и актуальности медицинского содержания со стороны профильных экспертов, что создаёт риски ошибок медицинского характера в методике проведения.
7) Отсутствие адаптации заданий и критериев под разные уровни сложности и когнитивные навыки, что затрудняет выстраивание градации заданий по сложностям.
Общая оценка качества - 6 из 10. Для повышения валидности и надежности оценивания предлагается провести комплекс мероприятий по стандартизации заданий, разработке тестовых вопросов, четкой формализации критериев оценивания и проведению экспертного аудита содержания с медицинской проверкой.
Подход к улучшению должен быть поэтапным и цикличным, с вовлечением авторов, экспертов и комиссии по качеству экзаменационных материалов, с дальнейшим обучением экзаменаторов и обратной связью от экзаменуемых.
Рекомендации в целом направлены на обеспечение устойчивости методики, снижение субъективности оценивания и обеспечение соответствия международным требованиям к оценке практических навыков в медицинском образовании.
Основные выводы
- [HIGH] Отсутствие формализованного ответного ключа и стандартизированных тестовых заданий
В банке представлены лишь подробные алгоритмы практических заданий и рекомендации по оценке, но нет ни одного тестового вопроса с четко помеченными правильными и неправильными вариантами ответа. Это существенно снижает объективность и воспроизводимость результатов тестирования, особенно при проведении экзамена группой разных экзаменаторов. - [HIGH] Недостаточная унификация терминологии и стилистики изложения заданий
Повторяющиеся формулировки в разных вариантах, избыточное использование синонимов и неточное описание используемых материалов создает риск субъективных трактовок со стороны экзаменаторов и участников, что снижает прозрачность и ясность заданий. - [MEDIUM] Нечеткие критерии оценки частичных ошибок и вариаций исполнения
Алгоритмы подробно описывают выполнение шагов, но не содержат рекомендаций по оценке отклонений, малозначительных ошибок или нестандартных, но приемлемых вариаций выполнения, что ведет к разночтениям и снижает надежность оценки. - [MEDIUM] Систематическая избыточность и дублирование информации
Много похожих описаний повторяется в каждом задании по шаблону «познакомиться, представить себя, надеть маску, перчатки», что увеличивает объем документов, затрудняет поиск ключевой информации и может вызывать усталость и поверхностное восприятие. - [MEDIUM] Недостаточный уровень медицинской экспертизы и контроля актуальности содержания
В представленном материале отсутствуют пометки о медицинской верификации, экспертной проверке актуальности алгоритмов. Более того, не указаны источники стандартов, на которых базируется материал, что увеличивает риск устаревания или ошибочных рекомендаций. - [LOW] Однообразие формата и отсутствие варьирования сложности заданий
Все задания рассчитаны на выполнение алгоритмов с одинаковым максимальным баллом (20) и временем (5 минут), что ограничивает дифференциацию по уровню сложности и развитие аналитических навыков у обучающихся. - [LOW] Языковые и орфографические неточности
В некоторых местах встречаются стилистические и пунктуационные ошибки, например, лишние пробелы, неоправданное использование числовых значений или знаков. Это снижает восприятие текста и может привести к недопониманию.
Оценки качества
| Критерий | Оценка |
|---|---|
| clarity | 7.0 |
| single_best_answer | 3.0 |
| distractors | 2.0 |
| no_clues | 8.0 |
| language | 6.0 |
| structure_consistency | 6.0 |
| difficulty_balance | 5.0 |
| content_accuracy | 7.0 |
| formatting_quality | 7.0 |
| answer_key_quality | 2.0 |
Типовые ошибки
- Отсутствие четко разграниченных вариантов ответов с явным указанием правильного
Почему плохо: Приводит к ненадежности проверки, субъективности и невозможности автоматизации анализа результатов.
Как исправить: Разработать для каждого практического алгоритма тесты с несколькими вариантами ответа, включая один однозначно правильный, с четким ключом. - Повторяющиеся одинаковые формулировки в начале каждого алгоритма
Почему плохо: Увеличивает объем документов, снижает концентрацию внимания, вводит избыточность.
Как исправить: Вынести стандартные вводные инструкции в отдельный раздел и ссылаться на них вместо повторений. - Отсутствие алгоритма оценки отклонений и ошибок в выполнении
Почему плохо: Экзаменаторы не имеют единой методики оценки частичных и неточных действий, что снижает объективность.
Как исправить: Дополнить каждый алгоритм таблицей с критериями частичных ошибок и степенью штрафа. - Локальная неоднозначность формулировок
Почему плохо: Например, вариации в указании температур, дозировок, позиций пациента могут вести к разной интерпретации.
Как исправить: Провести выверку терминологии с экспертами и стандартизировать набор фраз и величин. - Отсутствие медицинской верификации и ссылок на стандарты
Почему плохо: Повышается риск устаревших или неточных методик, ошибки в пациентах и образовании.
Как исправить: Привлечь профильных медицинских экспертов для аудита содержания с документированием источников. - Единый максимальный балл за все задания без вариаций
Почему плохо: Не отражает дифференцированность по сложности, несправедливо для разных заданий.
Как исправить: Обозначить градацию сложности и соответственно дифференцировать максимальные/минимальные баллы. - Отсутствие предусмотренного времени на трактовку результатов и обратную связь экзаменуемому
Почему плохо: Не учитывает процессы анализа и корректировки, увеличивает нагрузку и стресс.
Как исправить: Добавить в регламент время для уточнения результатов и обсуждения с экзаменуемым.
План действий
| Шаг | Действие | Ответственный | Ожидаемый результат |
|---|---|---|---|
| 1 | Разработать шаблоны тестовых вопросов формата single-best-answer на основе каждого практического задания. | Автор | Наличие стандартизированных тестовых заданий с четко сформулированными и проверяемыми вариантами ответов. |
| 2 | Провести внутреннюю редактуру для унификации терминологии и стиля изложения текстов. | Автор | Согласованный единый стиль и терминология, исключающие неоднозначность восприятия. |
| 3 | Внедрить четкие критерии оценки частичных ошибок и нестандартного выполнения, разработать таблицы оценок по каждому заданию. | Эксперт | Обеспечение единообразной и объективной оценки на практике. |
| 4 | Провести медицинский аудит содержания с участием профильных специалистов и обновить материалы согласно современным стандартам. | Комиссия | Актуализированное, проверенное содержание с указанием источников и стандартов. |
| 5 | Создать единый раздел с общими регламентами и инструкциями, чтобы минимизировать повторы в каждом задании. | Автор | Оптимизированный объем документов, снижение избыточности. |
| 6 | Внедрить градацию сложности заданий с соответствующей шкалой баллов и временем выполнения. | Эксперт | Дифференцированная и справедливая система оценивания. |
| 7 | Обучить экзаменаторов новым формализованным критериям и правилам оценивания, включая работу с новым форматом вопросов. | Комиссия | Повышение надежности и объективности оценивания на экзаменах. |
| 8 | Запустить пилотное тестирование обновленного банка заданий с последующим сбором и анализом обратной связи. | Комиссия | Выявление слабых мест и корректировка материалов перед окончательным запуском. |
| 9 | Разработать методику и регламент для постоянного мониторинга и регулярного обновления материалов банка тестов. | Комиссия | Система обеспечения устойчивого качества и актуальности банка тестов. |
Выборочная проверка
Выборка: 30
- Вопрос 1: Отсутствует формализованный ключ правильных ответов, только пошаговый алгоритм.
- Вопрос 6: Текст задания содержит неоднозначные указания по положению пациента.
- Вопрос 14: Неоднородность инструкции по дезинфекции и обработке термометра.
- Вопрос 16: Стилистические ошибки и неоднозначное описание обработки ампулы.
- Вопрос 20: Отсутствие указаний по ведению частичных ошибок или некорректной технике.
- Вопрос 21: Использование конкретного препарата (будесонид) без актуального медицинского подтверждения.
- Вопрос 23: Избыточное дублирование стандартных инструкций, усложняющее восприятие.
- Вопрос 25: Недостаточная детализация критериев оценки работы с катетером.
- Вопрос 29: Ошибки в перечислении электродов и их расположения, возможный риск медицинской неточности.
- Вопрос 30: Отсутствие четкого времени выполнения каждого шага сердечно-легочной реанимации.