Аннотация
Ограниченность отечественных научных исследований о валидности отчетов о профессиональной деятельности специалиста для измерения профессионального развития врачей, инициировали настоящее исследование, целью которого стала оценка полноты отражения в аттестационных листах и отчетах лиц, претендующих на квалификационную категорию, знаний, умений и навыков, требуемых в соответствии с приказом Министерства здравоохранения РФ от 31 августа 2023 г. № 458н "Об утверждении порядка и сроков прохождения медицинскими работниками и фармацевтическими работниками аттестации для получения квалификационной категории" Методы. Выполнена оценка 14 экспертами 210 аттестационных листов и 210 отчетов по специальностям «пульмонология» и «организация здравоохранения и общественное здоровье» на предмет полноты отражения в данных документах знаний, умений и навыков, требуемых приказом Минздрава России от 31 августа 2023 г. № 458н по 5-бальной шкале, где 1 – невозможность оценить и наличие, ни уровень конкретного знания/умения, или навыка; 5 - в полной мере можно объективно оценить истинный уровень конкретного требуемого знания/умения, или навыка. Определена непараметрическими методами статистического анализа значимость разницы оценок между двумя и более независимыми группами, корреляция экспертных баллов по оцениваемым признакам квалификации. Результаты. Изучаемые аттестационные листы не содержат информацию, достаточную для объективной оценки требуемых Приказом признаков квалификации. Только 7.1% отчетов позволяли объективно оценить уровень знаний по специальности, 4.8% – умений составлять отчет о профессиональной деятельности специалиста , 3.3%– навыков по специальности и смежным специальностям, 2.9% – знаний по смежным специальностям. В большинстве требуемых признаков квалификации нет разницы экспертных оценок в отношении аттестационных листов и отчетов (0.081≤р≤0.955), документов, представленных по специальностям «Пульмонология» и «Организация здравоохранения и общественное здоровье» (0.136≤р≤0.936), и на разные категории (0.138≤р≤0.868). Есть корреляция экспертных оценок полноты сведений, касающихся знаний, умений и навыков (р≤0.001). Заключение. Отчеты и аттестационные листы, используемые при аттестации врачей, не являются объективными инструментами измерения знаний, навыков и умений, требуемых для определения квалификационной категории, что говорит о необходимости модернизации данных документов с учетом современных требований к инструментам оценки профессиональной деятельности врачей.Литература
Morán-Barrios J. et al. Directiva de la Sociedad de Educación Médica de Euskadi. Reinventar la formación de médicos especialistas. Principios y retos // Nefrologia. – 2010. – V.30. – N.6 – P.604-12. [Reinventing specialty training of physicians? Principles and challenges // Nefrologia. – 2010. – V.30. – No.6 – P.604-612. In Spanish]. DOI:10.3265/Nefrologia.pre2010.Jul.10559.
Attree M. Evaluating healthcare education: issues and methods // Nurse Educ Today. – 2006. – V.26. – No.8. – P.640-646. DOI:10.1016/j.nedt.2006.07.014.
Gershuni O. et al. Is there a golden recipe? A scoping review of public health workforce development // Eur J Public Health. – 2019. – V.29. – No.3. –P.401-408. DOI:10.1093/eurpub/cky247.
Fotheringham D. Triangulation for the assessment of clinical nursing skills: a review of theory, use and methodology // Int J Nurs Stud. – 2010. – V.47. – No.3. – P.386-391. DOI: 10.1016/j.ijnurstu.2009.09.004.
General medical Council. URL: https://www.gmc-uk.org/professional-standards/professional-standards-for-doctors/good-medical-practice/the-duties-of-medical-professionals-registered-with-the-gmc.
Мишарин В. М. и др. Активность медицинских общественных объединений за рубежом в сфере профессионального развития врачей // Современные проблемы здравоохранения и медицинской статистики. – 2024. – №5. – С.896-906. [Misharin V. M. et al. Activities of medical public associations abroad in the field of advanced training of doctors // Sovremennye problemy zdravoohraneniya i medicinskoj statistiki (Modern problems of healthcare and medical statistics). – 2024. –No.5. – P.896-906. In Russian] DOI:10.24412/2312-2935-2024-5-896-906/.
Summary report and preliminary recommendations from the Invitational Conference on USMLE Scoring (InCUS), March 11-12, 2019. URL: https://www.usmle.org/sites/default/files/2021-08/incus_summary_report.pdf.
Thiessen N. et al. Assessment methods in medical specialist assessments in the DACH region - overview, critical examination and recommendations for further development // GMS J Med Educ. – 2019. Vol.36. – No.6. – P.78. DOI: 10.3205/zma001286.
McManus I.C. et al. Assessment of examiner leniency and stringency ('hawk-dove effect') in the MRCP(UK) clinical examination (PACES) using multi-facet Rasch modelling // BMC Med Educ. – 2006. – No.6. – P.42. doi.org/10.1186/1472-6920-6-42.
Fuchs J.W. et al. Mitigating bias in the era of virtual residency and fellowship interviews // J Grad Med Edu. – 2020. – No.12. – P.674–677. DOI: 10.4300/JGME-D-20-00443.1.
Ryan T. Addressing bias and lack of objectivity in the Canadian resident matching process // CMAJ. – 2018. – No.190. – P.e1211–e1212. DOI: 10.1503/cmaj.70008.
Гуцыкова, С.В. Метод экспертных оценок. Теория и практика // М.: Институт психологии РАН. – 2011. – С.161. [Gutsykova S.V. The method of expert assessments. Theory and practice. Moscow: Institute of Psychology of the Russian Academy of Sciences. – 2011. – P.161. In Russian].
Seaward J.R. et al. Rating the Rater: A Technique for Minimizing Leniency Bias in Residency Applications Plast Reconstr // Surg Glob Open. – 2023. – V.11. – No.4. – P.4892. DOI: 10.1097/GOX.0000000000004892.
Kiraly L. et al. Hawks and doves: adjusting for bias in residency interview scoring // J Surg Educ. 2020. – No.77. – P.132–137. DOI: 10.1016/j.jsurg.2020.08.013.
Clement E.A. et al. Exploring the Quality of Feedback in Entrustable Professional Activity Narratives Across 24 Residency Training Programs // J Grad Med Educ. – 2024. – V.16. – No.1. – P.23-29. DOI:10.4300/JGME-D-23-00210.1.
Крянев А.В. и др. К вопросу о качестве и надежности экспертных оценок при определении технического уровня сложных систем // Надежность. – 2013. – №4. – С.90-109. [Kryanev A.V. et al. On the issue of the quality and reliability of expert assessments in determining the technical level of complex systems // Reliability (Nadezhnost'). – 2013. – No.4. – P.90-109. In Russian]. DOI:10.21683/1729-2646-2013-0-4-90-109.