Статья: Анализ положений, регламентирующих инструменты оценки в системе аттестации врачей

(Мишарин В.М., Кочубей А.В.)

(«Современные проблемы здравоохранения и медицинской статистики», 2024, № 2)

«Современные проблемы здравоохранения и медицинской статистики», 2024, № 2

Авторы заявляют об отсутствии конфликта интересов.

Введение. Профессиональное развитие кадров невозможно без объективной оценки компетентности. Хотя спектр инструментов оценки многогранен, практика оценивания профессиональной компетентности находится в зачаточном состоянии, так как традиционные инструменты неадекватны для измерения сложных компетенций. Основная проблема инструментов оценки квалификации заключается в нехватке эмпирических данных о чувствительности и надежности инструментов оценки в отношении определенных компетенций. Регламентация инструментов оценки квалификации призвана обеспечить ее единообразное надежное измерение.

Цель исследования: определение объективности инструментов оценки квалификации, применяемых при аттестации врачей.

Материалы и методы. Контент-анализ Приказа Министерства здравоохранения РФ от 31 августа 2023 г. № 458н «Об утверждении порядка и сроков прохождения медицинскими работниками и фармацевтическими работниками аттестации для получения квалификационной категории» выполнен относительно положений, регламентирующих инструменты оценки квалификационных категорий. Анализировались способность инструментов измерять достоверные признаки (знания, умения, навыки) квалификации, надежность в измерении выраженности признаков квалификации в зависимости от категории, независимость от компетентности лиц, проводящих аттестацию и/или разрабатывающих инструмент оценки.

Результаты. Большинство инструментов оценки позволяют установить наличие формальных признаков профессионального развития и не предназначены для измерения квалификации. К инструментам, способным измерить бесспорные признаки (знания, умения, навыки) квалификации можно отнести отчет, заключение на отчет, собеседование, тестовый контроль. Минусом первых трех инструментов является зависимость оценки от компетентности лиц, проводящих аттестацию. Качество тестового контроля зависит от методологической подготовки разработчиков тестовых заданий. Недостатком всех инструментов, способных измерить квалификацию, является отсутствие параметров градации признаков квалификации по отдельным категориям.

Обсуждение. Инструменты оценки квалификации должны обеспечивать измерение прямых бесспорных характеристик квалификации и надежность измерения. Несоблюдение данных требований в отношении инструментов оценки, установленных Приказом, обусловлено ключевыми проблемами — отсутствием апробационных исследований и неравной методологической подготовкой разработчиков инструментов.

Выводы (заключение). Утвержденные инструменты оценки квалификации не гарантируют единого достоверного измерения квалификации при проведении аттестации.

Ключевые слова: аттестация, квалификационная категория, профессиональное развитие, инструменты оценки квалификации.

ANALYSIS OF THE PROVISIONS GOVERNING ASSESSMENT TOOLS IN THE DOCTOR CATEGORIZATION SYSTEM

V.M. Misharin, A.V. Kochubey

Misharin Viktor M. — PhD, Director of the Scientific Research Institute of Pulmonology of the FMBA of Russia.

Kochubey Adelina V. — Dr. Sc. (Med.), Professor, Head of the Department of Economics and Marketing in Healthcare of the Academy of Postgraduate Education of FMBA.

The authors declare no conflict of interest.

Introduction. Professional development of staff is impossible without an objective assessment of competencies. Although the range of assessment tools used today is multifaceted, for some competencies, the practice of assessment is in its infancy. Traditional assessment tools are inadequate for measuring complex competencies. The main problem of objective assessment of competencies is the lack of empirical data on the sensitivity and reliability of assessment tools in relation to certain competencies. The regulation of qualification assessment tools is designed in such a way as to ensure its uniform reliable measurement.

The aim is determination of the objectivity of the qualification assessment tools used in the qualification of doctors.

Materials and methods. Content analysis of the provisions of the Order of the Ministry of Health of the Russian Federation No. 458n dated August 31, 2023, regulating tools for assessing qualification categories. The suitability of assessment tools for the objective measurement of qualifications by category is analyzed.

Results. Most assessment tools allow you to establish the presence of formal signs of professional development and are not intended to measure qualifications. Tools that can measure qualifications include a report, report conclusion, interview, and test control. The disadvantage of the first three tools is the dependence of the assessment on the competence of the persons conducting the categorization. The quality of the test control depends on the methodological training of the developers of the test tasks. The disadvantage of all tools capable of measuring qualifications is the lack of qualification assessment parameters for various categories.

Discussion. Qualification assessment tools should provide an objective measurement of the indisputable characteristics of qualifications. High methodological training of developers of assessment tools and conducting approbation studies allows meeting these requirements.

Conclusions. The qualification assessment tools established by the Order do not guarantee a single reliable measurement of qualifications in categorization.

Key words: categorization, professional grade, professional development, qualification assessment tools.

Введение. Все сферы деятельности нуждаются в компетентных специалистах, способных обеспечить развитие организации и отрасли [1]. Вместе с тем подготовка таких специалистов, их профессиональное развитие невозможны без объективной оценки компетенций [2]. Хотя спектр инструментов оценки, применяемых сегодня, многогранен, для некоторых компетенций практика оценки находится в зачаточном состоянии [3, 4]. Это обусловлено отчасти нехваткой эмпирических данных о чувствительности и надежности инструментов оценки в отношении определенных компетенций [5, 6].

Вообще, прогресс в развитии инструментов оценки компетенций был несколько однобок, будучи ориентирован на приспособление традиционных методов к многомерным компетенциям [7, 8]. Хотя для измерения сложных компетенций традиционные инструменты оценки неадекватны [9]. Например, компетенции плохо поддаются оценке тестированием из-за отсутствия подтвержденных моделей, связывающих тестовые вопросы с реальными компетенциями [10, 11].

Несмотря на то что любой инструмент оценки компетенций имеет недостатки, их можно нивелировать, применив сочетание различных инструментов или обратив на недостатки внимание при разработке [12, 13]. К сожалению, публикаций, описывающих исследования по разработке инструментов оценки компетенций, недостаточно [14]. Это затрудняет устранение недостатков при создании инструментов оценки компетенций другими разработчиками, а также реализацию и копирование инновационных подходов к оценке компетенций [12]. Регламентация инструментов оценки квалификации призвана обеспечить единообразное надежное измерение профессиональных компетенций [12, 15 - 17].

Учитывая значимость инструментов оценки компетенций, целью настоящего исследования стало определение объективности инструментов оценки квалификации, применяемых при аттестации врачей.

Материалы и методы. Контент-анализ Приказа Министерства здравоохранения РФ от 31.08.2023 № 458н «Об утверждении порядка и сроков прохождения медицинскими работниками и фармацевтическими работниками аттестации для получения квалификационной категории» (далее — Приказ) выполнен относительно положений, устанавливающих инструменты оценки квалификационных категорий (далее — инструменты).

Инструменты оценки рассматривались на предмет их способности измерять достоверные признаки (знания, умения, навыки) квалификации, включая степень их развития, гарантировать независимость оценки от компетентности лиц, проводящих аттестацию и/или разрабатывающих инструмент оценки.

Результаты. Инструменты оценки квалификации регламентирует раздел III «Проведение аттестации» Приказа, в частности пункты 34.2 — 34.6, 34.8, 42, 44 — 47, 49, а также приложение 2.

К инструментам оценки квалификации аттестуемого можно отнести: аттестационный лист, отчет, копии документов об образовании, квалификации, допуске к практической деятельности (сертификаты и свидетельства об аккредитации), о присвоении ученой степени, выписку из трудовой книжки и документы о медицинском стаже, заключение на отчет, тестовый контроль, собеседование.

Аттестационный лист имеет рекомендованный формат, обеспечивающий единообразное представление сведений от аттестуемых. Сведения, излагаемые в аттестационном листе, можно разделить на формальные и косвенные признаки профессионального развития.

К формальным признакам профессионального развития можно отнести: информацию об образовании, продолжительность работы в должности, должность, общий медицинский стаж, наличие ученой степени и квалификационной категории, характеристику аттестуемого.

К косвенным признакам профессионального развития можно отнести: наличие научных трудов и свидетельств интеллектуальной собственности, знание иностранного языка.

При этом в рамках аттестации в отношении таких признаков, как информация об образовании, характеристика, наличие научных трудов и свидетельств интеллектуальной собственности, знание иностранного языка, нельзя определить степень их развития.

Часть сведений подтверждается документами, которые представляет аттестуемый. Часть сведений — перечень научных трудов и интеллектуальной собственности — может быть проверена на сторонних открытых ресурсах. Но данные проверки не являются обязательными и не оговариваются в Приказе. Сведения о знании иностранного языка не могут быть подтверждены при аттестации.

Отчет не имеет формализованного рекомендуемого образца. К требованиям к отчету можно отнести: период описываемой профессиональной деятельности; формат изложения сведений в виде анализа с ориентацией на установленные Приказом требованиям к уровням квалификации; структуру отчета, которая должна включать сведения о выполненной работе, выводы о работе, предложения по улучшению работы.

Период описываемой профессиональной деятельности является формальным признаком квалификации.

Качество анализа демонстрирует аналитические способности аттестуемого и косвенно связано с квалификацией в области медицинской профессиональной деятельности. Главный недостаток оценки качества анализа — зависимость от компетентности лица, проводящего аттестацию.

Рекомендация ориентироваться на установленные требования к уровням квалификации призвана облегчить написание отчета, но требуемые знания, умения и навыки не конкретизированы, предоставляя экспертам определение содержания и объема указанных знаний, умений и навыков в зависимости от собственной компетентности.

Рекомендуемая структура отчета облегчает его формирование для аттестуемого. При этом качество выводов и предложений в отношении профессиональной деятельности достоверно демонстрирует квалификацию в области выполняемой работы. Но снова оценка выводов и предложений аттестуемого зависима от компетентности экспертов.

Документы об образовании, о квалификации, об ученой степени, о допуске к практической деятельности, о стаже формально отражают квалификацию, не дают понимания уровня знаний, умений и навыков в профессиональной сфере.

Требования к заключению на отчет даны в пункте 42 Приказа. В требованиях указано, что в заключении отражается оценка знаний и практических навыков через сведения о применяемых методах диагностики, профилактики, лечения, реабилитации; об используемых медицинских изделиях; о работе в научных обществах; о наличии научных публикаций; о работе в профессиональных организациях; о самообразовании. При этом в Приказе не даны критерии отрицательной оценки отчета.

Сведения о применяемых методах диагностики, профилактики, лечения, реабилитации и об используемых медицинских изделиях демонстрируют квалификацию в области выполняемой профессиональной работы. То есть данные сведения служат достоверными признаками развития в профессиональной сфере. Но перечень методов и медицинских изделий, требуемых для каждой категории, не указан, поэтому оценка зависит от компетентности экспертов.

Сведения о работе в научном обществе и профессиональных организациях, как и научные публикации и самообразование, являются косвенными признаками профессионального развития. В Приказе не указаны объем работ в научном обществе или в профессиональных организациях, число научных публикаций, считающееся достаточным для каждой категории. В рекомендациях к отчету нет указаний на описание работы в научных обществах, профессиональных организациях, сведений о научных публикациях и о самообразовании. Хотя сведения о научных публикациях указываются в аттестационном листе, подтверждение (проверка) этих сведений возможно только при обращении к сторонним ресурсам, например elibrary. Также аттестуемый не представляет документов, подтверждающих его работу или членство в научных обществах и профессиональных организациях. Что касается самообразования, то как процесс образования без привлечения обучающих он не может быть подтвержден. Если под самообразованием в Приказе понимается непрерывное развитие, подтверждаемое документами об образовании, то оно является косвенным признаком профессионального развития. Документы об образовании не служат достоверным признаком квалификации. Результаты оценки сведений о работе в научном обществе и профессиональных организациях, научных публикациях и самообразовании зависимы от компетентности лица, проводящего аттестацию.

Требования к тестовому контролю даны в пунктах 44 — 46 Приказа. Установлено, что для проведения тестового контроля используются тестовые задания, что тестирование проводится в виде компьютерного тестирования, что автоматически комплектуется пул заданий для каждого аттестуемого в соответствии со специальностью, что протокол тестирования формируется автоматически, что минимальный порог прохождения тестового контроля составляет 70% верных ответов. Данные требования являются едиными для всех аттестационных комиссий.

Число заданий, комплектуемых из общего банка заданий, для каждого аттестуемого, время на тестовый контроль, содержание и виды тестовых заданий устанавливаются аттестационными комиссиями. Хотя тестирование является известным и справедливым методом оценки знаний, надежность и чувствительность данного инструмента зависит от методического уровня разработчиков тестовых заданий. Методический уровень разработчиков гарантирует равномерность сложности вопросов, связь заданий с практикой, адекватный временной интервал для решения, противодействие угадыванию, однозначность ответа, правдоподобность вариантов ответов, апробирование тестов, выбор удобных и устойчивых к сбоям программ тестирования. Учитывая, что создание банка тестов — ответственность аттестационных комиссий, качество тестовых заданий может быть различным по разным специальностям и аттестационным комиссиям. Кроме того, в требованиях к тестовому контролю стоит автоматическое комплектование заданий для каждого аттестуемого в соответствии со специальностью, но не в соответствии с уровнем категории, на которую претендует аттестуемый. То есть уровень сложности выбранных тестовых заданий может быть одинаковым для аттестуемых на разные категории или более сложным для аттестуемых на низшие категории, чем на более высокие. В Приказе не прописаны требования к объему банка тестовых заданий по специальности, что также снижает результативность тестирования.

Собеседование регламентировано пунктом 47 Приказа. Установлено, что собеседование призвано установить теоретическую и практическую подготовку аттестуемого. В Приказе не указаны критерии успешного прохождения собеседования для отдельных уровней квалификации. Единственным критерием отрицательной оценки собеседования является неявка аттестуемого. В отсутствие критериев объективность собеседования в верификации квалификации зависит от компетентности и личных представлений лиц, проводящих собеседование, их понимания содержания и объема подготовки аттестуемого для каждой категории.

Обсуждение. Инструменты оценки квалификации имеют типичные недостатки, характерные для большинства инструментов оценки компетенций. Большинство инструментов оценки при аттестации ориентированы на измерение формальных и/или косвенных признаков квалификации. Самой частой проблемой оценки компетенций является крен в сторону формальных признаков, а не выбор знаний, умений, навыков, являющихся прямыми признаками квалификации [18 - 20]. Не менее частыми ошибками являются выбор неверных прямых признаков, не отражающих определенную квалификацию, и, наконец, неадекватных критериев, не способных измерить уровень знаний, умений и навыков [21 - 23].

К инструментам оценки предъявляется требование, во-первых, обеспечить измерение установленных аспектов квалификации, во-вторых, гарантировать достоверность измерения [22, 24]. Соблюсти данные требования при выборе и разработке инструментов оценки сложно, требуется высокая методологическая подготовка разработчиков и проведение апробационных исследований [23 - 26].

Выводы. Анализ инструментов оценки, установленных Приказом, показал, что большинство из них не позволяют измерить квалификацию в профессиональной сфере и верифицировать уровень квалификации. Качество ряда инструментов зависит от компетентности разработчиков данных инструментов. Результаты оценки во многом зависят от личных представлений и компетентности лиц, проводящих аттестацию.

Таким образом, установленные Приказом инструменты оценки квалификации не гарантируют единого и высокого качества измерения квалификации при проведении аттестации.

1. Gordon I.J., Bawa K., Bammer G. et al. (2019) Forging future organizational leaders for sustainability science. Nat Sustain. 2: 647-649. https://doi.org/10.1038/s41893-019-0357-4.

2. Waltner E.-M., RießW., Mischo C. (2019) Development and validation of an instrument for measuring student sustainability competencies. Sustainability. 11: 1-20. https://doi.org/10.3390/su11061717.

3. Cebrián Bernat G., Segalás Coral J., HernándezGómezM.A. (2019) Assessment of sustainability competencies: a literature review and future pathways for ESD research and practice. Cent Eur Rev Econ Manag. 3: 19-44. https://doi.org/10.29015/cerem.664.

4. Зимина Э.В., Кочубей А.В., Конаныхина А.К., Наваркин М.В. Отечественная система подготовки и непрерывного профессионального развития специалистов в сфере здравоохранения: SWOT-анализ. Современные проблемы науки и образования. 2015; 4: 445.

5. Schuwirth L.W.T., Van Der Vleuten C.P.M. (2011) Programmatic assessment: from assessment of learning to assessment for learning. Med Teach. 33: 478-485. https://doi.org/10.3109/0142159X.2011.565828.

6. Remington-Doucette S.M., Hiller Connell K.Y., Armstrong C.M., Musgrove S.L. (2013) Assessing sustainability education in a transdisciplinary undergraduate course focused on real-world problem solving. Int J Sustain High Educ. 14: 404-433. https://doi.org/10.1108/IJSHE-01-2012-0001.

7. Reckase M.D. (2017) A tale of two models: sources of confusion in achievement testing. ETS Res Rep Ser. https://doi.org/10.1002/ets2.12171.

8. Zlatkin-Troitschanskaia O., Shavelson R.J., Kuhn C. (2015) The international state of research on measurement of competency in higher education. Stud High Educ. 40: 393-411. https://doi.org/10.1080/03075079.2015.1004241.

9. Frey A., Hartig J. (2009) Assessment of competencies. Stud Educ Eval 35: 55-56. https://doi.org/10.1016/j.stueduc.2009.10.001.

10. Waltner E.-M., RießW., Mischo C. (2019) Development and validation of an instrument for measuring student sustainability competencies. Sustainability. 11: 1-20. https://doi.org/10.3390/su11061717.

11. Sandri O., Holdsworth S., Thomas I. (2018) Vignette question design for the assessment of graduate sustainability learning outcomes. Environ Educ Res. 24: 406-426. https://doi.org/10.1080/13504622.2016.1263280.

12. Snyder H. (2019) Literature review as a research methodology: an overview and guidelines. J Bus Res. 104: 333-339. https://doi.org/10.1016/j.jbusres.2019.07.039.

13. Конаныхина А.К., Кочубей А.В. Тренинг как технология симуляционного обучения при подготовке административно-управленческих кадров здравоохранения. Виртуальные технологии в медицине. 2015; 2 (14): 31-32.

14. Lockyer J., Carraccio C., Chan M.K. et al. (2017) Core principles of assessment in competency-based medical education. Med Teach. 39: 609-616. https://doi.org/10.1080/0142159X.2017.1315082.

15. Амлаев К.Р., Шикина И.Б., Бузин В.Н., Койчуева С.М., Блинкова Л.Н. Факторы, влияющие на мотивацию профессорско-преподавательского состава медицинского университета к эффективной трудовой деятельности. Современные проблемы здравоохранения и медицинской статистики. 2020; 4. DOI: 10.24411/2312-2935-2020-00131.

16. Амлаев К.Р., Койчуева С.М., Хрипунова А.А., Шикина И.Б., Вдовина И.В., Блинкова Л.Н. Критерии выбора образовательной организации высшего образования и работодателя. Современные проблемы здравоохранения и медицинской статистики. 2020; № 3 С. 132-146. DOI: 10.24411/2312-2935-2020-00064.

17. Амлаев К.Р., Шикина И.Б., Койчуева С.М., Хрипунова А.А. Профессиональная ориентация и востребованность услуг по трудоустройству выпускников медицинских и многопрофильных образовательных организаций высшего образования. Социальные аспекты здоровья населения [сетевое издание] 2020; 66 (3): 11. DOI: 10.21045/2071-5021-2020-66-3-10.

18. Wong S.-C. (2020) Competency Definitions, Development and Assessment: A Brief Review. International Journal of Academic Research in Progressive Education and Development, 9 (3), 95-114.

19. Salman M., Ganie S.A. and Saleem I. (2020) «The concept of competence: a thematic review and discussion», European Journal of Training and Development, Vol. 44. No. 6/7, pp. 717-742. https://doi.org/10.1108/EJTD-10-2019-0171.

20. Найговзина Н.Б., Конаныхина А.К., Кочубей А.В., Зимина Э.В., Наваркин М.В. Приоритетные пути развития системы подготовки и непрерывного профессионального развития кадров в сфере здравоохранения. Бюллетень сибирской медицины. 2014; 13 (3): 126-131. https://doi.org/10.20538/1682-0363-2014-3-126-131.

21. Line J. Øvrebø, Dagrunn N. Dyrstad, Britt S. Hansen. Assessment methods and tools to evaluate postgraduate critical care nursing students' competence in clinical placement. An integrative review, Nurse Education in Practice. 2022; Volume 58: 103258. doi.org/10.1016/j.nepr.2021.103258.

22. Sophia Cyril Vincent, Judie Arulappan, Anandhi Amirtharaj, Gerald Amandu Matua, Iman Al Hashmi. Objective structured clinical examination vs traditional clinical examination to evaluate students' clinical competence: A systematic review of nursing faculty and students' perceptions and experiences. Nurse Education Today. 2022; Volume 108: 105170. doi.org/10.1016/j.nedt.2021.105170.

23. Paul Ross, Rachel Cross, Olivia Sonneborn, Brendan MacDonald, Cathy Dean, Charne Miller. Comparison of postgraduate student and educator appraisals: A retrospective analysis. Nurse Education in Practice. 2017; Volume 23: 82-91. doi.org/10.1016/j.nepr.2017.02.009.

24. Сон И.М., Иванова М.А., Армашевская О.В., Люцко В.В., Гажева А.В., Соколовская Т.А. Результаты фотохронометражных исследований рабочего процесса врачей амбулаторно-поликлинической помощи с учетом возрастных характеристик специалистов. Здравоохранение. 2014; 11: 56-61.

25. Youn S.J. (2020) Managing proposal sequences in role-play assessment: Validity evidence of interactional competence across levels. Language Testing, 37 (1), 76-106. https://doi.org/10.1177/0265532219860077.

26. Redman A., Wiek A. & Barth M. Current practice of assessing students' sustainability competencies: a review of tools. Sustain Sci. 16, 117-135 (2021). https://doi.org/10.1007/s11625-020-00855-1.

1. Gordon I.J., Bawa K., Bammer G. et al. (2019) Forging future organizational leaders for sustainability science. Nat Sustain. 2: 647-649. https://doi.org/10.1038/s41893-019-0357-4.

2. Waltner E.-M., RießW., Mischo C. (2019) Development and validation of an instrument for measuring student sustainability competencies. Sustainability. 11: 1-20. https://doi.org/10.3390/su11061717.

3. Cebrián Bernat G., Segalás Coral J., HernándezGómezM.A. (2019) Assessment of sustainability competencies: a literature review and future pathways for ESD research and practice. Cent Eur Rev Econ Manag. 3: 19-44. https://doi.org/10.29015/cerem.664.

4. Zimina E.V., Kochubej A.V., Konanyhina A.K., Navarkin M.V. Otechestvennaya sistema podgotovki i nepreryvnogo professional'nogo razvitiya specialistov v sfere zdravoohraneniya: SWOT-analiz. [The domestic system of training and continuous professional development of medical workers: SWOT analysis.] Sovremennye problemy nauki i obrazovaniya. [Modern problems of science and education]. 2015; 4: 445 (in Russian).

5. Schuwirth L.W.T., Van Der Vleuten C.P.M. (2011) Programmatic assessment: from assessment of learning to assessment for learning. Med Teach. 33: 478-485. https://doi.org/10.3109/0142159X.2011.565828.

6. Remington-Doucette S.M., Hiller Connell K.Y., Armstrong C.M., Musgrove S.L. (2013) Assessing sustainability education in a transdisciplinary undergraduate course focused on real-world problem solving. Int J Sustain High Educ. 14: 404-433. https://doi.org/10.1108/IJSHE-01-2012-0001.

7. Reckase M.D. (2017) A tale of two models: sources of confusion in achievement testing. ETS Res Rep Ser. https://doi.org/10.1002/ets2.12171.

8. Zlatkin-Troitschanskaia O., Shavelson R.J., Kuhn C. (2015) The international state of research on measurement of competency in higher education. Stud High Educ. 40: 393-411. https://doi.org/10.1080/03075079.2015.1004241.

9. Frey A., Hartig J. (2009) Assessment of competencies. Stud Educ Eval. 35: 55-56. https://doi.org/10.1016/j.stueduc.2009.10.001.

10. Waltner E.-M., RießW., Mischo C. (2019) Development and validation of an instrument for measuring student sustainability competencies. Sustainability. 11: 1-20. https://doi.org/10.3390/su11061717.

11. Sandri O., Holdsworth S., Thomas I. (2018) Vignette question design for the assessment of graduate sustainability learning outcomes. Environ Educ Res. 24: 406-426. https://doi.org/10.1080/13504622.2016.1263280.

12. Snyder H. (2019) Literature review as a research methodology: an overview and guidelines. J Bus Res. 104: 333-339. https://doi.org/10.1016/j.jbusres.2019.07.039.

13. Konanyhina A.K., Kochubej A.V. Trening kak tekhnologiya simulyacionnogo obucheniya pri podgotovke administrativno-upravlencheskih kadrov zdravoohraneniya. [Training as a technology of simulation training in the preparation of administrative and managerial personnel of healthcare]. Virtual'nye tekhnologii v medicine. [Virtual technologies in medicine]. 2015; 2 (14): 31-32 (in Russian).

14. Lockyer J., Carraccio C., Chan M.K. et al. (2017) Core principles of assessment in competency-based medical education. Med Teach. 39: 609-616. https://doi.org/10.1080/0142159X.2017.1315082.

15. Amlaev K.R., Shikina I.B., Buzin V.N., Koichueva S.M., Blinkova L.N. Faktory, vliyayushchie na motivaciyu professorsko-prepodavatel'skogo sostava medicinskogo universiteta k effektivnoj trudovoj deyatel'nosti. [Factors influencing the motivation of the faculty of the medical university to effective work activity]. Sovremennye problemy zdravoohraneniya i medicinskoj statistiki. [Current health and medical statistics issues]. 2020; 4 (In Russian). DOI: 10.24411/2312-2935-2020-00131.

16. Amlaev K.R., Koichueva S.M., Khripunova A.A., Shikina I.B., Vdovina I.V., Blinkova L.N. Kriterii vybora obrazovatel'noj organizacii vysshego obrazovaniya i rabotodatelya. [Criteria for choosing an educational organization of higher education and an employer]. Sovremennye problemy zdravoohraneniya i medicinskoj statistiki. [Current health and medical statistics issues]. 2020; No. 3. S. 132-146. DOI: 10.24411/2312-2935-2020-00064.

17. Amlaev K.R., Shikina I.B., Koichueva S.M., Khripunova A.A. Professional'naya orientaciya i vostrebovannost' uslug po trudoustrojstvu vypusknikov medicinskih i mnogoprofil'nyh obrazovatel'nyh organizacij vysshego obrazovaniya. [Professional orientation and demand for employment services for graduates of medical and multidisciplinary educational organizations of higher education]. Social'nye aspekty zdorov'ya naseleniya [setevoe izdanie]. [Social aspects of public health [online edition]. 2020; 66 (3): 11. DOI: 10.21045/2071-5021-2020-66-3-10.

18. Wong S.-C. (2020) Competency Definitions, Development and Assessment: A Brief Review. International Journal of Academic Research in Progressive Education and Development, 9 (3), 95-114.

19. Salman M., Ganie S.A. and Saleem I. (2020) «The concept of competence: a thematic review and discussion», European Journal of Training and Development, Vol. 44. No. 6/7, pp. 717-742. https://doi.org/10.1108/EJTD-10-2019-0171.

20. Najgovzina N.B., Konanyhina A.K., Kochubej A.V., Zimina E.V., Navarkin M.V. Prioritetnye puti razvitiya sistemy podgotovki i nepreryvnogo professional'nogo razvitiya kadrov v sfere zdravoohraneniya. [Priority ways of developing the system of training and continuous professional development of personnel in the field of healthcare]. Byulleten' sibirskoj mediciny. [Bulletin of Siberian medicine]. 2014; 13 (3): 126-131. DOI:10.20538/1682-0363-2014-3-126-131 (in Russian).

21. Line J. Øvrebø, Dagrunn N. Dyrstad, Britt S. Hansen. Assessment methods and tools to evaluate postgraduate critical care nursing students' competence in clinical placement. An integrative review, Nurse Education in Practice. 2022; Volume 58: 103258. doi.org/10.1016/j.nepr.2021.103258.

22. Sophia Cyril Vincent, Judie Arulappan, Anandhi Amirtharaj, Gerald Amandu Matua, Iman Al Hashmi. Objective structured clinical examination vs traditional clinical examination to evaluate students' clinical competence: A systematic review of nursing faculty and students' perceptions and experiences. Nurse Education Today. 2022; Volume 108: 105170. doi.org/10.1016/j.nedt.2021.105170.

23. Paul Ross, Rachel Cross, Olivia Sonneborn, Brendan MacDonald, Cathy Dean, Charne Miller. Comparison of postgraduate student and educator appraisals: A retrospective analysis. Nurse Education in Practice. 2017; Volume 23: 82-91. doi.org/10.1016/j.nepr.2017.02.009.

24. Son I.M., Ivanova M.A., Armashevskaya O.V., Lyutsko V.V., Gazheva A.V., Sokolovskaya T.A. Rezul'taty fotohronometrazhnyh issledovanij rabochego processa vrachej ambulatorno-poliklinicheskoj pomoshchi s uchetom vozrastnyh harakteristik specialistov. [Results of photochronic studies of the workflow of outpatient care doctors taking into account the age characteristics of specialists]. Zdravoohranenie. [Health care]. 2014; 11: 56-61 (In Russian).

25. Youn S.J. (2020) Managing proposal sequences in role-play assessment: Validity evidence of interactional competence across levels. Language Testing, 37 (1), 76-106. https://doi.org/10.1177/0265532219860077.

26. Redman A., Wiek A. & Barth M. Current practice of assessing students' sustainability competencies: a review of tools. Sustain Sci. 16, 117-135 (2021). https://doi.org/10.1007/s11625-020-00855-1.

Подписано в печать

25.06.2024

---