Интеллектуальные системы оценивания сформированности компетенций студентов и выпускников инженерных специальностей: ожидания преподавателей, обучающихся и работодателей

Abstract

Introduction. Procedures for assessing the quality of graduate training are relevant to both the higher education system and the labour market. Key stakeholders in the educational process seek an independent, objective, and comprehensive assessment of competencies. Aim. The present research aims to establish the expectations of the key participants in the training process within higher education programmes — namely employers, educators, and students — regarding the functionality of in telligent systems for assessing the development of professional and supraprofessional competencies in students and graduates specialising in engineering. Methodology and research methods. Data collection took place in Omsk in 2024 and comprised a questionnaire survey (May to October) and interviews (September to November). The total number of respondents was 41 employers, 44 university lecturers, and 215 students. The interviews were attended by 19 employers and 23 lecturers. Kendall’s τ-b correlation coefficient was used to measure the relationship between the functionality of intelligence systems as reported by employers, lecturers, and students. The theoretical developments of behavioural and functional methodological approaches to studying competencies informed the design of the questionnaire and interview guide. Results. The results indicated that employers, teachers, and students largely agree that the intelligent system should be capable of assessing the developmental levels of both professional and supraprofessional competencies in students and graduates specialising in engineering. However, the ability to assess professional competencies was mentioned more frequently than that of supraprofessional competencies. The participants involved in educational relationships, alongside instrumental procedures for competency assessment, expect intelligent systems to provide technologies that enable the transfer of knowledge, skills, and abilities relevant to the real economy into the educational sphere; the design of practice-oriented educational programmes; and the facilitation of career guidance and effective employment. Scientific novelty. The authors have developed a multi-stakeholder approach to studying the potential of an intelligent system for assessing the competencies of university students and graduates, thereby extending current research practices in this area. The results obtained suggest that intelligent competency assessment systems can serve as a tool to reduce transaction costs within the higher education and labour market systems. Practical significance. The obtained results can be used to design intelligent systems for assessing the competency of students and graduates from universities, encompassing both engineering and educational programmes, as well as other broad groups of training areas and specialities.

Введение. Процедуры оценивания качества подготовки выпускников являются актуальными для системы высшего образования и рынка труда. Ключевые участники образовательного процесса заинтересованы в независимой, объективной и комплексной оценке компетенций. Целью исследования является установление ожиданий ключевых участников процесса подготовки кадров по программам высшего образования (работодателей, преподавателей и обучающихся) в отношении функциональных возможностей интеллектуальных систем оценивания сформированности профессиональных и надпрофессиональных компетенций студентов и выпускников инженерных специальностей. Методология, методы и методики. Сбор данных проходил в 2024 г. в Омске и включал анкетный опрос (май — октябрь) и интервьюирование (сентябрь — ноябрь). Всего опрошено 41 работодатель, 44 преподавателя вузов, 215 обучающихся. Проинтервьюировано 19 работодателей и 23 преподавателя. Для измерения связи между функциональными возможностями интеллектуальных систем использовался коэффициент корреляции (τ-b Кенделла). При составлении анкеты и гайда интервью использовались теоретические разработки поведенческого и функционального методологических подходов изучения компетенций. Результаты показали, что в ответах работодателей, преподавателей и обучающихся преобладает высокая степень согласия с тем, что интеллектуальная система должна обеспечить возможность оценить уровень сформированности как профессиональных, так и надпрофессиональных компетенций студентов и выпускников инженерных специальностей. Вместе с тем возможность оценивания профессиональных компетенций указывается чаще, чем надпрофессиональных. Опрошенные участники образовательных отношений наряду с инструментальными процедурами оценивания сформированности компетенций ожидают от интеллектуальных систем получить технологии, которые позволяют: обеспечить трансфер актуальных в реальном секторе экономики знаний, умений и навыков в образовательное пространство; проектировать практикоориентированные образовательные программы; проводить профориентационную работу и эффективное трудоустройство. Научная новизна. Авторами реализован полисубъектный подход к изучению возможностей интеллектуальной системы оценки компетенций студентов и выпускников вузов, что расширяет сложившуюся практику исследований в данном вопросе. Полученные результаты позволяют рассматривать интеллектуальные системы оценки компетенций в качестве инструмента сокращения транзакционных издержек в системе высшего образования и рынка труда. Практическая значимость. Полученные результаты могут быть использованы для проектирования интеллектуальных систем оценивания компетенций студентов и выпускников вузов как инженерных, так и образовательных программ других укрупненных групп направлений подготовки и специальностей.