A psychometric study: The validation of a school quality assessment tool

Abstract

Introduction. School evaluation is a complex process, and it is now a central priority for education systems with varied practices and multiple actors. It affects many aspects: teachers, institutions, training, management, educational policies, and design. Thus, it is necessary to think first about the regulation of the indicators that will serve as a system of valuation/sanction of the quality measured. Aim. The present research aims to construct a grid for evaluating pedagogical and administrative quality of secondary school. Furthermore, producing a quality evaluation system based on indicators to allow quality to be witnessed remains a challenge. We have optimized and validated a coherent evaluation system of indicators (School Quality Assessment System SEQES). It is based on rigorous scientific research, evaluating school quality and testing with 196 stakeholders (school administrators, teachers, educational inspectors, and planning). Research methodology and methods. The design and validation of this evaluation grid were carried out based on Churchill’s (1979) theory of measurement with a methodological process of numerous steps of analysis and emergent categorisation of items, scaling, refinement, and field testing. Results and scientific novelty. The exploratory factor analysis (EFA) was administered to 196 stakeholders and initially yielded 153 items from 289. They articulated qualitative steps (interviews with members of audit cells, techniques: Focus Group, TGN, TRIAGE) and quantitative (Exploratory Factor Analysis). The results made it possible to identify a scale of seven dimensions and fields of 37 items, considering theoretical, empirical, and methodological considerations. Practical significance. This measurement instrument is a toolbox that can be developed for decision-makers to establish a reference system for systematic external quality evaluation at the national level and a toolkit for inspectors and headteachers.

Введение. Оценка школьного образования является сложным процессом, и в настоящее время это один из центральных приоритетов в системах образования с различными видами практики и многочисленными субъектами. Она затрагивает многие аспекты: учителей, учреждения, обучение, управление, политику в области образования и дизайн. Таким образом, необходимо сначала подумать о регулировании показателей, которые будут служить системой оценки/санкционирования измеряемого таким образом качества. Цель. Основная цель – построить шкалу для оценки педагогического и административного качества средних школ. Построение такой системы на основе показателей, которые позволили бы засвидетельствовать качество, остается сложной задачей. В этом контексте авторы оптимизировали и утвердили последовательную систему оценки показателей (Система оценки качества школы – SEQES), основанную на строгих научных исследованиях, оценивающих качество школы, и провели эксперимент с 196 участниками и исходными лицами (администраторы школ, учителя, педагогические инспекторы, представители руководства и отделов планирования). Методология и методы исследования. Разработка и утверждение данной оценочной шкалы осуществлялись на основе теории измерения Черчилля (1979) и методологического процесса, состоящего из многочисленных этапов анализа и эмерджентной категоризации пунктов, шкалирования, уточнения и полевого тестирования. Результаты и научная новизна. В исследовательском факторном анализе принялиучастие 196 заинтересованных лиц, и первоначально он дал результаты по 153 пунктам из 289. Сформулированы качественные этапы (интервью с членами аудиторских ячеек, методики: фокус-группа, TGN, TRIAGE) и количественные (исследовательский факторный анализ). Результаты позволили определить шкалу из 7 измерений и полей из 37 пунктов с учетом теоретических, эмпирических и методологических принципов. Практическая значимость. Эта оценочная шкала является инструментарием, который может использоваться для создания эталонной системы для систематической внешней оценки качества на национальном уровне, лицами, принимающими решения, а также инспекционными органами и руководителями учебных заведений.