Проблемы анализа связей контекста обучения и результатов тестирования TIMSS

Abstract

Introduction. For more than two decades, the Organisation for Economic Cooperation and Development has been organising a number of comparative studies of the quality of education in different countries. One of them is the study of mathematics and science education TIMSS (Trends in International Mathematics and Science Study), which is conducted jointly with the International Association for the Evaluation of Educational Achievements (IEA). The last, seventh, cycle of the study was conducted in 2019. TIMSS statistics is regularly posted in the public domain on the IEA website so that specialists can independently conduct research in any aspect of their interest. One of the areas of analysis in this case is traditionally the search for the causes of certain test results, which are determined by the peculiarities of the organisation of the educational process and the context of learning in different countries. At the same time, a study of professional literature showed that among the factors of the social and school context, the analysis of which is provided by the research tools, only an extremely limited range of them turned out to be statistically directly related to TIMSS scores. Specialists systematically encounter inexplicable absence or low correlation values of TIMSS test scores and context indicators. The authors think that the main reason for such difficulties is inattention to the peculiarities of the indicators used in the calculation of measures of statistical relationships. Aim. The present research aims to identify a statistical relationship between test results and indicators of the context of schoolchildren’s learning, as well as the influence of the TIMSS information collection and processing system on the productivity of analysing the research results. Methodology and research methodology. The methodological basis of the work is a systematic approach, which is based on the consideration of the results of the international TIMSS study as a whole: i.e. a complex of interrelated elements (organisations, tools, assessment indicators, scoring systems). The work was carried out on the basis of applied research procedures (observation, description, comparison, measurement, etc.), within which general scientific (comparative analysis, systematisation, generalisation) and statistical research methods (statistical and correlation analysis, etc.) were also used. The source of information was the International Database of Electronic Testing TIMSS-2019, hosted in the IEA repository. The TIMSS datasets were analysed using the IEA International Database (IDB) parser plug-in for SPSS (version 4.0). Results. For most indicators of the social and student context of learning, the authors found the absence or low value of statistical relationships with TIMSS scores. The number of books at home and parents’ education turned out to be statistically related to TIMSS scores concerning the indicators of social well-being and home learning conditions envisaged by the organisers. The indicators of learning conditions at school included the frequency of independent work in class; motivational factors included plans to continue education and self-evaluation of students’ math proficiency. Evidently, even these relationships turned out to be weak. It was revealed that the difficulties in detecting a correlation between TIMSS scores and learning conditions are caused by the very nature of the analysed variables: 1. the approximate nature of individual student assessments used in TIMSS; 2. low differentiation of students according to a number of indicators of the learning context; 3. insufficient reliability of information obtained from sociological surveys of schoolchildren. Practical significance. The authors believe that in order to improve the quality of analytical work on relevant topics, it is necessary to pay close attention to the essence behind the variables used in statistical calculations. In turn, the TIMSS organisers need to continue improving the measurement procedures and research tools by introducing additional success criteria that reflect the individual and comparable results of students in the current TIMSS cycle, as well as indicators of the reliability of contextual information obtained by sociological means.

Введение. Уже более двух десятков лет Организация экономического сотрудничества и развития организует проведение ряд сопоставительных исследований качества образования разных стран. Одним из них является исследование математического и естественнонаучного образования TIMSS (Trends in International Mathematics and Science Study), которое проводится совместно с Международной ассоциацией по оценке образовательных достижений (IEA). Последний, седьмой по счету, цикл исследования был проведен в 2019 г. Статистика TIMSS регулярно размещается в открытом доступе на сайте IEA с тем, чтобы специалисты могли самостоятельно провести изыскания в любом интересующем их аспекте. Одним из направлений анализа при этом традиционно является поиск причин тех или иных результатов тестирования, которые определяются особенностями организации образовательного процесса и контекстом обучения в разных странах. Вместе с тем изучение профессиональной литературы показало, что из факторов социального и школьного контекста, анализ которых предусматривает инструментарий исследования, непосредственно с баллами TIMSS оказался статистически связан лишь крайне ограниченный их круг. Специалисты систематически сталкиваются с труднообъяснимым отсутствием или низкими значениями корреляции тестовых баллов TIMSS и показателей контекста. Основной причиной таких затруднений, на наш взгляд, является невнимание к особенностям индикаторов, применяемых в расчетах мер статистических связей. Цель настоящего исследования – выявление статистической связи результатов тестирования и показателей контекста обучения школьников, а также влияния системы сбора и обработки информации TIMSS на продуктивность анализа итогов данного исследования. Методология и методика исследования. Методологической основой работы является системный подход, в основе которого лежит рассмотрение результатов международного исследования TIMSS как целого, то есть комплекса взаимосвязанных элементов (организации, инструментария, индикаторов оценки, системы подсчета баллов). Работа проведена на основе процедур прикладного исследования (наблюдение, описание, сравнение, измерение и т. д.), в рамках которого использовались также общенаучные (сравнительный анализ, систематизация, обобщение) и статистические методы исследования (статистический и корреляционный анализ и др.). Источником информации послужила Международная база данных электронного тестирования TIMSS-2019, размещенная на репозитории IEA. Наборы данных TIMSS были проанализированы с использованием подключаемого к программе SPSS модуля-анализатора Международной базы данных (IDB) IEA (версия 4.0). Результаты. Исследование обнаружило по большинству показателей социального и ученического контекста обучения отсутствие или низкое значение статистических связей с баллами TIMSS. Из предусмотренных организаторами индикаторов социального благополучия и домашних условий обучения с баллами TIMSS оказались статистически связаны лишь количество книг в доме и образование родителей, из показателей условий обучения в школе – частота самостоятельной работы на уроках, из мотивационных факторов – планы продолжить образование и самооценка учащимися уровня своих математических знаний. При этом даже названные связи оказались слабыми. Как выяснилось, сложности обнаружения корреляции баллов TIMSS и условий обучения вызваны самой сущностью анализируемых переменных: 1) приблизительный характер индивидуальных оценок школьников, применяемый в TIMSS; 2) низкая дифференциация учащихся по ряду индикаторов контекста обучения; 3) невысокая достоверность сведений, получаемых при социологических опросах школьников. Практическая значимость. Авторы полагают, что для повышения качества аналитических работ соответствующей тематики необходимо уделять самое пристальное внимание содержательной стороне используемых в статистических расчетах переменных. В свою очередь организаторам TIMSS необходимо продолжить совершенствование измерительных процедур и инструментария исследования путем введения дополнительных критериев успешности, отражающих индивидуальные и сопоставимые между собой результаты учащихся в текущем цикле TIMSS, а также индикаторов достоверности контекстной информации, получаемой социологическим путем.