Применение text mining в тестировании

Abstract

В работе предлагается использовать методы обработки текстов на естественном языке для оценивания ответов на тестовые задания открытого типа. Для тестирования нужен корпус заданий с вариантами правильных ответов. Для оценки соответствия ответа тестируемого образцу предлагается использовать два метода. Первый метод использует параметризацию текста в виде «мешка слов» и обученный по корпусу заданий классификатор, который оценивает соответствие ответа образцу как вероятность соответствующей классификации. Второй метод использует эмбеддинговую модель корпуса текстов по теме тестирования. Оценка соответствия ответа образцу вычисляется как косинус угла вектора образца и вектора ответа. Численные эксперименты продемонстрировали возможности применения предлагаемых оценок.

The paper proposes to use natural language text processing methods to estimate answers to open-type test tasks. For testing, you need a сorpus of tasks with correct answers. To assess the compliance of the test person's response with the sample, it is proposed to use two methods. The first method uses text parameterization in the form of a “bag of words” and a classifier trained on a corpus of tasks, which evaluates the correspondence of the answer to the sample as the probability of the corresponding classification. The second method uses the embedding model of a corpus of texts on the topic of testing. The assessment of the response's correspondence to the sample is calculated as the cosine of the angle of the sample vector and the response vector. Numerical experiments demonstrated the possibilities of using the proposed estimates.