Даничев А.А., Ликсонова Д.И.,
Шестаков В.Н., Якунин Ю.Ю.
Сибирский федеральный университет,
г. Красноярск
О задаче прогнозирования результатов
обучения студентов вузов
В настоящей работе
рассматривается задача прогнозирования результатов обучения студентов на основе
показателей о текущей успеваемости по неделям обучения. Использование
инструментов машинного обучения позволяет построить прогнозную модель
результатов обучения студентов и реализовать ее мобильное приложение, которое помогает
студенту отслеживать текущую успеваемость и вовремя обращать внимание на
дисциплины с низкой успеваемостью.
Danichev A.A., Liksonova D.I.,
Shestakov V.N., Yakunin Yu.Yu.
Siberian Federal
University
Krasnoyarsk, Russia
On the problem of predicting the learning
outcomes of university students
In this paper, we consider the problem of
predicting the learning outcomes of students based on indicators of current
performance by weeks of study. The use of machine learning tools makes it
possible to build a predictive model of student learning outcomes and implement
its mobile application, which helps the student track current progress and pay
attention to disciplines with low progress in time.
Исследование образовательного процесса в высших учебных
заведениях, прогнозирование результатов обучения, управление мотивацией
студентов к обучению являются весьма актуальными задачами на сегодняшний день.
Причем необходимо учитывать интерес самих студентов к процессу обучения – чем
выше вовлеченность студентов в образовательный процесс, тем выше их результаты обучения.
Для заинтересованности студентов образовательным процессом им предлагается
специальное мобильное приложение, в котором содержится вся необходимая
информация об обучении, механизмы захвата внимания для долгосрочного удержания
интереса при периодическом использовании приложения. При этом в приложении отображается
текущая успеваемость студента по дисциплинам, а также спрогнозированные
результаты на следующую промежуточную аттестацию в зависимости от текущих
оценок. Такая информация позволяет студентам вовремя реагировать на дисциплины
с низкой успеваемостью, что даёт возможность исправить оценки по ним до конца
семестра.
Обратим внимание, что за последнее время значительно
увеличилось количество работ о прогнозировании успеваемости студентов с помощью
методов машинного обучения, например [1, 2, 3, 4]. Причем применяются такие
методы как нейронные сети, машина опорных векторов, дерево решений наивный
байесовский метод, к-ближайших соседей, линейная регрессия и другие. При
рассмотрении исследований можно отметить, что большая часть из них посвящена
построению модели классификации, которая содержит в себе два класса
(успех/неуспех) на основе признаков разного количества и качества.
Основной целью настоящей работы являлась разработка системы
прогнозирования результатов обучения студентов на основе текущей успеваемости
из электронных образовательных курсов, которая бы информировала студентов,
через мобильное приложение, о вероятном результате его обучения по каждой
дисциплине. Для исходной постановки задачи была сформирована выборка наблюдений
по 2130 студентам из 89 учебных групп, в общей сложности обучающимся по 526
электронным образовательным курсам.
В таблице 1 представлен фрагмент исходных выборок текущей
успеваемости студентов по дисциплине «Математический анализ» с формой контроля
(ФК) «зачет».
Таблица 1. Фрагмент исходных данных
Введем некоторые
обозначения, пусть 
– результат
обучения, CR = {0,1} – зачёт/незачёт, SC = {0,3,4,5} – экзаменационная оценка,
RE = {0,1,2} – пересдачи. Т.к. результат обучения связан с оценкой за сессию, а
ее прохождение может быть растянуто во времени, в течение которого студенты
имеют возможность несколько раз пересдавать, и факты пересдач также должны быть
учтены, то формула приобретает следующий вид:
Интерпретацию значений результатов обучения можно привести следующую, для дисциплин с зачетом y={0; 0.5; 1; 2; 2.5; 3}, где 1 класс (неудовлетворительный результат обучения) принадлежит интервалу от 0 до 1, 2 класс (нежелательный результат) – от 2 до 2,5 и 3 класс (желаемый результат) содержит одно значение – 3. Для дисциплин с экзаменом y={0; 0.5; 1; 3; 3.5; 4; 4.5; 5; 5.5 6}, где 1 класс – от 0 до 1, 2 класс – от 3 до 4,5 и 3 класс – от 5 до 6.
Далее представлен фрагмент результатов кластеризации
студентов на основании текущей успеваемости по дисциплине для каждой недели
обучения в семестре. Кластеризация для каждой недели проводилась с
использованием текущей успеваемости за весь предшествующий период. Таким
образом, было получено по 17 и 16 вариантов кластеризации для каждой дисциплины
соответственно.
Таблица 2. Результат кластеризации методом К-средних
В соответствии с настройками кластерный анализ объединил
студентов в три класса. Первый – студенты с низким результатом по дисциплине,
второй – со средним, третий – с высоким. Из таблицы 2 видно, что полученные
кластеры в основе своей соответствуют классам из таблицы 1 с учётом
погрешностей границ между кластерами и между классами. Это обстоятельство
позволяет сделать предварительный вывод, что классы результатов обучения
зависят от текущей успеваемости студентов в семестре.
При выборе подходящей модели прогнозирования результатов
обучения на основе текущей успеваемости в семестре, были апробированы и
исследованы несколько подходящих по мнению авторов моделей и подходов: линейная
регрессия; логистическая регрессия; байесовский классификатор; кластеризация К-средних;
классификация методом «случайный лес»; непараметрическая оценка функции
регрессии; нейронные сети.
В результате была выбрана модель, основанная на
применении непараметрической оценки функции регрессии Надарая-Ватсона [5], как
показавшая наибольшую адекватность решаемой задаче. Для оценки
введём n-мерный вектор входных
переменных процесса обучения 
, 
,где i – это
номер студента, j –
номер недели, s – объем обучающей выборки (количество студентов), n
– количество входных переменных (количество недель для текущего прогноза).
Выходом модели будем
считать m-мерный вектор 
, где 
– номер выходных переменных процесса, обозначающий номер
результата обучения по дисциплине i-го студента в конкретной сессии конкретной учебной группы.
В качестве примера рассмотрим одну из дисциплин – «Математический анализ». Непараметрическая оценка функции регрессии Надарая-Ватсона [5] для 18 недели обучения примет следующий вид:
где на выходе рассматривается только
одна переменная 
, показывающая прогноз результата обучения по
дисциплине на 18 неделе обучения, параметр размытости 
был принят
равным 0,2 (определен из многочисленных экспериментов и при этом показывал
наименьшую ошибку прогноза).
В качестве исходной выборки наблюдений использовались результаты обучения предыдущего учебного года, а прогнозируемые результаты рассчитывались для текущего учебного года. На рисунке 1 приведены реальные значения текущего учебного года (представленные красным цветом), и прогнозируемые значения текущего учебного года на 7-ой неделе обучения (представленные фиолетовым цветом).
Рис. 1
– Результаты прогнозирования на 7 неделе обучения
На рисунке 1 процент неправильных прогнозных значений равен 15%, что является приемлемым результатом с практической точки зрения.
Рис. 2
– Результаты прогнозирования на 18 неделе обучения
На рисунке 2 процент неправильных прогнозных значений равен
7,4%. Из представленных результатов можно увидеть, что при увеличении недель
обучения ошибка уменьшается и точность прогнозной модели увеличивается.
Проведенные исследования позволили применить полученные результаты на практике и разработать мобильное приложение студента [6], позволяющее прогнозировать и показывать прогноз в онлайн режиме каждому студенту по каждой дисциплине (рисунок 3). Кроме того, данное приложение позволяет: информировать студентов о текущей ситуации по дисциплинам и позициях в рейтингах в группе, на потоке; вести электронную зачётную книжку с информированием о предстоящих контрольных мероприятиях и незакрытых контрольных точках по дисциплинам; просматривать расписание занятий.
Рис. 3
– Экранные формы мобильного приложения «Студент СФУ»
В результате проведенного исследования была построена
прогнозная модель результатов обучения студентов на основе непараметрической
оценки и создано удобное мобильное приложение для студентов на базе данных
доступных из онлайн курсов, которое позволяет студентам самостоятельно
контролировать вероятные результаты обучения на каждой неделе обучения.
Литература:
1. Brahim G. B.
Predicting student performance from online engagement activities using novel
statistical features. Arabian Journal for Science and Engineering, 2022, с. 1-19.
2. Almasri A.,
Celebi E., Alkhawaldeh R. S. EMT: Ensemble meta-based tree model for predicting
student performance. Scientific Programming, 2019.
3. Poudyal S.,
Mohammadi-Aragh M. J., Ball J. E. Prediction of Student Academic Performance
Using a Hybrid 2D CNN Model. Electronics, 2022, т. 11, № 7, с. 1005.
4.
Куприянов
Р.Б., Звонарев Д.Ю. Повышение качества модели прогнозирования образовательных
результатов студентов университетов // Информатика и образование, 2021, № 9, с.
40–46.
5.
Надарая
Э.А. Непараметрическое оценивание плотности вероятностей и кривой регрессии. – Тбилиси.:
Изд-во Тбилисского ун-та, 1983. – 194 с.
6. Свидетельство о государственной регистрации программы для ЭВМ. Мобильное приложение «Студент СФУ», Якунин Ю. Ю., Шапошник С. С. № 2022681221; опубл. 10.11.2022, Федеральная служба по интеллектуальной собственности.