Вайнштейн Ю.В., Захарьин К.Н., Носков М.В.

Сибирский федеральный университет,

г. Красноярск

Создание цифрового сервиса прогнозирования успешности предметного обучения студентов вуза

В статье представлен опыт создания цифрового сервиса раннего прогнозирования успешности обучения студентов вуза по дисциплинам учебного плана. В основу работы цифрового сервиса заложена марковская модель, источниками данных которой выступают универсальные предикторы электронной информационно-образовательной среды вуза. Представлен опыт эксплуатации цифрового сервиса для раннего прогнозирования успешности обучения в реальных условиях. Обозначены перспективы дальнейшего развития.

Vainshtein Yu.V., Zakharyin K.N., Noskov M.V.

Siberian Federal University,

Krasnoyarsk

Development of a digital service for predicting the success of subject education of university students

The article presents the experience of creating a digital service for early prediction of the success of teaching university students in the disciplines of the curriculum. The digital service is based on the Markov model, the data sources of which are universal predictors of the electronic information and training environment of the university. The experience of the digital service for early prediction of learning success is presented. Prospects for further development are outlined.

Одной из важнейших задач, стоящих перед современной системой образования, выступает повышение качества подготовки обучающихся через построение системы максимального развития личностного потенциала каждого обучающегося. При этом перед преподавателями и администрацией вузов остро стоит необходимость отойти от принципа «образовательной воронки» в учебном процессе – то есть избежать высокого отсева обучающихся в процессе освоения образовательной программы. Практика показывает, что зачастую потеря связи с университетом у обучающихся формируется постепенно, развиваясь как минимум несколько недель, когда начинает наблюдаться снижение учебной активности и результативности работы по дисциплинам, снижение активности обучающихся в университете в целом. Используя существующие средства управления учебным процессом, администрация института, кафедры узнает уже о сложившихся, сформировавшихся сложностях у конкретных обучающихся постфактум, к концу семестра, на пороге сессии или в период сессии, когда исправить ситуацию, наверстать упущенное, помочь освоить выпавшие темы уже затруднительно. При этом традиционные средства мониторинга учебного процесса в условиях гибридного обучения, реализации учебного процесса с использованием ЭО и ДОТ не в полной мере ориентированы на работу в новых условиях.

В связи с необходимостью решения этих задач возникла идея реализованного в Сибирском федеральном университете цифрового сервиса прогнозирования успешности предметного обучения студентов вуза, создание которого стало органичной частью образовательной политики университета и соответствует направлению «Повышение качества образовательных программ и совершенствование содержания и технологий обучения и воспитания».

Массивы накопленных данных в электронной информационно-образовательной среде вуза дают возможность решения различных задач учебной аналитики, в том числе прогнозирования успешности обучения, то есть успешного прохождения промежуточной аттестации по дисциплине. Проведенная предпроектная работа показала, что объема и качества данных учебной аналитики, уровня организации процессов, обеспечивающих регулярное формирование необходимого объема данных цифрового следа в течение каждого семестра, будет достаточно для создания и запуска цифрового сервиса прогнозирования успешности предметного обучения студентов вуза. Ключевая идея сервиса - регулярное еженедельное прогнозирование успешности обучения позволяет на ранних этапах образовательного процесса (практически «на лету») выявить по дисциплинам успешных обучающихся и обучающихся, нуждающихся в мерах педагогического содействия и помощи.

Анализ научно-педагогической литературы в области прогнозирования успешности обучения студентов показывает рост научного интереса к созданию и исследованию прогностических моделей. При этом стоит отметить, что наибольшее распространение в образовательной практике получили методы машинного обучения, которые преимущественно ориентированы на прогнозирование риска отчисления студента по результатам сессий [1-2]. Отметим, что опыт их масштабного применения на уровне вузов в настоящее время отсутствует, в отечественном образовании существуют лишь единичные цифровые решения на уровне отдельных образовательных программ или теоретико-экспериментальные работы в этой области [3-5]. Накопленный зарубежный опыт в части прогнозирования успешности предметного обучения представлен в основном в сфере школьного образования и работа прогностических моделей строится на наборах предикторов, не обладающих универсальностью для других уровней образования, что, несомненно, влечет снижение точности прогностических моделей при их масштабировании [6-9].

В качестве базовой модели работы цифрового сервиса прогнозирования успешности предметного обучения заложена прогностическая модель оценки успешности обучения, построенная на основе марковской модели, которая позволяет еженедельно оценить успешность сдачи экзамена или зачета по дисциплине студентом [10-11]. В качестве источников данных разработанной модели выступают выявленные авторами и определенные универсальные предикторы электронной информационно-обучающей среды (ЭИОС) вуза, что позволяет применять модель по любой дисциплине вне зависимости от методов обучения, видов учебной деятельности и структуры электронного обучающегося курса.

В процессе разработки цифрового сервиса проведена отдельная работа по определению и содержательной интерпретации данных учебной аналитики, формируемой в ЭИОС университета и сопутствующих сервисах. С точки зрения среды хранения и обработки данных для каждого источника проведено категорирование хранимых данных с целью обеспечения возможности их использования при расширении и масштабировании прогностической модели, а также реализована система доступа к данным на основе отказоустойчивых и ориентированных на обработку большого объема потоковых данных архитектурных и технологических решений. В настоящее время выделены и используются следующие категории данных цифрового следа студентов:

-    показатели системы электронного обучения (текущая еженедельная успеваемость по контрольным точкам студентов, кликабельная активность обучающихся в курсе, эффективная активность студентов в электронном курсе);

-    информация из электронной зачетной книжки: результаты промежуточных аттестаций обучающихся, средний балл зачетной книжки, информация по пересдачам;

-    статистика работы в корпоративном социальном сервисе (статистика авторизаций, деятельность в группах, работа с сообщениями, достижениями и корпоративной почтой);

-    данные сетевой активности обучающихся (количество авторизаций в корпоративной сети Wi-Fi на территории кампуса).

В дальнейшем, по мере развития сервиса состав планируется расширение состава обрабатываемся сервисом данных.

Цифровой сервис запущен в опытную эксплуатацию в Сибирском федеральном университете с сентября 2022 года и на основе «живых данных» осуществляет визуализацию прогнозных данных в различных разрезах, представляя аналитику по учебной группе, отдельной дисциплине, отдельному студенту.

Логика работы сервиса заключается в следующем. Еженедельно осуществляется выделение кластеров обучающихся, классифицированных по группам риска относительно предстоящего факта сдачи промежуточной аттестации по дисциплине, а именно, группа высокого, пограничного и низкого риска. Визуально классификация студентов по обозначенным группам реализована в цифровом сервисе по принципу светофора и при помощи цветовых индикаторов (красный, желтый, зеленый) позволяет показать принадлежность студента к  кластеру высокого, пограничного или низкого риска неуспешности соответственно. Таким образом, цифровой сервис выступает для преподавателей, сотрудников учебно-организационных отделов институтов и руководства университета оперативным источником предиктивных сигналов о возможности выстраивания персональных образовательных маршрутов по дисциплине для студентов с высоким академическим потенциалом и необходимости реализации мероприятий по вовлечению обучающихся в учебный процесс для тех, кто испытывает трудности в учебе.

Схема и скриншоты представления данных показаны на рисунке 1. Архитектурно цифровой сервис прогнозирования успешности предметного обучения реализован в качестве элемента электронной информационной образовательной среды университета на базе корпоративного социального сетевого сервиса «Мой СФУ» (https://i.sfu-kras.ru). В настоящее время сервис работает и визуализирует данные более чем по 20 тысячам обучающихся 22 институтов Сибирского федерального университета.

Vainshtein-1

Рис. 1 – Схема вывода результатов работы цифрового сервиса прогнозирования успешности предметного обучения

 

На текущем этапе работ проводится обработка результатов, полученных в осеннем семестре 2022-2023 учебного года, осуществляются эксперименты на образовательных данных и дается оценка точности полученных прогнозов для уточнения параметров прогностической модели. Перед началом весеннего семестра в модель будут внесены уточнения и планируется, что сервис продолжит свою работу, формируя новые данные.

В ближайших планах по развитию цифрового сервиса построить модель комплексной интегративной оценки положения обучающихся не только по дисциплинам учебного плана, но и по образовательной программе в целом, а также развивать технологическую платформу для обеспечения обработки больших объемов данных, расширению возможностей мониторинга и управления.

 

Литература:

1. Белоножко П.П., Карпенко А.П., Храмов Д.А. Анализ образовательных данных: направления и перспективы применения // Интернет-журнал «Науковедение». – 2017. – Том 9. – №4. Режим доступа: http://naukovedenie.ru/PDF/15TVN417.pdf.

2. Накарякова Н.Н., Русаков С.В., Русакова О.Л. Прогнозирование группы риска (по успеваемости) среди студентов первого курса с помощью дерева решений // Прикладная математика и вопросы управления. – 2020. – № 4. – С. 121–136. DOI: 10.15593/2499-9873/2020.4.08

3. Шапоров А.М. Прогнозирование риска отчисления как результат академической неуспешности обучающегося // Ярославский педагогический вестник. –2022. – № 1 (124). – С. 48-55.

4. Kustitskaya TA, Kytmanov AA, Noskov MV. Early Student-at-Risk Detection by Current Learning Performance and Learning Behavior Indicators. Cybernetics and Information Technologies. 2022; 22(1):117-133. http://doi.org/10.2478/cait-2022-0008

5. Дьяков С.В., Митрофанов М.В., Корякин Д.Д., Мишина С.Ю. Прогнозирование успешности обучения задачи и методы распознавания образов в управлении учебным процессом на основе методов машинного обучения // Вестник военного образования. –2022. – № 5 (38). – С. 27-31.

6. Котова Е.Е. Прогнозирование успешности обучения в интегрированной образовательной среде с применением инструментов онлайн аналитики // Компьютерные инструменты в образовании. – 2019. – № 4. – С .55- 80. doi:10.32603/2071-2340-2019-4-55-80

7. Cagliero L, Canale L, Farinetti L, Baralis E, Venuto E. Predicting Student Academic Performance by Means of Associative Classification. Appl. Sci; 2021. (11): 14-20. https://doi.org/10.3390/app11041420

8. Kabathova J, Drlik M. Towards Predicting Student’s Dropout in University Courses Using Different Machine Learning Techniques. Appl. Sci. 2021; 11(7): 3130. https://doi.org/10.3390/app11073130

9. Riestra-Gonz´alez M, del Puerto Paule-Ruíz M, Ortin F. Massive LMS log data analysis for the early prediction of course-agnostic student performance. Computers & Education. 2021; (163):104-108. http://doi.org/10.1016/j.compedu.2020.104108

10.  Носков М.В., Сомова М.В, Федотова И.М. Управление успешностью обучения студента на основе марковской модели // Информатика и образование. – 2018. – № 10 (299). – С. 4-11. http://doi.org/10.32517/0234-0453-2018-33-10-4-11

11. Носков М.В., Вайнштейн Ю.В., Сомова М.В., Федотова И.М. Прогностическая модель оценки успешности предметного обучения в условиях цифровизации образования // Вестник Российского университета дружбы народов. Серия: Информатизация образования. – 2023. – Т. 20. – № 1.

комментарии: