Рис. 1 – Демонстрация результатов работы токенизаторов

· Стемминг используется для приведения слов к их базовым формам или, другими словами, поиска основ этих слов. Обычно рассматриваются три основных стеммера [3]: стеммер Портера (по фамилии создателя), стеммер Сноуболл («Снежный ком» по формату работы программы) и Ланкастерский стеммер (по названию университета, в котором был разработан). Вышеперечисленные стеммеры могут вести себя по-разному с одним и тем же словом, выделяя ему различные основы.

· Лемматизацию – процесс приведения слов к их корневым формам. В отличие от результатов работы стеммеров, формы слов, полученные при лемматизации имеют смысл и сами по себе уже являются словами [4].

· Чанкинг – разбиение текста на блоки (чанки). Делается это для дальнейшего анализа текста, однако чанкинг используется не всегда, но в большинстве случаев работы с текстами.

· Построение модели «Мешок слов» для преобразования текста из словесной в числовую форму. Во время работы модель создаёт словарь из всех слов, использованных в тексте, и их количеств.

Эти технологии составляют основу для распознавания естественного языка в виде текста или аудио. Разделение слов, высказываний, предложений и целых текстов на части, выделение их основ, вычисление частотных и других характеристик позволяет компьютерам в полной мере анализировать направленность, тематику, настроение речи человека, а также другие составляющие, необходимые для подбора наиболее подходящих пользователю вариантов ответа (будь то общение человека с чат-ботом, запрос поисковой системе или любой другой вид взаимодействия).

Рассмотренные технологии базируются на сложных моделях компьютерной лингвистики и алгоритмах машинного обучения. По мнению автора [2], наибольшие трудности при разработке учебного курса состоят в:

· Отборе содержания обучения, лекционного материала таким образом, чтобы у обучающихся сформировалось представление о принципах работы алгоритмов NLP с учетом уровня их знаний;

· Подборе демонстрационных примеров на языке программирования, наглядно иллюстрирующих алгоритмы и подходы к решению задач NLP;

· Подготовке заданий для практический заданий, ориентированных на развитие у студентов готовности самостоятельно решать простые задачи NLP средствами языка Python.

Обучение обработке естественного языка

Для обучения будущих преподавателей информатики технологиям искусственного интеллекта для обработки естественного языка разрабатывается курс на базе платформы Stepik.

Цель электронного курса: Обучение студентов старших курсов бакалавриата работе с технологиями искусственного интеллекта для обработки естественного языка.

Задачи нами сформулированы как повышение уровня осведомлённости студентов о возможностях технологий искусственного интеллекта в области обработки естественного языка и развитии у обучающихся навыков программирования и работы с библиотеками данных для обработки естественного языка на Python.

Электронный курс включает в себя компоненты, необходимые для качественного обучения. Для диагностики начальных и итоговых знаний используются входные и выходные тестирования и анкетирования. Основная информация заложена в теоретические материалы к лекциям, предложены также дополнительные источники. Для отработки навыков предусмотрены несколько вариантов практических заданий. Кроме того, электронный курс содержит элементы для комфортного обучения и взаимодействия студентов: инструкцию, чат Telegram и электронный журнал.

Тематическое планирование

Тематическое планирование основано на поэтапной передаче учащимся базовых знаний об обработке естественного языка. Алгоритмы рассматриваются по порядку от простых к более сложным, а также по их очерёдности в NLP.

Содержание обучения направлено на формирование у студентов знаний в области NLP и навыков использования основными алгоритмами. Для постепенного погружения в материал предусмотрены части «Прежде чем начать» (содержит организационную информацию) и «Введение» (теория по обработке естественного языка и установка пакетов данных). Часть «Алгоритмы» включает в себя основные темы курса: токенизация, стемминг, лемматизация, чанкинг и модель «Мешок слов». В разделе «Проектная деятельность» учащиеся могут выбрать одно из предложенных направлений для изучения и разработки программы: прогнозатор категорий, анализатор грамматических родов, сентимент-анализатор или тематическое моделирование. Выбранные для проектов темы вынесены отдельно от остальных ввиду их узкой направленности и повышенной сложности, которая потребует большего количества времени на выполнение, чем обычные темы. Часть «Заключение» позволяет подвести итоги обучения и обозначить результаты учащихся.

Задания

Ниже представлены варианты трёх заданий электронного курса по теме «Токенизация». Задания на развитие навыков программирования по остальным темам модуля «Алгоритмы» имеют аналогичное строение.

·        Задание 1 заключается в повторении и запуске программы на Python, предложенной в лекции. Наличие задания такого типа обусловлено необходимостью закрепления первичных полученных знаний на практике. Недостаточно просто посмотреть на программу, важно понять и отработать каждую её часть в отдельности.