Ученые НОШ МГУ проанализировали автоматически сгенерированные тексты и сравнили результаты нескольких больших языковых моделей при генерации документов разных форматов. Были рассмотрены семь форматов письменных заданий на английском языке: эссе, письмо, статья и т.д. На основе количественных данных проведенного по пяти параметрам (длина текста, лексическое разнообразие, плагиат и др.) эксперимента были предложены рекомендации по интеграции технологий генеративного искусственного интеллекта в творческие задания. Результаты работы опубликованы в сборнике Frontiers in Artificial Intelligence and Applications. Исследования проводились в рамках Междисциплинарной научно-образовательной школы МГУ «Сохранение мирового культурно-исторического наследия».
Технологии генеративного искусственного интеллекта (ИИ) остро ставят вопрос авторства текстов. «Очевидно, что возможности открытых систем, таких как GPT, позволяют работать с гораздо большим количеством входных данных и получать гораздо более креативные результаты», — говорит Владимир Терновский, доцент кафедры вычислительных методов факультета ВМК МГУ.
Вузы вынуждены принимать меры по разработке нормативной базы выявления и регуляции использования инструментов генерации научных и учебных текстов. Базовые характеристики систем генерации текста, как и других технических средств обучения, включают в себя адаптивность, интерактивность, доступность, гибкость и открытость. Дидактические функции, основанные на потенциале этой технологии, реализуются автоматически, что является результатом перехода от цифровизации к автоматизации не только экономики в целом, но и отдельных элементов учебного процесса. Для преподавателей иностранных языков представляют интерес такие возможности генеративного искусственного интеллекта, как создание текстов, генерация идей и редактирование текстов.
В рамках проведенного исследования ученые ФИЯР и ВМК проанализировали тексты, сгенерированные четырьмя популярными международными сервисами в ответ на письменные задания из пособий по изучению английского языка. Были выбраны большие языковые модели, которые по бенчмаркам из предыдущих исследований показывают лучшие результаты в аргументации и рассуждениях. 80% сгенерированных текстов прошли проверку на уникальность с результатом более 75%. «Творческие письменные задания претерпевают преобразования как по процессу выполнения (предпочтительно выполнять их поэтапно), так и по критериям оценки, которая должна отражать вовлеченность учащегося и фокусироваться на содержательной составляющей», — подчеркивает Анна Авраменко, доцент кафедры лингвистики и информационных технологий ФИЯР МГУ, руководитель НИР «Технологии искусственного интеллекта в цифровизации образовательной среды».
Анализ технических характеристик и ограничений диалоговых систем в сочетании с исследованием существующих методов обучения является отправной точкой для определения необходимых шагов по адаптации этих систем к решению актуальных методических задач. Например, после использования редакторов на базе ИИ использование лексики высокого уровня в текстах обучающихся значительно вырастает и составляет не менее 15% от общего объема текста. Тем не менее чат-боты не оказывают существенного влияния на успешность выполнения коммуникативной задачи. В связи с чем важным направлением для дальнейшего исследования представляется изучение формулировок наиболее успешных запросов (промтов) и, как результат, выявление способов формирования эффективных стратегий интеракции с технологиями ИИ в рамках профессиональной компетенции студентов.
Информация предоставлена пресс-службой МГУ
Источник фото: ru.123rf.com
