Время науки - The Times of Science

Время науки The Times of Science 18 №4 На заключительном этапе ИИ-инструмент оценил предложенный код по следующим критериям: безопасность, функциональность, читаемость, оптимизация, соответствие стандартам (Рис. 2). Рис. 2. Оценка по критериям Дополнительно ГНС предлагает ряд текстовых рекомендаций, в некоторых решениях даже указывая фрагменты кода для корректировки. Однако при анализе студенческих работ ИИ-инструмент допускал ошибки. Отдельные фрагменты кода помечались как уязвимые из-за шаблонного анализа, хотя контекст исключал риск, некоторые реальные уязвимости были пропущены, предлагались оптимизации, которые ломали логику, генерировались неоптимальные варианты исправлений. Подобные ошибки ИИ связаны прежде всего с тем, что модели обучаются на открытых репозиториях, где много устаревшего и небезопасного кода, модель не видит всю систему, а только фрагменты, часто выбираются популярные решения, а не правильные. Подобные ошибки еще раз подчеркивают необходимость фактчекинга, дополнительной проверки, а не слепого копирования. Необходимо выполнять ручную проверку сгенерированного кода, формулировать более детальные промпты, обучать модели на своих проектах. По результатам опытной работы с ИИ-инструментами проведено анкетирование студентов с целью выявления их отношения к автоматической проверке кода инструментами ИИ. Большинство студентов 2 курса отметили, что практически на всех этапах разработки проектов по веб-программированию использовали ИИ-инструменты для анализа кода и поиска ошибок. Студенты отметили, что ИИ хорошо находил синтаксические ошибки, но иногда предлагал странные оптимизации, почти в 50% случаев требовалось ручное исправление