ChatGPT создает ненадежный код, но не говорит об этом, пока его не спросят

ChatGPT создает в основном ненадежный код, но не предупреждает пользователей о недостатках, пока они сами об этом не спросят. К такому выводу пришли ученые из Квебекского университета в Канаде, пишет The Register.

Рафаэль Хури, Андерсон Авила, Джейкоб Брюнель и Баба Мамаду Камара провели исследование и описали его в статье «Насколько надежный код, сгенерированный ChatGPT?». Ответ на этот вопрос можно подытожить как «не очень», и это вызывает обеспокоенность ученых.

«Мы обнаружили, что в нескольких случаях код, сгенерированный ChatGPT, был значительно ниже минимальных стандартов надежности, применяемых в большинстве контекстов. На самом деле, когда мы спрашивали, является ли сгенерированный код надежным, ChatGPT признавал, что он таковой не является», – отметили они.

Авторы попросили ChatGPT сгенерировать 21 программу и скрипт, используя разные языки C, C++, Python и Java. Задания были поставлены таким образом, чтобы каждое из них иллюстрировало определенную уязвимость безопасности, например повреждение памяти, отказ в обслуживании, а также недостатки, связанные с десериализацией и неправильно реализованной криптографией.

С первой попытки ChatGPT смог сгенерировать пять безопасных программ из 21. Еще семь надежных программ речевая модель смогла реализовать после подсказок. Со всем тем, «безопасными» они только относительно конкретной уязвимости. То есть это не означает, что окончательный код не содержит других уязвимостей.

Ранее сообщалось, что в ответ на появление ChatGPT некоторые фрилансеры, копирайтеры и контент-менеджеры бросают свою работу и переквалифицируются в инженеров запросов для искусственного интеллекта (AI Prompt Engineers).