OpenAI представила CriticGPT: Нову модель для виявлення помилок у коді
OpenAI анонсувала нову модель штучного інтелекту CriticGPT, створену для виявлення помилок у коді, згенерованому ChatGPT. Нова модель призначена для допомоги тестувальникам програмного забезпечення, полегшуючи процес виявлення та виправлення недоліків.
Згідно з дослідженням “LLM Critics Help Catch LLM Bugs”, CriticGPT, заснований на великій мовній моделі GPT-4, аналізує код і вказує на потенційні помилки. Модель навчалася на наборі даних із зразками коду, що містять навмисні помилки, щоб ефективно розпізнавати різні типи похибок.
Дослідники виявили, що CriticGPT переважає людську критику в 63% випадків природних помилок LLM. Використання CriticGPT дозволяє командам писати більш детальні відгуки, знижуючи рівень конфабуляцій (хибних фактів).
CriticGPT виявляє не лише внесені помилки, а й ті, що природно виникають у результатах ChatGPT. OpenAI також розробила новий метод Force Sampling Beam Search (FSBS), який допомагає моделі писати більш детальні огляди коду.
Модель демонструє потенціал не лише у виявленні помилок, але й у знаходженні тонких помилок, які можуть вислизнути від людської уваги. Проте, CriticGPT має свої обмеження, зокрема у перевірці довших та складніших завдань, де помилки можуть бути розкидані по кількох частинах коду.
Таким чином, CriticGPT стає важливим інструментом для покращення якості програмного забезпечення, хоча повне усунення конфабуляцій ще потребує подальшої роботи.
