Сучасні ШІ демонструють вражаючі результати, але не мають справжнього розуміння світу
MIT опублікував дослідження, яке показує, що сучасні ШІ на кшталт великої мовної моделі GPT-4 здатні генерувати правдоподібні відповіді, але не володіють справжнім розумінням реального світу.
Про це повідомляє MIT News.
Моделі на основі трансформерів (наприклад, GPT-4 та BERT) навчаються на великих обсягах тексту і передбачають наступні слова або аналізують зміст. Однак це навчання не означає розуміння суті завдань або глибокого знання контексту. Тому вони обмежені у застосуванні в реальних умовах.
Тест на орієнтацію в просторі та виявлені недоліки
Дослідники перевірили здатність штучного інтелекту до навігації, створивши для нього симуляцію пересування Нью-Йорком. Моделі показали хороші результати, коли всі вулиці були відкриті. Проте варто було додати об’їзди або перекриття кількох вулиць, як точність ШІ різко впала. Показник знизився з майже 100% до 67% при закритті лише 1% доріг. Виявилося, що ШІ використовує умовні мапи, часто із фантазійними елементами. Це свідчить про відсутність реального просторового розуміння.
Нова методологія для оцінки здатності ШІ розуміти світ
Щоб краще оцінити розуміння ШІ-моделями реального світу, вчені розробили два показники: “послідовна відмінність” для перевірки, чи може ШІ розрізняти різні стани, та “стисливість послідовностей“, що перевіряє здатність до однакових рішень в аналогічних ситуаціях. Науковці MIT і Гарварду зазначили, що такі моделі, попри здатність вирішувати складні завдання, часто не володіють розумінням основних принципів реального світу. Це важливе відкриття свідчить про те, що перед широким використанням ШІ слід перевіряти, які завдання їм під силу, та обережно підходити до впровадження в практику.
