KIOXIA вдосконалює пошук у системах штучного інтелекту

Японська компанія повідомила про оновлення свого програмного забезпечення з відкритим кодом All-in-Storage Approximate Nearest Neighbor Search with Product Quantisation (AiSAQ). Рішення орієнтоване на вдосконалення векторного пошуку в системах доповненого генеративного ШІ (RAG) шляхом оптимізації використання SSD.

Нова розробка компанії KIOXIA 

На відміну від традиційного підходу, де індекси для векторного пошуку зберігаються в оперативній пам’яті (DRAM), нове ПЗ дозволяє виконувати пошук безпосередньо на SSD. Крім цього воно знижує навантаження на системні ресурси та відкриває шлях до масштабування RAG-моделей без значних витрат на пам’ять.

Оновлення AiSAQ дає системним архітекторам можливість точно налаштовувати рішення під конкретні сценарії. Наприклад, коли важлива швидкість відповіді або, навпаки, обсяг збережених даних.

У реальних умовах це виглядає так: чим більше швидкості – тим більше ресурсів SSD йде на обробку одного вектора, відповідно їх кількість зменшується. Якщо ж потрібно зберігати більше векторів – продуктивність знижується. AiSAQ дозволяє балансувати між цими крайнощами, залежно від пріоритетів користувача.

Хоча рішення розроблялося для генеративного доповненого пошуку в системах штучного інтелекту, KIOXIA заявляє, що оновлена версія AiSAQ може бути корисною і для інших векторних задач, зокрема семантичного пошуку в автономному режимі.