Команда колишніх працівників Google X хоче створити штучний інтелект, який стане вашим другим мозком — і вже залучила 6 мільйонів доларів для реалізації цього задуму

Троє колишніх науковців Google X мають на меті створити віртуальний “другий мозок” за допомогою AI-додатку, який слухає все, що ви кажете в фоновому режимі. Їхній стартап, TwinMind, залучив $5.7 мільйонів у рамках початкового фінансування та випустив версію для Android, а також нову AI модель для обробки мови. Доступна також версія для iPhone.

TwinMind, заснований у березні 2024 року Даніелем Джорджем (Генеральний директор) та його колишніми колегами з Google X Соні Тангом і Махі Карімом (обидва – технічні директори), працює у фоновому режимі. Він захоплює оточуючу мову (за згодою користувача) для створення персоналізованої бази знань.

Додаток перетворює усні думки, зустрічі, лекції та розмови в структуровану пам’ять, генеруючи AI-ноти, завдання та відповіді. Він працює оффлайн, обробляє аудіо в реальному часі для транскрипції безпосередньо на пристрої, а також може без перерви захоплювати аудіо до 16-17 годин без витрати батареї, як стверджують засновники. Додаток також може резервувати дані користувачів, так що розмови можна відновити, якщо пристрій загублений, хоча користувачі можуть відмовитися від цієї функції. Додаток підтримує реальний переклад більш ніж у 100 мовах.

TwinMind відрізняється від AI-додатків для ведення записів на зустрічах, таких як Otter, Granola і Fireflies, тим, що він пасивно записує аудіо протягом усієї доби. Для цього команда створила низькорівневий сервіс на чистій Swift, який працює на iPhone. Натомість багато конкурентів використовують React Native і залежать від обробки в хмарі, що Apple обмежує, якщо мова йде про тривале використання в фоні, як зазначив Джордж в ексклюзивному інтерв’ю.

“Минулого року ми витратили приблизно шість-сім місяців лише на удосконалення безперервного захоплення аудіо і знайти багато рішень для обходу обмежень Apple,” сказав він у розмові з журналістами.

Джордж залишив Google X у 2020 році і ідея для TwinMind з’явилася у 2023 році, коли він працював у JPMorgan на посаді віце-президента та керівника підрозділу вакансій AI, щоденно відвідуючи численні зустрічі. Щоб заощадити час, він створив скрипт, який захоплював аудіо, транскрибував його на його iPad та інтегрував з ChatGPT — який почав розуміти його проєкти та навіть генерувати код. Уразившись результатами, він поділився цим із друзями та опублікував про це на Blind, де інші висловили інтерес, але не хотіли, щоб щось працювало на їхніх робочих ноутбуках. Це призвело до створення програми, яка могла б працювати на особистому телефоні, тихо слухаючи на зустрічах та збираючи корисний контекст.

Окрім мобільного додатку, TwinMind пропонує розширення для Chrome, яке збирає додатковий контекст через активність у браузері. З використанням AI зору, це розширення може візуально сканувати відкриті вкладки та інтерпретувати контент з різних платформ, включаючи електронну пошту, Slack та Notion.

Цей стартап навіть використовував своє розширення для вибору стажистів з понад 850 заявок, отриманих цього літа.

“Ми відкрили всі профілі LinkedIn та резюме 854 кандидатів у вкладках браузера, а потім попросили розширення Chrome оцінити найкращих кандидатів,” сказав Джордж. “Це справило вражаючий результат — так ми й найняли наших фінальних чотирьох стажистів.”

Він зазначив, що поточні AI-чат-боти — включаючи ChatGPT від OpenAI та Claude від Anthropic — не можуть швидко обробляти сотні документів або збирати дані з інструментів, таких як LinkedIn або Gmail. Точно так само, як AI-об browsers, які створені Perplexity і The Browser Company, не здатні будувати знання з ваших оффлайн розмов та особистих зустрічей.

На даний момент у стартапу понад 30,000 користувачів, з яких близько 15,000 активні щомісяця. Приблизно 20% до 30% користувачів TwinMind також користуються розширенням для Chrome, відзначив Джордж.

Хоча США є основним ринком для TwinMind, стартап також отримує підтримку з Індії, Бразилії, Філіппін, Ефіопії, Кенії та Європи.

TwinMind орієнтується на загальну аудиторію, хоча 50% до 60% його користувачів – це професіонали, приблизно 25% – студенти, а решта 20% до 25% – це люди, які використовують його для особистих цілей.

Джордж розповів, що його батько є одним з користувачів TwinMind, який пише свою автобіографію.

Однією з суттєвих проблем AI є ймовірність компрометації конфіденційності користувача. Проте Джордж стверджує, що TwinMind не навчає свої моделі на даних користувачів і створений, щоб працювати без відправки записів у хмари. На відміну від багатьох інших AI-додатків для запису нотаток, TwinMind не дозволяє користувачам отримувати доступ до записів аудіо пізніше — аудіо видаляється в реальному часі, а тільки транскрибований текст зберігається локально в додатку, зазначив він.

Досвід Google X допоміг пришвидшити процес

Співзасновники TwinMind провели кілька років, працюючи над різними проєктами у Google X. Джордж розповів, що працював над шістьма проєктами, включаючи iyO — команду, що стоїть за AI-навушниками, які нещодавно потрапили в заголовки через позов проти OpenAI і Джоні Айва. Цей досвід допоміг команді TwinMind швидко перейти від концепції до продукту.

“Google X насправді був ідеальним місцем для підготовки до створення власної компанії,” сказав Джордж. “Приблизно 30-40 стартапоподібних проектів відбуваються одночасно. Ніхто інший не має можливості працювати в шести стартапах на початкових стадіях за два або три роки, перш ніж запустити свій власний — принаймні, не за такий короткий час.”

Перед тим, як приєднатися до Google, Джордж працював над застосуванням глибокого навчання до астрофізики гравітаційних хвиль як частина команди LIGO, яка отримала Нобелівську премію, у Національному центрі суперкомп’ютерних застосувань при Університеті Іллінойс. Він завершив свою дисертацію з AI для астрофізики всього за один рік — у 24 роки — що стало приводом для його приєднання до дослідницької лабораторії Стівена Вольфрама в 2017 році як дослідника в галузі глибокого навчання та AI.

Ця рання зв’язок з Вольфрамом повернулася роками пізніше — він став першим інвестором у TwinMind, що стало його першим інвестиційним досвідом у стартап.

Останній раунд фінансування очолив Streamlined Ventures за участю Sequoia Capital та інших інвесторів, включаючи Вольфрама. Раунд оцінює TwinMind на суму в $60 мільйонів після фінансування.

Модель TwinMind Ear-3

Окрім своїх додатків і розширення браузера, TwinMind також запустив модель TwinMind Ear-3, наступника існуючої Ear-2, яка підтримує понад 140 мов у всьому світі та має 5.26% рівень помилок у словах, як повідомляє стартап. Нова модель також може розпізнавати різних говорців у розмові та має параметр помилки діаризації (розділення голосів) 3.8%.

Нова модель AI є вдосконаленим поєднанням кількох відкритих моделей, навченою на ретельно відібраних даних з інтернету, включаючи подкасти, відео та фільми.

“Ми виявили, що чим більше мов ви підтримуєте, тим краще модель розуміє акценти та регіональні діалекти, оскільки вона тренується на ширшому діапазоні говорців,” зазначив Джордж.

Модель коштує $0.23 за годину та буде доступна через API для розробників і підприємств у найближчі кілька тижнів.

Ear-3, на відміну від Ear-2, не підтримує повний оффлайн-досвід, оскільки він більший за розміром і працює на хмарі. Однак додаток автоматично переходить на Ear-2, якщо інтернет пропадає, а потім знову переходить на Ear-3, коли він відновлюється, додав Джордж.

З появою Ear-3 TwinMind зараз пропонує підписку Pro за $15 на місяць, з більшим контекстуальним вікном до 2 мільйонів токенів і підтримкою електронною поштою протягом 24 годин. Проте все ще є безкоштовна версія з усіма наявними функціями, включаючи необмежені години транскрипцій та розпізнавання мови на пристрої.

На даний момент стартап має команду з 11 осіб. Вони планують найняти кілька дизайнерів для покращення користувацького досвіду та створити команду з розвитку бізнесу для продажу свого API. Крім того, намір зайнятися рекламою для залучення нових користувачів.