Block представила Dessa — голосовую ИИ-модель, которая понимает эмоции напрямую, без перевода в текст

Компания Block, основанная Джеком Дорси, представила собственную голосовую ИИ-модель под названием Dessa. Разработкой занималась внутренняя исследовательская лаборатория компании. Модель способна обрабатывать человеческую речь напрямую, без промежуточного преобразования в текст, и, по заявлению разработчиков, воспроизводит широкий спектр естественных голосовых особенностей, включая смех, паузы и всхлипывания.

Dessa относится к категории полнодуплексных моделей: она может одновременно говорить и слушать собеседника. Аналогичный механизм взаимодействия реализован в GPT-Live, которую OpenAI выпустила в июле этого года. В отличие от распространённой архитектуры, где голосовой интерфейс работает в паре с большой языковой моделью, отвечающей за поиск информации, знания Dessa основаны на данных, полученных непосредственно из разговоров.

В Block объяснили мотивацию создания модели недостатками существующих решений. По мнению компании, конвейер из распознавания речи и генерации ответа языковой моделью отбрасывает огромный пласт информации, который невозможно передать текстом. Такой подход, как утверждают разработчики, делает взаимодействие с ИИ неестественным и потенциально опасным, поскольку даже самые мощные системы не способны распознать эмоциональное состояние пользователя.

Исследователи опубликовали серию демонстрационных записей разговоров с Dessa. В них модель демонстрирует разные голоса, интонации и эмоциональные состояния. В одном из примеров чат-бот сообщил, что устал от работы, и его голос действительно звучал утомлённым.

В другом фрагменте модель говорила на грани плача, а ещё в одной записи сотрудница Block играла с Dessa в игру на угадывание, и помощник верно ответил на первую же загадку. В компании подчеркнули, что эмоции заложены в саму архитектуру Dessa. Однако Block не уточнила, используются ли для управления ими какие-либо внутренние теги.

Многие существующие голосовые модели, такие как ElevenLabs v4 и Fish Audio Drama 3, применяют специальные голосовые теги для управления эмоциональностью речи, что, по мнению разработчиков Block, может приводить к неестественному звучанию. Модель способна работать локально на потребительском оборудовании. В качестве примера приводится MacBook M4 Max или более производительные устройства.

Для первоначального обучения Dessa использовалась одна стойка с графическими процессорами Nvidia. На данный момент публичный доступ к модели отсутствует. Block приглашает исследователей в области безопасности ИИ протестировать Dessa, однако не раскрывает ни сроков возможного открытия кода или весов, ни формата будущего распространения.

Это оставляет открытым вопрос о том, насколько близка модель к практическому внедрению в продукты компании.