Opera предложила стандарт WebAI для запуска нейросетей прямо в браузере, без облака
Компания Opera представила WebAI — новый веб-стандарт, позволяющий запускать языковые и другие ИИ-модели с открытыми весами локально на устройстве пользователя, не обращаясь к облачным серверам. Технология уже поддерживает Google Gemma и встроенную модель Apple на Mac.
Коротко
- Opera разработала WebAI для локального инференса ИИ-моделей в браузере без отправки данных в облако.
- Стандарт не привязан к одной архитектуре и поддерживает открытые модели, включая Gemma от Google и модель Apple.
- Технология нацелена на снижение задержек и повышение приватности при использовании нейросетей.
Opera анонсировала WebAI — веб-стандарт, предназначенный для развёртывания и запуска нейросетей непосредственно в браузере пользователя. Ключевое отличие подхода в том, что вычисления происходят локально, на процессоре или графическом ускорителе компьютера, без необходимости передавать данные на удалённые серверы. В компании подчёркивают, что WebAI не завязан на конкретную архитектуру или вендора.
Стандарт рассчитан на работу с различными системами, имеющими открытые веса. На старте заявлена совместимость с облегчённой версией модели Gemma от Google, а на компьютерах Mac — с собственной базовой моделью Apple, встроенной в операционную систему. Локальный инференс решает две основные задачи: снижение задержек и повышение приватности.
Пользовательские данные не покидают устройство, что критично для корпоративных сценариев и всех, кто не готов передавать чувствительную информацию облачным провайдерам. Кроме того, отпадает необходимость в постоянном подключении к интернету. Opera позиционирует WebAI как открытый стандарт для всей веб-экосистемы.
Детали реализации и API пока не раскрываются, но сама концепция предполагает, что сайты и веб-приложения смогут обращаться к локальным моделям через браузер так же, как сегодня используют веб-камеру или геолокацию — с явного разрешения пользователя. Запуск ИИ-моделей на стороне клиента стал возможен благодаря прогрессу в квантизации и оптимизации нейросетей. Модели уровня Gemma с несколькими миллиардами параметров уже способны работать на потребительских ноутбуках с приемлемой скоростью, а встроенные нейроядра в современных чипах Apple Silicon и Intel Core Ultra дополнительно ускоряют вычисления.
Инициатива Opera продолжает тренд на децентрализацию ИИ-инференса. Ранее Mozilla экспериментировала с локальным переводом в Firefox, а Google добавляла в Chrome API для выполнения небольших моделей. Однако Opera первой предлагает унифицированный стандарт, не привязанный к браузерному движку или конкретному производителю чипов.
Пока WebAI существует на стадии предложения, и его принятие зависит от консорциума W3C и других разработчиков браузеров. Если стандарт получит поддержку, веб-приложения смогут массово внедрять ИИ-функции — от умного поиска по странице до локальных ассистентов — без инфраструктурных затрат на серверную часть. Анонс отражает более широкий сдвиг индустрии в сторону гибридных вычислений, где часть задач берут на себя облачные гиганты вроде OpenAI и Anthropic, а часть — локальные модели на устройствах.
Opera пытается занять нишу связующего звена, предлагая разработчикам единый интерфейс для доступа к локальному ИИ.
Источник: 3DNews