Опубликовано: 14 мая 2024 г., Последнее обновление: 20 мая 2024 г.
Мы разрабатываем API веб-платформ и функции браузера, предназначенные для работы с моделями ИИ, экспертными моделями и большими языковыми моделями (LLM), встроенными в браузер. Благодаря встроенному ИИ ваш веб-сайт или веб-приложение смогут выполнять задачи на базе ИИ без необходимости развертывания, управления или самостоятельного размещения моделей ИИ.
Узнайте о преимуществах встроенного ИИ, нашем плане внедрения и о том, как вы можете начать использовать эти инструменты.
Если вы новичок в области ИИ в Интернете, ознакомьтесь с нашим глоссарием и концепциями веб-ИИ .
Преимущества встроенного ИИ для веб-разработчиков
Благодаря встроенному ИИ ваш браузер предоставляет и управляет базовыми и экспертными моделями.
Встроенный ИИ обеспечивает следующие преимущества:
- Простота развертывания : браузер распределяет модели с учётом возможностей устройства и управляет обновлениями. Это означает, что вам не нужно отвечать за загрузку или обновление больших моделей по сети. Вам не придётся решать проблемы, связанные с освобождением хранилища, бюджетом оперативной памяти, стоимостью обслуживания и другими проблемами.
- Доступ к аппаратному ускорению : среда выполнения ИИ-приложений браузера оптимизирована для максимального использования доступного оборудования, будь то графический процессор, нейропроцессор или центральный процессор. Следовательно, ваше приложение может работать максимально эффективно на любом устройстве.
Преимущества работы на стороне клиента
Благодаря встроенному ИИ вы можете выполнять ИИ на стороне клиента , что означает, что вы получаете следующие преимущества:
- Локальная обработка конфиденциальных данных : ИИ на стороне клиента может улучшить вашу конфиденциальность. Например, если вы работаете с конфиденциальными данными, вы можете предложить пользователям функции ИИ со сквозным шифрованием.
- Быстрый пользовательский опыт : в некоторых случаях отказ от обращения к серверу позволяет предлагать практически мгновенные результаты. ИИ на стороне клиента может стать решающим фактором между жизнеспособной функцией и неоптимальным пользовательским опытом.
- Расширенный доступ к ИИ : устройства ваших пользователей могут взять на себя часть вычислительной нагрузки в обмен на расширенный доступ к функциям. Например, если вы предлагаете премиум-функции ИИ, вы можете протестировать их с помощью клиентского ИИ, чтобы потенциальные клиенты могли оценить преимущества вашего продукта без дополнительных затрат. Этот гибридный подход также поможет вам контролировать затраты на вывод, особенно в часто используемых пользовательских потоках.
- Использование ИИ в автономном режиме : ваши пользователи могут получить доступ к функциям ИИ даже при отсутствии подключения к Интернету. Это означает, что ваши сайты и веб-приложения могут работать как положено в автономном режиме или при нестабильном подключении к Интернету.
Гибридный ИИ: на стороне клиента и на стороне сервера
Хотя клиентский ИИ может справиться с широким спектром задач, для некоторых из них требуется поддержка на стороне сервера. Серверный ИИ — отличный вариант для больших моделей, он поддерживает более широкий спектр платформ и устройств.
Вы можете рассмотреть гибридный подход, если для вашего приложения требуется:
- Сложность: Конкретные, доступные сценарии использования проще реализовать с помощью ИИ на устройстве. Для сложных сценариев использования рассмотрите возможность реализации на стороне сервера.
- Устойчивость : используйте серверную часть по умолчанию и используйте ее на устройстве, когда устройство находится в автономном режиме или имеет нестабильное соединение.
- Постепенный откат : внедрение браузеров со встроенным ИИ займет время, некоторые модели могут быть недоступны, а старые или менее мощные устройства могут не соответствовать аппаратным требованиям для оптимальной работы всех моделей. Предложите таким пользователям серверный ИИ.
Например, если вы используете встроенный API Prompt , он доступен только в расширениях Chrome для Windows, macOS и Linux. Чтобы все ваши пользователи могли воспользоваться преимуществами функции ИИ, настройте гибридную архитектуру с Firebase AI Logic .
Доступ к встроенному ИИ
Доступ к встроенным возможностям ИИ осуществляется преимущественно через API задач , такие как API Translator или API Summarizer. API задач предназначены для выполнения вывода на основе наилучшей модели для конкретного задания, будь то большая языковая или экспертная модель.
Когда использовать встроенный ИИ
Вот несколько способов, которыми встроенный ИИ может принести пользу вам и вашим пользователям:
- Потребление контента, улучшенное с помощью ИИ : включая реферирование, перевод, категоризацию, характеристику, а также роль поставщика знаний.
- Создание контента с поддержкой ИИ : помощь в написании, корректура, исправление грамматики и перефразирование.
Некоторые встроенные API ИИ доступны в стабильных и исходных пробных версиях Chrome. Исследовательские API и API на ранних стадиях разработки доступны участникам программы раннего предварительного просмотра (EPP) .
Предварительный просмотр новых функций
Нам необходимо ваше мнение для разработки API, которые помогут вам реализовать ваши сценарии использования и послужат основой для обсуждений с другими поставщиками браузеров по вопросам стандартизации.
Присоединяйтесь к EPP , чтобы предоставить обратную связь по идеям встроенного ИИ на ранней стадии разработки и открыть возможности для тестирования находящихся в разработке API с помощью локального прототипирования.