Обзор AI-моделей сервиса Yandex AI Studio
Yandex AI Studio предоставляет широкие возможности для работы с генеративным моделями для решения бизнес-задач:
- Собственные и опенсорс-модели в базовом инстансе c оплатой за потребленные токены.
- Дообучение моделей по методу LoRA.
- Готовые и дообучаемые модели классификации текста.
- Большой выбор текстовых и мультимодальных опенсорс-моделей для обработки больших объемов данных в пакетном режиме с предоплаченным минимальным объемом токенов.
- Выделенные инстансы моделей, если вам требуется обрабатывать большие объемы данных с гарантированным временем ответа.
Для работы с моделями доступны два интерфейса: AI Playground в консоли управления и различные API для создания агентов и прямого обращения к моделям.
Режимы работы с моделями AI Studio
Модели AI Studio имеют три режима взаимодействия: синхронный, асинхронный и пакетный. Режимы отличаются временем ответа и логикой работы.
В синхронном режиме модель получает ваш запрос и возвращает результат сразу после обработки. Задержка ответа в синхронном режиме минимальна, однако он не придет моментально: для работы модели требуется время, которое зависит от модели и от загруженности системы. При включенной опции stream модель в процессе присылает промежуточные варианты генерации. Синхронный режим подходит, если вам нужно поддерживать диалог чат-бота. В синхронном режиме модели доступны в AI Playground, ML SDK, через API генерации текста, и OpenAI-совместимые API.
В асинхронном режиме в ответ на полученный запрос модель присылает объект Operation, который содержит идентификатор выполняемой операции. По идентификатору вы можете узнать статус запроса и позже получить его результат, отправив запрос на специальный эндпоинт получения результата (его значение зависит от модели). Промежуточные результаты генерации недоступны в асинхронном режиме. Как правило, генерация результата в асинхронном режиме занимает больше времени (от пары минут до нескольких часов), чем в синхронном, но будет стоить дешевле. Асинхронный режим подходит, если ваши задачи не требуют срочного ответа. В асинхронном режиме некоторые модели доступны в ML SDK, через API генерации текста и API генерации изображений.
Пакетный режим работы (batch processing) позволяет обрабатывать большой массив данных за один запрос к модели. Входные данные передаются в виде датасета, тип датасета зависит от модели. Для каждого запроса сервис AI Studio запускает индивидуальный инстанс модели, который обрабатывает датасет, а после выключает его. Результат сохраняется в виде еще одного датасета, который вы можете скачать в формате Parquet или сразу же использовать, например, для дообучения другой модели. Генерация результата может занять несколько часов. Обработать данные в пакетном режиме можно в консоли управления, с помощью ML SDK и через Batch API. Список моделей, доступных в пакетном режиме, см. в разделе Пакетная обработка данных.
Собственные модели Яндекса
В Model Gallery доступны модели, разработанные в Яндексе, которые вы можете использовать для бизнеса.
Модели YandexGPT Pro и YandexGPT Lite в первую очередь предназначены для работы с русскоязычными текстами, но могут понимать около 20 языков, в том числе английский и японский. Примеры инструкций и запросов собраны в библиотеке промтов YandexGPT.
YandexART — это генеративная нейросеть, которая создает изображения по текстовому запросу. YandexART работает по методу каскадной диффузии, итеративно детализируя изображения из шума. Вы можете указать формат итогового изображения в параметре mime_type. На данный момент поддерживается значение image/jpeg. По умолчанию YandexART генерирует изображение размером 1024 х 1024 пикселя. Этот размер может увеличиваться или уменьшаться в зависимости от заданного соотношения сторон, но не более чем на 10%. Примеры инструкций и запросов собраны в библиотеке промтов YandexART.
Модели YandexGPT и YandexART имеют свои API, чтобы вы могли интегрировать их в свои приложения:
Кроме того, модели доступны через ML SDK и в AI Playground.