Data publikacji: 14 maja 2024 r., ostatnia aktualizacja: 20 maja 2024 r.
Opracowujemy interfejsy API platformy internetowej i funkcje przeglądarki, które współpracują z modelami AI, modelami ekspertów i wielkimi modelami językowymi (LLM) tworzonymi w przeglądarce. Dzięki wbudowanej sztucznej inteligencji Twoja witryna lub aplikacja internetowa może wykonywać zadania oparte na AI bez konieczności wdrażania, zarządzania czy hostowania modeli AI.
Poznaj zalety wbudowanej AI, nasz plan wdrożenia i sposoby korzystania z tej technologii.
Zalety wbudowanej AI dla programistów stron internetowych
Dzięki wbudowanej AI przeglądarka zapewnia i zarządza podstawowymi oraz zaawansowanymi modelami.
Wbudowana AI zapewnia te korzyści:
- Łatwość wdrożenia: przeglądarka rozpowszechnia modele, uwzględniając możliwości urządzenia, i zarządza aktualizacjami. Oznacza to, że nie ponosisz odpowiedzialności za pobieranie ani aktualizowanie dużych modeli przez sieć. Nie musisz rozwiązywać problemów związanych z usuwaniem danych z pamięci, budżetem pamięci na czas wykonywania, kosztami wyświetlania i innymi wyzwaniami.
- Dostęp do akceleracji sprzętowej: środowisko wykonawcze AI przeglądarki jest zoptymalizowane pod kątem maksymalnego wykorzystania dostępnego sprzętu, czy to GPU, NPU, czy też CPU. Dzięki temu Twoja aplikacja może osiągnąć najlepszą wydajność na każdym urządzeniu.
Zalety korzystania z reklam po stronie klienta
Dzięki wbudowanej AI możesz korzystać z AI po stronie klienta, co oznacza, że zyskasz te korzyści:
- Lokalne przetwarzanie danych wrażliwych: AI po stronie klienta może zwiększyć prywatność. Jeśli na przykład pracujesz z danymi wrażliwymi, możesz oferować użytkownikom funkcje AI z pełnym szyfrowaniem.
- Szybka obsługa użytkownika: w niektórych przypadkach rezygnacja z podwójnego połączenia z serwerem oznacza, że możesz oferować niemal natychmiastowe wyniki. AI po stronie klienta może być czynnikiem, który odróżnia przydatną funkcję od niezbyt wygodnej dla użytkownika.
- Większy dostęp do AI: urządzenia użytkowników mogą przejąć część obciążenia związanego z przetwarzaniem w zamian za większy dostęp do funkcji. Jeśli na przykład oferujesz funkcje AI premium, możesz wyświetlić ich podgląd za pomocą AI po stronie klienta, aby potencjalni klienci mogli zobaczyć zalety Twojego produktu bez dodatkowych kosztów. To hybrydowe podejście może Ci też pomóc w zarządzaniu kosztami wnioskowania, zwłaszcza w przypadku często używanych ścieżek użytkownika.
- Używanie AI offline: użytkownicy mogą korzystać z funkcji AI nawet wtedy, gdy nie ma połączenia z internetem. Oznacza to, że Twoje witryny i aplikacje internetowe mogą działać zgodnie z oczekiwaniami w trybie offline lub przy zmiennej łączności.
AI hybrydowe: po stronie klienta i po stronie serwera
AI po stronie klienta może obsługiwać wiele przypadków użycia, ale niektóre z nich wymagają obsługi po stronie serwera. AI po stronie serwera to świetna opcja w przypadku dużych modeli. Może ona obsługiwać szerszy zakres platform i urządzeń.
Rozwiązanie hybrydowe może być przydatne, jeśli aplikacja wymaga:
- Złożoność: konkretne, przystępne przypadki użycia łatwiej jest obsługiwać za pomocą AI na urządzeniu. W przypadku złożonych przypadków użycia rozważ implementację po stronie serwera.
- Odporność: domyślnie korzystaj z modeli po stronie serwera, a na urządzeniu, gdy jest ono offline lub ma niestabilne połączenie.
- Przyjazny tryb awaryjny: wdrożenie przeglądarek z wbudowaną AI zajmie trochę czasu. Niektóre modele mogą być niedostępne, a starsze lub mniej wydajne urządzenia mogą nie spełniać wymagań sprzętowych umożliwiających optymalne działanie wszystkich modeli. Zaoferuj tym użytkownikom AI po stronie serwera.
Jeśli na przykład używasz wbudowanego interfejsu Prompt API, jest on dostępny tylko w rozszerzeniach do Chrome w systemach Windows, macOS i Linux. Aby zapewnić wszystkim użytkownikom dostęp do funkcji AI, skonfiguruj hybrydową architekturę za pomocą Firebase AI Logic.
Dostęp do wbudowanej AI
Do wbudowanych funkcji AI możesz uzyskać dostęp głównie za pomocą interfejsów API do zadań, takich jak interfejs Translator API czy Summarizer API. Interfejsy API do zadań są przeznaczone do przeprowadzania wnioskowania na podstawie najlepszego modelu do danego zadania, niezależnie od tego, czy jest to model językowy czy model eksperta.
Kiedy używać wbudowanej AI
Oto kilka sposobów, w jakie wbudowana AI może przynieść korzyści Tobie i Twoim użytkownikom:
- Konsumpcja treści z wykorzystaniem AI: obejmuje podsumowywanie, tłumaczenie, kategoryzowanie, opisywanie i dostarczanie informacji.
- Tworzenie treści z wykorzystaniem AI: np. pomoc w pisaniu, sprawdzanie poprawności, poprawianie błędów gramatycznych i przekształcanie zdań.
Kilka wbudowanych interfejsów API AI jest dostępnych w Chrome w wersji stabilnej i w ramach wersji próbnych origin. Interfejsy API w wersji eksploracyjnej i w wersji wczesnej są dostępne dla uczestników programu wczesnego podglądu (EPP).
Podgląd nowych funkcji
Potrzebujemy Twoich opinii, aby dostosować interfejsy API do Twoich przypadków użycia i przeprowadzić rozmowy ze sprzedawcami innych przeglądarek na temat standaryzacji.
Dołącz do programu EPP, aby przekazywać opinie na temat wczesnych pomysłów dotyczących wbudowanej AI i odkryć możliwości testowania interfejsów API w trakcie tworzenia za pomocą lokalnego prototypowania.