Xuất bản: Ngày 14 tháng 5 năm 2024, Cập nhật lần gần đây nhất: Ngày 20 tháng 5 năm 2024
Chúng tôi đang phát triển các API nền tảng web và các tính năng của trình duyệt được thiết kế để hoạt động với các mô hình AI, mô hình chuyên gia và mô hình ngôn ngữ lớn (LLM), được tích hợp trong trình duyệt. Với AI tích hợp, trang web hoặc ứng dụng web của bạn có thể thực hiện các tác vụ dựa trên AI mà không cần triển khai, quản lý hoặc tự lưu trữ các mô hình AI.
Khám phá những lợi ích của AI tích hợp, kế hoạch triển khai của chúng tôi và cách bạn có thể bắt đầu triển khai những công cụ này.
Nếu bạn mới làm quen với AI trên web, hãy đọc bảng thuật ngữ và các khái niệm về AI trên web của chúng tôi.
Lợi ích của AI tích hợp dành cho nhà phát triển web
Với AI tích hợp sẵn, trình duyệt của bạn sẽ cung cấp và quản lý các mô hình nền tảng và mô hình chuyên gia.
AI tích hợp sẵn mang lại những lợi ích sau:
- Dễ dàng triển khai: Trình duyệt phân phối các mô hình, tính đến khả năng của thiết bị và quản lý các bản cập nhật. Điều này có nghĩa là bạn không chịu trách nhiệm tải xuống hoặc cập nhật các mô hình lớn qua mạng. Bạn không cần phải giải quyết vấn đề về việc loại bỏ bộ nhớ, hạn mức bộ nhớ thời gian chạy, chi phí phân phát và các thách thức khác.
- Quyền truy cập vào tính năng tăng tốc phần cứng: Thời gian chạy AI của trình duyệt được tối ưu hoá để tận dụng tối đa phần cứng hiện có, cho dù là với GPU, NPU hay quay lại CPU. Do đó, ứng dụng của bạn có thể đạt được hiệu suất tốt nhất trên mỗi thiết bị.
Lợi ích của việc chạy phía máy khách
Với AI tích hợp, bạn có thể thực hiện phía máy khách AI, nghĩa là bạn sẽ nhận được những lợi ích sau:
- Xử lý cục bộ dữ liệu nhạy cảm: AI phía máy khách có thể cải thiện câu chuyện về quyền riêng tư của bạn. Ví dụ: nếu làm việc với dữ liệu nhạy cảm, bạn có thể cung cấp các tính năng AI cho người dùng bằng phương thức mã hoá hai đầu.
- Trải nghiệm người dùng nhanh chóng: Trong một số trường hợp, việc loại bỏ chuyến khứ hồi đến máy chủ có nghĩa là bạn có thể cung cấp kết quả gần như tức thì. AI phía máy khách có thể là điểm khác biệt giữa một tính năng khả thi và trải nghiệm người dùng không tối ưu.
- Có nhiều quyền truy cập hơn vào AI: Thiết bị của người dùng có thể đảm nhận một phần tải xử lý để đổi lấy nhiều quyền truy cập hơn vào các tính năng. Ví dụ: nếu cung cấp các tính năng AI cao cấp, bạn có thể xem trước các tính năng này bằng AI phía máy khách để khách hàng tiềm năng có thể thấy được lợi ích của sản phẩm mà bạn cung cấp mà không tốn thêm chi phí. Phương pháp kết hợp này cũng có thể giúp bạn quản lý chi phí suy luận, đặc biệt là đối với các luồng người dùng thường xuyên được sử dụng.
- Sử dụng AI khi không có mạng: Người dùng có thể truy cập vào các tính năng AI ngay cả khi không có kết nối Internet. Điều này có nghĩa là các trang web và ứng dụng web của bạn có thể hoạt động như mong đợi khi không có mạng hoặc có kết nối không ổn định.
AI kết hợp: Phía máy khách và phía máy chủ
Mặc dù AI phía máy khách có thể xử lý nhiều trường hợp sử dụng, nhưng một số trường hợp sử dụng yêu cầu hỗ trợ phía máy chủ. AI phía máy chủ là một lựa chọn phù hợp cho các mô hình lớn và có thể hỗ trợ nhiều nền tảng và thiết bị hơn.
Bạn có thể cân nhắc sử dụng phương pháp kết hợp nếu ứng dụng của bạn yêu cầu:
- Độ phức tạp: AI trên thiết bị dễ hỗ trợ các trường hợp sử dụng cụ thể và dễ tiếp cận hơn. Đối với các trường hợp sử dụng phức tạp, hãy cân nhắc việc triển khai phía máy chủ.
- Khả năng phục hồi: Theo mặc định, hãy sử dụng phía máy chủ và sử dụng trên thiết bị khi thiết bị không kết nối mạng hoặc kết nối không ổn định.
- Cơ chế dự phòng linh hoạt: Việc sử dụng các trình duyệt có AI tích hợp sẽ mất thời gian, một số mô hình có thể không dùng được và các thiết bị cũ hoặc có hiệu suất thấp có thể không đáp ứng được các yêu cầu về phần cứng để chạy tất cả các mô hình một cách tối ưu. Cung cấp AI phía máy chủ cho những người dùng đó.
Ví dụ: nếu bạn sử dụng Prompt API tích hợp, thì API này chỉ có trong Tiện ích của Chrome, trên Windows, macOS và Linux. Để đảm bảo tất cả người dùng đều có thể hưởng lợi từ tính năng AI của bạn, hãy thiết lập một cấu trúc kết hợp bằng Firebase AI Logic.
Sử dụng AI tích hợp
Bạn có thể truy cập vào các chức năng AI tích hợp chủ yếu bằng API tác vụ, chẳng hạn như Translator API hoặc Summarizer API. Task API được thiết kế để chạy quy trình suy luận dựa trên mô hình phù hợp nhất cho bài tập, cho dù đó là mô hình ngôn ngữ lớn hay mô hình chuyên gia.
Trường hợp sử dụng AI tích hợp
Sau đây là một số lợi ích mà AI tích hợp có thể mang lại cho bạn và người dùng:
- Sử dụng nội dung được AI cải tiến: Bao gồm tóm tắt, dịch, phân loại, mô tả và cung cấp kiến thức.
- Tạo nội dung nhờ AI: Chẳng hạn như trợ giúp viết, hiệu đính, sửa lỗi ngữ pháp và diễn đạt lại.
Một số API AI tích hợp có trong Chrome phiên bản ổn định và các thử nghiệm theo nguyên gốc. Các API thử nghiệm và API giai đoạn đầu được cung cấp cho người tham gia Chương trình tiếp cận sớm (EPP).
Xem trước các tính năng mới
Chúng tôi cần ý kiến đóng góp của bạn để định hình các API nhằm đáp ứng các trường hợp sử dụng của bạn và cung cấp thông tin cho các cuộc thảo luận của chúng tôi với những nhà cung cấp trình duyệt khác để tiêu chuẩn hoá.
Tham gia EPP để đưa ra ý kiến phản hồi về các ý tưởng AI tích hợp ở giai đoạn đầu và khám phá cơ hội thử nghiệm các API đang trong quá trình phát triển thông qua việc tạo mẫu cục bộ.