Xuất bản: Ngày 28 tháng 4 năm 2025, Lần cập nhật gần đây nhất: Ngày 21 tháng 5 năm 2025
Sự phát triển nhanh chóng của AI đang mở ra những hướng đi mới cho các ứng dụng web, đặc biệt là khi các tính năng trên thiết bị ra đời. Khám phá cách CyberAgent (một công ty Internet hàng đầu của Nhật Bản) đang sử dụng AI tích hợp của Chrome và Prompt API để nâng cao trải nghiệm viết blog trên nền tảng Ameba Blog của họ.
Chúng tôi chia sẻ mục tiêu của họ, lợi ích của việc sử dụng AI tích hợp, những thách thức mà họ gặp phải và thông tin chi tiết có giá trị cho những nhà phát triển khác đang sử dụng AI tích hợp.
Prompt API là gì?
| Video giải thích | Web | Phần mở rộng | Trạng thái của Chrome | Intent |
|---|---|---|---|---|
| GitHub | Xem | Ý định thử nghiệm |
Prompt API giúp nhà phát triển sử dụng các mô hình ngôn ngữ lớn để thêm các tính năng AI trực tiếp vào ứng dụng của họ. Bằng cách xác định câu lệnh tuỳ chỉnh, các ứng dụng có thể thực hiện những việc như trích xuất dữ liệu, tạo nội dung và phản hồi theo cách riêng của từng người dùng. Trong Chrome, Prompt API thực hiện suy luận phía máy khách bằng Gemini Nano. Quá trình xử lý cục bộ này, bất kể mô hình nào được sử dụng, đều giúp tăng cường quyền riêng tư cho dữ liệu và tốc độ phản hồi. Bất kể mô hình nào được sử dụng, tốc độ phản hồi của ứng dụng.
Sự trợ giúp của AI dành cho tác giả trên Ameba Blog
CyberAgent nhận thấy một vấn đề chung mà các tác giả thường gặp phải: quá trình tạo nội dung hấp dẫn, đặc biệt là tiêu đề, thường tốn nhiều thời gian. Họ đưa ra giả thuyết rằng việc tích hợp các chức năng dựa trên AI vào giao diện tạo blog có thể cải thiện đáng kể chất lượng và hiệu quả của việc tạo nội dung. Mục tiêu của họ là cung cấp những công cụ truyền cảm hứng và giúp các blogger tạo ra nội dung hấp dẫn.
CyberAgent đã phát triển một tiện ích Chrome bằng Prompt API. Tiện ích này cung cấp một bộ tính năng dựa trên AI, được thiết kế để hỗ trợ người viết trên Ameba Blog tạo tiêu đề và tiêu đề phụ, các đoạn văn tiếp theo và những nội dung cải tiến chung.
CyberAgent muốn có các chức năng linh hoạt, điều này dẫn đến việc sử dụng Prompt API. Với vô vàn khả năng trong một API, CyberAgent có thể xác định chính xác những gì sẽ hoạt động hiệu quả nhất và hữu ích nhất cho các tác giả trên Ameba.
CyberAgent đã thử nghiệm tiện ích này với một số ít blogger, nhờ đó thu được thông tin chi tiết có giá trị về tính thực tế của các chức năng được cung cấp. Thông tin phản hồi này đã giúp CyberAgent xác định các ứng dụng phù hợp hơn cho tính năng hỗ trợ của AI và tinh chỉnh thiết kế của tiện ích. Dựa trên kết quả và ý kiến phản hồi tích cực, CyberAgent dự định phát hành tính năng này trong tương lai, mang sức mạnh của AI phía máy khách đến thẳng cộng đồng blog của họ.
Hãy cùng tìm hiểu kỹ hơn về các tính năng này.
Viết tiêu đề và đề mục hay hơn
Tiện ích này tạo ra nhiều tiêu đề đề xuất dựa trên toàn bộ nội dung blog. Người viết blog có thể tinh chỉnh thêm những đề xuất này bằng các lựa chọn như "Tạo lại", "Lịch sự hơn", "Thân mật hơn" hoặc "Tạo tiêu đề tương tự", v.v.
CyberAgent đã thiết kế giao diện người dùng một cách cụ thể để người dùng không phải viết bất kỳ câu lệnh nào. Bằng cách này, những người dùng chưa quen với kỹ thuật tạo câu lệnh cũng có thể hưởng lợi từ sức mạnh của AI.
Tiện ích này cũng có thể tạo tiêu đề hấp dẫn cho từng phần của blog. Tác giả có thể yêu cầu tiện ích tạo tiêu đề bằng cách chọn văn bản liên quan cho tiêu đề.
Mã để tạo tiêu đề bằng Prompt API bao gồm một câu lệnh ban đầu và một câu lệnh của người dùng. Câu lệnh ban đầu cung cấp bối cảnh và hướng dẫn để nhận được một loại đầu ra cụ thể, trong khi câu lệnh của người dùng yêu cầu mô hình tương tác với nội dung mà người dùng viết. Đọc thêm về mã của họ trong phần Triển khai tính năng hỗ trợ dựa trên AI.
Tạo các đoạn văn tiếp theo
Tiện ích này giúp các blogger vượt qua tình trạng tắc nghẽn ý tưởng bằng cách tạo các đoạn văn tiếp theo dựa trên văn bản đã chọn. Dựa vào ngữ cảnh của đoạn văn trước đó, AI sẽ phác thảo phần tiếp theo của đoạn văn, giúp tác giả duy trì mạch sáng tạo.
Cải thiện và chỉnh sửa văn bản
Gemini Nano phân tích văn bản đã chọn và có thể đề xuất các điểm cần cải thiện. Người dùng có thể tạo lại nội dung cải tiến bằng các ghi chú bổ sung về giọng điệu và lựa chọn ngôn ngữ để làm cho bản sao "dễ thương" hoặc "đơn giản" hơn.
Triển khai trợ lý AI
CyberAgent chia mã tiện ích của họ thành 3 bước: tạo phiên, kích hoạt và nhắc mô hình.
Trước tiên, họ kiểm tra xem trình duyệt có AI tích hợp hay không và có được hỗ trợ hay không. Nếu có, họ sẽ tạo một phiên có các tham số mặc định.
if (!LanguageModel) {
// Detect the feature and display "Not Supported" message as needed
return;
}
// Define default values for topK and temperature within the application
const DEFAULT_TOP_K = 3;
const DEFAULT_TEMPERATURE = 1;
let session = null;
async function createAISession({ initialPrompts, topK, temperature } = {}) {
const { available, defaultTopK, maxTopK, defaultTemperature } =
await LanguageModel.availability();
// "readily", "after-download", or "no"
if (available === "no") {
return Promise.reject(new Error('AI not available'));
}
const params = {
monitor(monitor) {
monitor.addEventListener('downloadprogress', event => {
console.log(`Downloaded: ${event.loaded} of ${event.total} bytes.`);
});
},
initialPrompts: initialPrompts || '',
topK: topK || defaultTopK,
temperature: temperature || defaultTemperature,
};
session = await LanguageModel.create(params);
return session;
}
Mỗi tính năng đều có một hàm trợ giúp do người dùng kích hoạt. Sau khi được kích hoạt, khi người dùng nhấp vào nút có liên quan, họ sẽ cập nhật phiên cho phù hợp.
async function updateSession({ initialPrompts, topK, temperature } = {
topK: DEFAULT_TOP_K,
temperature: DEFAULT_TEMPERATURE,
}) {
if (session) {
session.destroy();
session = null;
}
session = await createAISession({
initialPrompts,
topK,
temperature,
});
}
Sau khi phiên được cập nhật, họ sẽ nhắc mô hình theo chức năng. Ví dụ: đây là mã để tạo tiêu đề và tạo lại tiêu đề bằng giọng điệu trang trọng hơn.
async function generateTitle() {
// Initialize the model session
await updateSession({
initialPrompts: [
{ role: 'system',
content: `Create 3 titles suitable for the blog post's content,
within 128 characters, and respond in JSON array format.`,
}
]
});
const prompt = `Create a title for the following
blog post.${textareaEl.textContent}`;
const result = await session.prompt(prompt);
try {
const fixedJson = fixJSON(result);
// display result
displayResult(fixedJSON);
} catch (error) {
// display error
displayError();
}
}
async function generateMoreFormalTitle() {
// Do not execute updateSession to reuse the session during regeneration
const prompt = 'Create a more formal title.';
const result = await session.prompt(prompt);
...
}
Lợi ích của AI tích hợp
AI tích hợp là một loại AI phía máy khách, tức là quá trình suy luận diễn ra trên thiết bị của người dùng. CyberAgent chọn sử dụng các API tích hợp sẵn về AI với Gemini Nano vì những lợi thế hấp dẫn mà API này mang lại cho cả nhà phát triển ứng dụng và người dùng.
Các lợi ích chính mà CyberAgent tập trung vào bao gồm:
- Bảo mật và quyền riêng tư
- Chi phí
- Khả năng phản hồi và độ tin cậy
- Dễ dàng phát triển
Bảo mật và quyền riêng tư
Khả năng chạy các mô hình AI ngay trên thiết bị của người dùng mà không cần truyền dữ liệu đến các máy chủ bên ngoài là điều tối quan trọng. Công chúng không được phép xem bản nháp của blog, do đó, CyberAgent không muốn gửi những bản nháp này đến một máy chủ bên thứ ba.
AI tích hợp tải Gemini Nano xuống thiết bị của người dùng, giúp loại bỏ nhu cầu gửi và nhận dữ liệu từ máy chủ. Điều này đặc biệt hữu ích khi viết, vì bản nháp có thể chứa thông tin bí mật hoặc những biểu hiện không mong muốn. AI tích hợp sẽ lưu trữ nội dung gốc và nội dung được tạo cục bộ thay vì gửi đến một máy chủ. Điều này có thể tăng cường bảo mật và bảo vệ quyền riêng tư của nội dung.
Chi phí tiết kiệm được
Một lợi thế lớn khi sử dụng AI tích hợp là trình duyệt có Gemini Nano và bạn có thể sử dụng các API này miễn phí. Không có chi phí bổ sung hoặc chi phí ẩn.
AI tích hợp giúp giảm đáng kể chi phí máy chủ và có thể loại bỏ hoàn toàn chi phí liên quan đến suy luận AI. Giải pháp này có thể nhanh chóng mở rộng quy mô cho một cơ sở người dùng lớn và cho phép người dùng gửi các câu lệnh liên tiếp để tinh chỉnh đầu ra mà không phải trả thêm phí.
Khả năng phản hồi và độ tin cậy
AI tích hợp mang lại thời gian phản hồi nhanh và nhất quán, bất kể điều kiện mạng. Điều này cho phép người dùng tạo nội dung nhiều lần, giúp người dùng dễ dàng thử các ý tưởng mới và nhanh chóng tạo ra kết quả cuối cùng như ý.
Dễ dàng phát triển
AI tích hợp sẵn của Chrome giúp đơn giản hoá quy trình phát triển bằng cách cung cấp một API có sẵn. Nhà phát triển được hưởng lợi từ việc dễ dàng tạo các tính năng dựa trên AI cho ứng dụng của họ.
Gemini Nano và các API AI tích hợp được cài đặt trong Chrome, nên bạn không cần thiết lập thêm hoặc quản lý mô hình. Các API này sử dụng JavaScript, giống như các API trình duyệt khác và không yêu cầu chuyên môn về học máy.
Vượt qua các thách thức để đạt được kết quả tốt hơn
Hành trình của CyberAgent với Prompt API đã mang đến những bài học quý giá về các sắc thái khi làm việc với LLM phía máy khách.
- Câu trả lời không nhất quán: Giống như các LLM khác, Gemini Nano không đảm bảo sẽ đưa ra kết quả giống hệt nhau cho cùng một câu lệnh. CyberAgent nhận được các phản hồi ở định dạng không mong muốn (chẳng hạn như Markdown và JSON không hợp lệ). Ngay cả khi có hướng dẫn, kết quả vẫn có thể khác nhau đáng kể. Khi triển khai bất kỳ ứng dụng hoặc Tiện ích Chrome nào có AI tích hợp, bạn nên thêm một giải pháp để đảm bảo đầu ra luôn ở đúng định dạng.
- Giới hạn về số lượng mã thông báo: Việc quản lý mức sử dụng mã thông báo là rất quan trọng. CyberAgent đã sử dụng các thuộc tính và phương thức như
inputUsage,inputQuotavàmeasureInputUsage()để quản lý các phiên, duy trì bối cảnh và giảm mức tiêu thụ mã thông báo. Điều này đặc biệt quan trọng khi tinh chỉnh tiêu đề. - Các hạn chế về kích thước mô hình: Vì mô hình được tải xuống và lưu trữ trên thiết bị của người dùng, nên kích thước của mô hình nhỏ hơn đáng kể so với mô hình dựa trên máy chủ. Điều này có nghĩa là bạn cần cung cấp đủ bối cảnh trong câu lệnh để đạt được kết quả thoả đáng, đặc biệt là đối với tính năng tóm tắt. Tìm hiểu thêm về cách tìm hiểu kích thước của LLM.
CyberAgent nhấn mạnh rằng mặc dù các mô hình phía máy khách chưa được cung cấp trên tất cả các trình duyệt và thiết bị, đồng thời các mô hình nhỏ hơn có những hạn chế, nhưng mô hình này vẫn có thể mang lại hiệu suất ấn tượng cho các tác vụ cụ thể. Khả năng lặp lại nhanh chóng và thử nghiệm mà không tốn chi phí phía máy chủ khiến đây trở thành một công cụ có giá trị.
Họ khuyên bạn nên tìm ra điểm cân bằng, nhận ra rằng rất khó để đạt được câu trả lời hoàn hảo với bất kỳ AI nào, cho dù là phía máy chủ hay phía máy khách. Cuối cùng, họ nhận thấy một tương lai mà phương pháp kết hợp, kết hợp điểm mạnh của cả AI phía máy chủ và AI phía máy khách, sẽ khai thác được tiềm năng lớn hơn nữa.
Hướng đến tương lai
Việc CyberAgent khám phá AI tích hợp sẵn cho thấy những khả năng thú vị của việc tích hợp AI liền mạch để nâng cao trải nghiệm người dùng. Tiện ích được xây dựng để hoạt động với Blog Ameba cho thấy cách các công nghệ này có thể được áp dụng một cách thiết thực để giải quyết các vấn đề trong thế giới thực, mang đến những bài học có giá trị cho cộng đồng phát triển web nói chung.
Khi công nghệ này phát triển và khả năng hỗ trợ cho các trình duyệt cũng như thiết bị ngày càng mở rộng, chúng tôi hy vọng sẽ thấy nhiều ứng dụng sáng tạo hơn nữa về AI tích hợp và các dạng AI phía máy khách khác.
Tài nguyên
- Tìm hiểu thêm về Prompt API
- Bắt đầu sử dụng các API tích hợp trên Chrome
- Nghiên cứu điển hình của CyberAgent về AI trên web, trong đó đề cập đến chính chủ đề này.
- Xem Tương lai của AI là đây, các nghiên cứu điển hình của CyberAgent về AI phía máy khách
Lời cảm ơn
Cảm ơn các blogger của Ameba, ao, Nodoka, Erin, Chiaki và socchi đã cung cấp ý kiến phản hồi và giúp cải thiện tiện ích này. Cảm ơn Thomas Steiner, Alexandra Klepper và Sebastian Benz đã giúp đỡ trong việc viết và xem xét bài đăng này trên blog.