Gemini 支援 tldraw 的「自然語言運算」體驗

開發人員可透過 Gemini API 將進階 AI 功能無縫整合至應用程式，進一步提升使用者體驗和功能。這篇文章將重點介紹 tldraw 如何運用 Gemini，在全新專案「computer」中，打造革命性的「自然語言運算」體驗。這項整合展示了新創公司如何使用 Gemini API 和 tldraw 的 canvas SDK，快速輕鬆地整合強大的 AI 技術。tldraw 團隊即將推出搭載 Gemini 1.5 Flash 的電腦 (加入候補名單)，目前正在使用 Gemini 2.0 Flash 製作原型，以供日後疊代。

tldraw 運用 Gemini API，將對話式 AI 的強大功能帶入視覺化程式設計，讓使用者以自然語言生成內容及處理資訊。這為 AI 帶來更直覺、更有效率的使用者體驗，並拓展了視覺傳達的界線。

tldraw 致力於提供簡單易用的圖表繪製工具，因此希望使用者能以更自然的方式與畫布互動。創辦人 Steve Ruiz 想要運用 tldraw 的無限畫布 SDK 強大功能，打造動態環境，方便使用生成式 AI。這項願景促成了 computer 的開發。這款實驗性應用程式可讓使用者從文字、圖片和指令區塊建立工作流程。執行時，資訊會從一個元件流向另一個元件，每個生成作業的輸出內容會做為下一個生成作業的輸入內容，建立分支、迴圈和疊代等強大程序，以產生輸出內容。

tldraw 的電腦是根據互連的「元件」網路建構而成，這些元件代表畫布上的元素 (文字方塊、圖片、音訊片段等)。這些元件會以箭頭連結，顯示資料和轉換的流程。每個元件都有相關的「程序」，也就是根據所連元件的輸入內容執行的一組指令。元件可以接受來自任意數量的其他元件的資料，並將輸出資料傳遞給許多其他元件 (包括自身！)。這種以元件為基礎的架構，加上 Gemini 2.0 Flash 的強大功能和速度，可打造出快速靈活的系統，處理各種工作。

以下說明 Gemini 2.0 Flash 原型如何提升使用體驗：

• 快速執行程序：Gemini 2.0 Flash 可快速執行程序。舉例來說，「指令」元件可能包含「撰寫簡短的廣告」。觸發後，元件會立即產生可重複使用的步驟指令碼，將任何輸入組合轉換為商業腳本。然後，這個元件會使用這項指令碼和目前的輸入內容 (例如含有「New AI-powered smartgloves for cats」的「Text」元件)，向模型發出第二個提示，以取得最終輸出內容。這項輸出內容可傳遞至其他連結的「文字」元件以供顯示，以及其他連結的元件，例如「語音」元件 (用於文字轉語音)、「圖片」元件 (用於生成圖片) 或其他「指令」元件 (用於進一步轉換)。

• 大量情境、多種模式：tldraw 電腦的極簡主義傾向需要速度、容量和功能。由於每個生成內容都有多個元件提供資料，Gemini 2.0 Flash 的大型脈絡窗口對於生成內容至關重要，因為這樣才能將所有輸入內容納入考量，而且除了文字提示外，還支援圖片和檔案。

• 結構化資料：如果沒有單一結構定義，元件之間就無法傳輸資料。Gemini 2.0 Flash 輸出的 JSON 結構化資料可確保工作流程中的每個元件都能辨識任何類型的資料，並以相同結構產生輸出內容，避免停滯、順暢執行，並確保即使是大型工作流程也能可靠地完成。

• 動態程序生成：除了執行預先定義的程序，Gemini 2.0 Flash 還能動態生成程序。使用者可以輸入「根據這份產品說明建立行銷活動」，Gemini 2.0 Flash 就會生成必要步驟 (程序) 和所需元件，並根據使用者的概略要求，在畫布上建立工作流程。這項動態生成功能可望帶來創新使用者體驗，並簡化工作流程。

tldraw 快速導入電腦的過程，凸顯了 Gemini 對新創公司的價值主張：快速原型設計、透過直覺式自然語言介面提升使用者體驗，以及透過 Gemini 2.0 Flash 等模型有效處理結構化資料。這項組合可協助小型團隊快速且經濟實惠地打造創新 AI 功能。