Gemini 为 tldraw 的“自然语言计算”体验提供支持

借助 Gemini API，开发者可以无缝地将先进的 AI 功能集成到其应用中，从而为用户体验和功能带来新的可能性。这篇博文重点介绍了 tldraw 如何利用 Gemini 在其新项目 computer 中打造革命性的“自然语言计算”体验。这展示了初创公司如何使用 Gemini API 和 tldraw 的 canvas SDK 快速轻松地集成强大的 AI。tldraw 团队即将推出搭载 Gemini 1.5 Flash 的电脑（加入等候名单），目前正在使用 Gemini 2.0 Flash 制作原型，以用于未来的迭代版本。

tldraw 使用 Gemini API 将对话式 AI 的强大功能引入可视化编程，让用户能够使用自然语言生成内容和处理信息。这为打造更直观、更高效的 AI 用户体验开辟了令人兴奋的机遇，推动视觉传达的边界不断拓展。

tldraw 致力于让图表制作变得简单直观，并设想了一种更自然的方式让用户与画布互动。创始人 Steve Ruiz 希望利用 tldraw 的无限画布 SDK 的强大功能，为使用生成式 AI 创建动态环境。这一愿景促成了 computer 的开发，这是一款实验性应用，用户可以在其中通过文本块、图片和指令创建工作流。运行时，信息会从一个组件流向下一个组件，每一代的输出都会作为下一代的输入，从而创建可分支、循环和迭代以生成输出的强大流程。

tldraw 的计算机基于相互关联的“组件”网络构建，这些组件代表画布上的元素（文本框、图片、音频片段等）。这些组件通过箭头连接，直观地展示了数据和转换的流向。每个组件都有关联的“程序”，即根据连接组件的输入执行的一组指令。一个组件可以接受来自任意数量的其他组件的数据，并将其输出数据传递给许多其他组件（包括自身！）。这种基于组件的架构与 Gemini 2.0 Flash 的强大功能和速度相结合，可打造出能够处理各种任务的快速灵活的系统。

以下是 Gemini 2.0 Flash 原型设计如何为用户带来出色体验的：

• 快速执行程序：Gemini 2.0 Flash 可快速执行程序。例如，“指令”组件可能包含“撰写一则简短的广告。”触发后不久，该组件就会生成一个可重复使用的步骤脚本，该脚本可以将任意输入组合转换为商业脚本。然后，该组件将使用此脚本及其当前输入（例如，包含“New AI-powered smartgloves for cats”的“Text”组件）向模型发出第二个提示，以获取最终输出。此输出可传递给另一个关联的“文本”组件以进行显示，也可传递给其他关联的组件，例如用于文字转语音的“语音”组件、用于视觉生成的“图片”组件，或用于进一步转换的其他“指令”组件。

• 丰富的上下文，多种模式：tldraw 的电脑采用极简主义设计，需要速度、容量和功能。由于多个组件为每次生成提供数据，因此 Gemini 2.0 Flash 的大上下文窗口对于生成将所有输入纳入考虑范围的输出至关重要，它对图片和文件以及书面提示的支持也是如此。

• 结构化数据：如果不遵循单一架构，组件之间的数据流将无法实现。Gemini 2.0 Flash 输出的结构化 JSON 可确保工作流中的每个组件都能识别任何类型的数据，并以相同的结构生成输出，从而防止停滞、顺畅执行，并确保即使是大型工作流也能可靠地完成。

• 动态程序生成：除了执行预定义的程序之外，Gemini 2.0 Flash 还可以动态生成程序。用户可以输入“根据此产品说明创建营销广告系列”，然后 Gemini 2.0 Flash 会生成必要的步骤（程序）和所需组件，并根据用户的高级请求在画布上构建工作流。这种动态生成功能可为创新用户体验和简化工作流程带来巨大潜力。

tldraw 快速实现了计算机，突显了 Gemini 对初创企业的价值主张：快速原型设计、通过直观的自然语言界面增强用户体验，以及借助 Gemini 2.0 Flash 等模型高效处理结构化数据。这种组合可帮助小型团队快速且经济高效地打造创新型 AI 赋能功能。