Gemini ช่วยเพิ่มประสบการณ์ "การประมวลผลภาษาธรรมชาติ" ของ tldraw

Gemini API ช่วยให้นักพัฒนาแอปผสานรวมความสามารถของ AI ขั้นสูงเข้ากับแอปพลิเคชันได้อย่างราบรื่น ซึ่งจะเปิดโอกาสใหม่ๆ สำหรับประสบการณ์ของผู้ใช้และฟังก์ชันการทำงาน โพสต์นี้จะเน้นวิธีที่ tldraw ใช้ประโยชน์จาก Gemini เพื่อสร้างประสบการณ์ "การประมวลผลภาษาธรรมชาติ" ที่ปฏิวัติวงการภายในโปรเจ็กต์ใหม่ของตนเองอย่าง computer ซึ่งแสดงให้เห็นถึงความรวดเร็วและความง่ายที่สตาร์ทอัพสามารถผสานรวม AI อันทรงพลังโดยใช้ Gemini API และ Canvas SDK ของ tldraw ทีม tldraw จะเปิดตัวคอมพิวเตอร์ที่ใช้ Gemini 1.5 Flash ในเร็วๆ นี้ (เข้าร่วมรายชื่อรอ) และกำลังสร้างต้นแบบด้วย Gemini 2.0 Flash สำหรับการทำซ้ำในอนาคต

tldraw ใช้ Gemini API เพื่อนำความสามารถของ AI แบบสนทนามาสู่การเขียนโปรแกรมแบบภาพ ซึ่งช่วยให้ผู้ใช้สร้างเนื้อหาและประมวลผลข้อมูลโดยใช้ภาษาที่เป็นธรรมชาติ ซึ่งจะเปิดโอกาสที่น่าตื่นเต้นในการมอบประสบการณ์ของผู้ใช้ที่ใช้งาน AI ได้อย่างมีประสิทธิภาพและง่ายดายยิ่งขึ้น รวมถึงขยายขอบเขตของการสื่อสารด้วยภาพ

tldraw มุ่งมั่นที่จะทำให้การเขียนไดอะแกรมเป็นเรื่องที่เข้าถึงได้และใช้งานง่าย จึงได้ออกแบบวิธีที่ผู้ใช้จะโต้ตอบกับ Canvas ได้อย่างเป็นธรรมชาติมากขึ้น ผู้ก่อตั้ง Steve Ruiz พยายามใช้ประโยชน์จากศักยภาพของ SDK ของ Canvas แบบไม่จำกัดของ tldraw เพื่อสร้างสภาพแวดล้อมแบบไดนามิกสำหรับการทำงานกับ Generative AI วิสัยทัศน์นี้ทำให้เกิดการพัฒนาคอมพิวเตอร์ ซึ่งเป็นแอปพลิเคชันทดลองที่ผู้ใช้สามารถสร้างเวิร์กโฟลว์จากบล็อกข้อความ รูปภาพ และคำแนะนำ เมื่อดำเนินการ ข้อมูลจะไหลจากส่วนประกอบหนึ่งไปยังส่วนประกอบถัดไป โดยเอาต์พุตของแต่ละรุ่นจะทำหน้าที่เป็นอินพุตของส่วนประกอบถัดไป ทำให้เกิดกระบวนการอันทรงพลังที่แยกสาขา วนซ้ำ และวนซ้ำเพื่อสร้างเอาต์พุต

คอมพิวเตอร์ของ tldraw สร้างขึ้นบนเครือข่ายของ "คอมโพเนนต์" ที่เชื่อมต่อกัน ซึ่งแสดงถึงองค์ประกอบต่างๆ บน Canvas (กล่องข้อความ รูปภาพ คลิปเสียง ฯลฯ) องค์ประกอบเหล่านี้เชื่อมโยงกันด้วยลูกศร ซึ่งแสดงภาพการไหลของข้อมูลและการแปลง ส่วนประกอบแต่ละส่วนมี "ขั้นตอน" ที่เกี่ยวข้อง ซึ่งก็คือชุดคำสั่งที่ดำเนินการตามอินพุตจากส่วนประกอบที่เชื่อมต่อกัน ส่วนประกอบสามารถรับข้อมูลจากส่วนประกอบอื่นๆ ได้หลายชิ้นและส่งข้อมูลเอาต์พุตไปยังส่วนประกอบอื่นๆ มากมาย รวมถึงตัวส่วนประกอบเองด้วย สถาปัตยกรรมแบบส่วนประกอบนี้ เมื่อรวมกับพลังและความเร็วของ Gemini 2.0 Flash จะทำให้ระบบมีความรวดเร็วและยืดหยุ่น และสามารถจัดการงานที่หลากหลายได้

การสร้างต้นแบบ Gemini 2.0 Flash ช่วยขับเคลื่อนประสบการณ์การใช้งานได้อย่างไร

• การดำเนินการตามขั้นตอนที่รวดเร็ว: Gemini 2.0 Flash ดำเนินการตามขั้นตอนได้อย่างรวดเร็ว เช่น คอมโพเนนต์ "คำสั่ง" อาจมี "เขียนโฆษณาสั้นๆ" เมื่อทริกเกอร์แล้ว คอมโพเนนต์จะสร้างสคริปต์ขั้นตอนที่นำกลับมาใช้ใหม่ได้ในเวลาไม่นาน ซึ่งจะเปลี่ยนอินพุตใดๆ ก็ตามให้เป็นสคริปต์เชิงพาณิชย์ได้ จากนั้นคอมโพเนนต์จะใช้สคริปต์นี้ร่วมกับอินพุตปัจจุบัน (เช่น คอมโพเนนต์ "ข้อความ" ที่มีข้อความ "ถุงมืออัจฉริยะรุ่นใหม่ที่ทำงานด้วยระบบ AI สำหรับแมว") เพื่อสร้างพรอมต์ที่ 2 ให้กับโมเดลสำหรับเอาต์พุตสุดท้าย ระบบอาจส่งเอาต์พุตนี้ไปยังคอมโพเนนต์ "ข้อความ" อื่นที่ลิงก์ไว้เพื่อแสดงผล รวมถึงคอมโพเนนต์อื่นๆ ที่เชื่อมต่ออยู่ เช่น "คำพูด" สำหรับการแปลงข้อความเป็นคำพูด "รูปภาพ" สำหรับการสร้างภาพ หรือคอมโพเนนต์ "คำสั่ง" อื่นๆ เพื่อทำการแปลงเพิ่มเติม

• บริบทมากมาย หลายโหมด: ความมุ่งมั่นสูงสุดในคอมพิวเตอร์ของ tldraw เรียกร้องความเร็ว ความจุ และความสามารถ เนื่องจากมีคอมโพเนนต์หลายรายการที่ให้ข้อมูลสำหรับการสร้างแต่ละครั้ง หน้าต่างบริบทขนาดใหญ่ของ Gemini 2.0 Flash จึงมีความสำคัญอย่างยิ่งต่อการสร้างเอาต์พุตที่คำนึงถึงอินพุตทั้งหมด เช่นเดียวกับการรองรับรูปภาพและไฟล์ควบคู่ไปกับพรอมต์ที่เป็นข้อความ

• Structured Data: การไหลของข้อมูลระหว่างคอมโพเนนต์จะเป็นไปไม่ได้หากไม่ยึดตามสคีมาเดียว เอาต์พุต JSON ที่มีโครงสร้างจาก Gemini 2.0 Flash ช่วยให้มั่นใจได้ว่าแต่ละคอมโพเนนต์ในเวิร์กโฟลว์จะจดจำข้อมูลทุกประเภทและสร้างเอาต์พุตในโครงสร้างเดียวกันได้ ซึ่งจะช่วยป้องกันการหยุดชะงัก ดำเนินการได้อย่างราบรื่น และรับประกันว่าแม้เวิร์กโฟลว์ขนาดใหญ่ก็จะเสร็จสมบูรณ์ได้อย่างน่าเชื่อถือ

• การสร้างขั้นตอนแบบไดนามิก: นอกเหนือจากการดำเนินการตามขั้นตอนที่กำหนดไว้ล่วงหน้าแล้ว Gemini 2.0 Flash ยังสร้างขั้นตอนแบบไดนามิกได้ด้วย ผู้ใช้สามารถป้อนข้อความว่า "สร้างแคมเปญการตลาดตามคำอธิบายผลิตภัณฑ์นี้" แล้ว Gemini 2.0 Flash จะสร้างขั้นตอนที่จำเป็น (กระบวนการ) และคอมโพเนนต์ที่ต้องใช้ เพื่อสร้างเวิร์กโฟลว์บน Canvas ตามคำขอระดับสูงของผู้ใช้ การสร้างแบบไดนามิกนี้จะปลดล็อกศักยภาพอันมหาศาลในการสร้างประสบการณ์ของผู้ใช้ที่เป็นนวัตกรรมใหม่และเวิร์กโฟลว์ที่มีประสิทธิภาพ

การติดตั้งใช้งานอย่างรวดเร็วของ tldraw แสดงให้เห็นถึงคุณค่าของ Gemini ที่มีต่อสตาร์ทอัป นั่นคือ การสร้างต้นแบบอย่างรวดเร็ว ประสบการณ์ของผู้ใช้ที่ดียิ่งขึ้นผ่านอินเทอร์เฟซภาษาที่เป็นธรรมชาติที่ใช้งานง่าย และการจัดการข้อมูลที่มีโครงสร้างอย่างมีประสิทธิภาพด้วยโมเดลอย่าง Gemini 2.0 Flash การผสานรวมนี้ช่วยให้ทีมขนาดเล็กสร้างฟีเจอร์ที่ทำงานด้วยระบบ AI ที่ล้ำสมัยได้อย่างรวดเร็วและประหยัดค่าใช้จ่าย