‫Gemini מפעיל את התכונה 'עיבוד שפה טבעית' ב-tldraw

ממשק Gemini API מאפשר למפתחים לשלב בצורה חלקה יכולות מתקדמות של AI באפליקציות שלהם, וכך לפתוח אפשרויות חדשות לחוויית משתמש ולפונקציונליות. בפוסט הזה נסביר איך tldraw משתמשת ב-Gemini כדי ליצור חוויית 'מחשוב בשפה טבעית' מהפכנית בפרויקט החדש שלה, computer. ההדגמה הזו ממחישה את המהירות והקלות שבהן חברות סטארט-אפ יכולות לשלב AI מתקדם באמצעות Gemini API ו-canvas SDK של tldraw. צוות tldraw עומד להשיק בקרוב מחשב עם Gemini 1.5 Flash (אפשר להצטרף לרשימת ההמתנה) ובשלב הזה הוא יוצר אב טיפוס עם Gemini 2.0 Flash לשיפורים עתידיים.

‫tldraw משתמש ב-Gemini API כדי להוסיף את היכולות של AI שיכול לנהל שיחה לתכנות ויזואלי, וכך מאפשר למשתמשים ליצור תוכן ולעבד מידע באמצעות שפה טבעית. השינוי הזה פותח הזדמנויות מרתקות ליצירת חוויית משתמש אינטואיטיבית ויעילה יותר שמבוססת על AI, ומרחיב את הגבולות של התקשורת החזותית.

ב-tldraw, שואפים להפוך את יצירת הדיאגרמות לנגישה ואינטואיטיבית, ולכן רצו למצוא דרך טבעית יותר למשתמשים ליצור אינטראקציה עם אזור העריכה. המייסד סטיב רואיז רצה למנף את היכולות של ערכת ה-SDK של tldraw ללוח ציור אינסופי כדי ליצור סביבה דינמית לעבודה עם AI גנרטיבי. החזון הזה הוביל לפיתוח של computer, אפליקציה ניסיונית שבה משתמשים יוצרים תהליכי עבודה מבלוקים של טקסט, תמונות והוראות. כשמריצים את התהליך, המידע זורם מרכיב אחד לרכיב הבא, והפלט של כל יצירה משמש כקלט ליצירה הבאה. כך נוצרים תהליכים עוצמתיים שמסתעפים, חוזרים על עצמם ומשפרים את עצמם כדי להפיק פלט.

המחשב של tldraw מבוסס על רשת של 'רכיבים' מחוברים שמייצגים אלמנטים באזור העריכה (תיבות טקסט, תמונות, קליפים של אודיו וכו'). הרכיבים האלה מקושרים באמצעות חצים, שממחישים את זרימת הנתונים והשינויים. לכל רכיב יש 'פרוצדורות' משויכות – סדרות של הוראות שמופעלות על סמך קלט מרכיבים מחוברים. רכיב יכול לקבל נתונים מכל מספר של רכיבים אחרים ולהעביר את נתוני הפלט שלו לרכיבים אחרים רבים – כולל לעצמו! הארכיטקטורה הזו מבוססת על רכיבים, ובשילוב עם העוצמה והמהירות של Gemini 2.0 Flash, היא מאפשרת ליצור מערכת מהירה וגמישה שיכולה להתמודד עם משימות מגוונות.

כך Gemini 2.0 Flash עוזר ליצור אב טיפוס של חוויית משחק:

• ביצוע מהיר של הליכים: Gemini 2.0 Flash מבצע הליכים במהירות. לדוגמה, רכיב מסוג 'הוראה' יכול להכיל את ההוראה 'תכתוב פרסומת קצרה'. תוך רגעים ספורים אחרי ההפעלה, הרכיב ייצור סקריפט של שלבים שאפשר להשתמש בו שוב ושוב, והוא יכול להפוך כל שילוב של קלט לסקריפט מסחרי. לאחר מכן, הרכיב ישתמש בסקריפט הזה, יחד עם הקלט הנוכחי שלו (למשל, רכיב 'טקסט' עם הטקסט 'כפפות חכמות חדשות לחתולים שמבוססות על AI'), כדי ליצור הנחיה שנייה למודל לקבלת הפלט הסופי. אפשר להעביר את הפלט הזה לרכיב 'טקסט' מקושר אחר לצורך הצגה, וגם לרכיבים מקושרים אחרים, כמו 'דיבור' להמרת טקסט לדיבור, 'תמונה' ליצירת תמונה או רכיבי 'הוראה' אחרים לצורך שינוי נוסף.

• הרבה הקשר, הרבה מצבים: הגישה המקסימליסטית במחשב של tldraw דרשה מהירות, קיבולת ויכולת. חלון ההקשר הגדול של Gemini 2.0 Flash היה חיוני ליצירת פלט שהתחשב בכל הקלט, כי הוא תומך בתמונות ובקבצים לצד הנחיות כתובות.

• נתונים מובְנים: אי אפשר להעביר נתונים בין רכיבים בלי להשתמש בסכימה אחת. הפלט המובנה של JSON מ-Gemini 2.0 Flash מבטיח שכל רכיב בתהליך עבודה יוכל לזהות נתונים מכל סוג ולהפיק את הפלט שלו באותה מבנה, וכך למנוע עיכובים, לשפר את הביצוע ולהבטיח שגם תהליכי עבודה גדולים יושלמו בצורה מהימנה.

• ‫יצירת פרוצדורות דינמיות: בנוסף להרצת פרוצדורות מוגדרות מראש, Gemini 2.0 Flash יכול ליצור פרוצדורות באופן דינמי. משתמש יכול להזין את ההנחיה 'תצור קמפיין שיווקי על סמך תיאור המוצר הזה', ו-Gemini 2.0 Flash ייצור את השלבים (הנהלים) הדרושים ואת הרכיבים הנדרשים, ויבנה תהליך עבודה באזור העריכה על סמך הבקשה הכללית של המשתמש. היכולת ליצור תוכן באופן דינמי פותחת פוטנציאל עצום ליצירת חוויות משתמש חדשניות ולייעול תהליכי העבודה.

ההטמעה המהירה של tldraw מדגישה את היתרונות של Gemini לסטארטאפים: יצירת אב טיפוס במהירות, שיפור חוויית המשתמש באמצעות ממשקי שפה טבעית אינטואיטיביים וטיפול יעיל בנתונים מובנים הודות למודלים כמו Gemini 2.0 Flash. השילוב הזה מאפשר לצוותים קטנים ליצור במהירות וביעילות תכונות חדשניות מבוססות-AI.