Gemini Nano debuggen

Thomas Steiner

Veröffentlicht am 28. Februar 2025

In Chrome basiert die integrierte KI auf Gemini Nano, um die Inferenz für alle APIs auszuführen. Manchmal gibt Gemini Nano eine Fehlermeldung zurück oder liefert nicht das erwartete Ergebnis. Sie können Debugging-Informationen für alle integrierten KI-APIs, die Gemini Nano verwenden, aufrufen. Dazu gehören die Prompt API, die Summarizer API, die Writer API und die Rewriter API.

  1. Öffnen Sie Chrome und rufen Sie chrome://on-device-internals auf.
  2. Wählen Sie Ereignisprotokolle aus.
  3. Optional: Klicken Sie auf Dump, um eine JSON-Datei mit allen Ereignisinformationen herunterzuladen.

Sie können einen Fehler melden, damit wir ihn in unserer Implementierung beheben können.

Prompt API debuggen

Im folgenden Beispiel hat der Nutzer über die Prompt API nach Reimwörtern gefragt.

const session = await LanguageModel.create({
  systemPrompt: "You are an API endpoint that returns rhymes as JSON for an input word."
});

await session.prompt([
  { role: "user", content: "house" },  
  { role: "assistant", content: "{\"input\": \"house\", \"output\": \"mouse\"}" },
  { role: "user", content: "file"},  
]);

Die Antwort des Modells war wie folgt (zur besseren Lesbarkeit formatiert):

```json
[]
```

**Reasoning:**

The input you provided (empty arrays) is an empty list or array in JSON format.
When you try to find rhymes for an empty list, you're essentially looking for
words that rhyme with nothing.


Therefore, there are no rhymes to return. The JSON response will be an empty
array `[]`."

Warum hat das Modell keine JSON-Nachricht mit einem Reimwort zurückgegeben, idealerweise {"input": "file", "output": "pile"}? Obwohl strukturierte Ausgabe zum Zeitpunkt der Erstellung dieses Dokuments noch nicht implementiert ist, sollte die Antwort zumindest irgendwie die Reimaufgabe erfüllen.

Um diesen Fehler zu beheben, rufen Sie chrome://on-device-internals/ auf und öffnen Sie den Tab Ereignisprotokolle. Das Protokoll zeigt, dass das Problem in der Interpretation des Prompts durch das Modell lag. Das Modell hat die Eingabe als String interpretiert, nicht als JSON: [object Object],[object Object],[object Object].

Hier ist die vollständige Debugging-Meldung, die zur besseren Lesbarkeit formatiert wurde:

Executing model with input context of 0 tokens:
<system>You are an API endpoint that returns rhymes as JSON for an input word.<end>
with string: <user>[object Object],[object Object],[object Object]<end> <model>

Der Tab „Event Logs“ (Ereignisprotokolle) der speziellen Seite „chrome://on-device-internals“ mit Debugging-Informationen.

Wir haben diese Informationen in einen Fehlerbericht zum Modellproblem aufgenommen: Prompt API seems to run toString() on JSON input. So konnte das Entwicklerteam das Problem identifizieren.

Feedback geben

Senden Sie einen Fehlerbericht, um uns Feedback zum Debugging zu geben.