这是indexloc提供的服务,不要输入任何密码
Logo: AI Hypercomputer

KI-Hypercomputer

Das Supercomputing-System, das allen KI-Arbeitslasten in Google Cloud zugrunde liegt. Die Komponenten lassen sich mit vollständig integrierter Hardware, Open-Source-Software und flexiblen Nutzungsmodellen anpassen.

Überblick

KI-optimierte Hardware

Wählen Sie aus Computing-, Speicher- und Netzwerkoptionen, die für spezifische Ziele auf Arbeitslastebene optimiert sind – ob höherer Durchsatz, niedrigere Latenz, schnellere Ergebnisse oder niedrigere Gesamtbetriebskosten. Weitere Informationen zu: Google Cloud TPU, Google Cloud GPU, Google Cloud Storage, Titanium, Jupiter-Netzwerk.

Software öffnen

Der AI Hypercomputer ist so optimiert, dass gängige Tools und Bibliotheken wie Pytorch und JAX unterstützt werden. Außerdem können Kunden Technologien wie Cloud TPU-Konfigurationen mit mehreren Slices und Hosts und verwaltete Dienste wie die Google Kubernetes Engine nutzen. Kunden können so gängige Arbeitslasten wie das von SLURM orchestriert NVIDIA NeMO-Framework sofort bereitstellen.

Flexibler Verbrauch

Mit unseren flexiblen Nutzungsmodellen können Kunden feste Kosten mit Rabatten für zugesicherte Nutzung oder dynamischen On-Demand-Modellen auswählen, um ihre Geschäftsanforderungen zu erfüllen.Der dynamische Arbeitslastplaner hilft Kunden, die von ihnen benötigte Kapazität ohne Überhang zu erhalten. So zahlen sie nur für das, was sie tatsächlich benötigen.Außerdem helfen die Tools zur Kostenoptimierung von Google Cloud bei der Automatisierung der Ressourcennutzung, um manuelle Aufgaben zu reduzieren, die von Entwicklern ausgeführt werden müssten.

Funktionsweise

Google ist mit der Erfindung von Technologien wie TensorFlow ein führender Anbieter im Bereich künstliche Intelligenz. Wussten Sie, dass Sie die Technologie von Google für Ihre eigenen Projekte nutzen können? Erfahren Sie mehr über die Innovationsgeschichte von Google im Bereich der KI-Infrastruktur und wie Sie diese für Ihre Arbeitslasten nutzen können.

Diagramm der Google Cloud AI-Hypercomputer-Architektur neben dem Foto von Google Cloud-Produktmanagerin Chelsie

Gängige Einsatzmöglichkeiten

Umfangreiches KI-Training ausführen

Leistungsstarkes, skalierbares und effizientes KI-Training

Die KI-Hypercomputer-Architektur bietet die Möglichkeit, die zugrunde liegende Infrastruktur zu verwenden, die sich am besten für Ihre Trainingsanforderungen eignet.

In drei Diagrammen zu KI-Wachstumsfaktoren

Leistungsstarkes, skalierbares und effizientes KI-Training

Die KI-Hypercomputer-Architektur bietet die Möglichkeit, die zugrunde liegende Infrastruktur zu verwenden, die sich am besten für Ihre Trainingsanforderungen eignet.

In drei Diagrammen zu KI-Wachstumsfaktoren

Leistungsstarkes, skalierbares und effizientes KI-Training

Mit ML Productivity Goodput können Sie die Effektivität Ihres umfassenden Trainings auf Google-Niveau messen.

Trainingsgeschwindigkeit TPUv4(bf16) vs. TPUv5(int8)

Character AI nutzt Google Cloud, um hochzuskalieren

„Wir benötigen GPUs, um Antworten auf Nutzernachrichten zu generieren. Und je mehr Nutzer unsere Plattform hat, desto mehr GPUs benötigen wir, um unsere Dienste zu erbringen. In Google Cloud können wir experimentieren, um die richtige Plattform für eine bestimmte Arbeitslast zu finden. Es ist toll, die Flexibilität zu haben, die Lösungen auszuwählen, die am Besten sind.“ Myle Ott, Gründeringenieur, Character.AI

KI-gestützte Anwendungen bereitstellen

Offene Frameworks für KI-gestützte Umgebungen nutzen

Google Cloud möchte dafür sorgen, dass offene Frameworks gut in der KI-Hypercomputer-Architektur funktionieren.

Übergeordnete RAG-Architektur

Offene Frameworks für KI-gestützte Umgebungen nutzen

Google Cloud möchte dafür sorgen, dass offene Frameworks gut in der KI-Hypercomputer-Architektur funktionieren.

Übergeordnete RAG-Architektur

Offene Frameworks für KI-gestützte Umgebungen nutzen

Mit der offenen Softwareumgebung von Google Cloud können Sie Anwendungen mit den Tools und Frameworks erstellen, mit denen Sie sich am besten auskennen. Gleichzeitig profitieren Sie von den Preis-Leistungs-Vorteilen der KI-Hypercomputerarchitektur.

KI-Tools und -Frameworks von Google Cloud

Priceline: Einzigartige Erlebnisse für Reisende

„Durch die Zusammenarbeit mit Google Cloud und das Einbinden von generativer KI können wir einen maßgeschneiderten Reise-Concierge als Teils unseres Chatbots anbieten. Wir möchten, dass alle Personen, die unseren Service nutzen, nicht einfach nur eine Reise planen, sondern ihr ganz persönliches und einzigartiges Reiseerlebnis gestalten können.“ Martin Brodbeck, CTO, Priceline

Logo: Priceline

Modelle kosteneffizient in großem Maßstab bereitstellen

Maximales Preis-Leistungs-Verhältnis für die Bereitstellung von KI in großem Maßstab

Google Cloud bietet ein branchenführendes Preis-Leistungs-Verhältnis für die Bereitstellung von KI-Modellen mit Beschleuniger-Option, um die Anforderungen jeder Arbeitslast zu erfüllen.

Diagramm zur Architektur des Load-Balancings basierend auf der Warteschlangentiefe

Maximales Preis-Leistungs-Verhältnis für die Bereitstellung von KI in großem Maßstab

Google Cloud bietet ein branchenführendes Preis-Leistungs-Verhältnis für die Bereitstellung von KI-Modellen mit Beschleuniger-Option, um die Anforderungen jeder Arbeitslast zu erfüllen.

Diagramm zur Architektur des Load-Balancings basierend auf der Warteschlangentiefe

Maximales Preis-Leistungs-Verhältnis für die Bereitstellung von KI in großem Maßstab

Cloud TPU v5e- und G2-VM-Instanzen mit NVIDIA L4-GPUs ermöglichen leistungsstarke und kostengünstige Inferenzen für eine breite Palette an KI-Arbeitslasten, einschließlich der neuesten LLMs und Gen AI-Modelle. Beide bieten erhebliche Preisleistungsverbesserungen im Vergleich zu früheren Modellen. Mit der KI-Hypercomputerarchitektur von Google Cloud können Kunden ihre Bereitstellungen auf branchenführende Levels skalieren.

Relative Leistung pro Dollar: Cloud TPU v4 und v5e

Assembly AI nutzt Google Cloud für mehr Kosteneffizienz

„Unsere Testergebnisse zeigen, dass Cloud TPU v5e der kostengünstigste Beschleuniger für umfangreiche Inferenzen für unser Modell ist. Geboten wird eine 2,7-mal höhere Leistung pro Dollar als bei G2- und eine 4,2-mal höhere Leistung pro Dollar als bei A2-Instanzen.“ Domenic Donato

Vice President Technology, AssemblyAI


Logo: AssemblyAI

Open-Source-Modelle in Google Cloud

Modell mit GKE auf einer einzelnen GPU bereitstellen

Gängige Modelle mit GPUs trainieren

Bereitstellung von Modellen für mehrere GPUs skalieren

LLM mithilfe von mehrere Hosts in GKE mit Saxml bereitstellen

Mit dem NVIDIA Nemo-Framework in großem Maßstab trainieren

Google Cloud