Rechenpower für das Metaverse: Meta baut schnellsten KI-Supercomputer der Welt
Posted by Julia Werner •
Supercomputing-Lösungen für KI und Forschung
Heute liefern NVIDIA-Grafikprozessoren die Leistung für die schnellsten Supercomputer in den USA und in Europa. In den USA Der Oak Ridge National Labs’ Summit kombiniert High-Performance-Computing (HPC) mit KI für über 200 petaFLOPS des Double-Precision-Computing für HPC und 3 exaFLOPS Mixed-Precision-Computing, um wissenschaftliche Entdeckungen voranzutreiben.
Darüber hinaus führen Supercomputer-Rechenzentren auf der ganzen Welt die NVIDIA Ampere-Architektur an. Sie nutzen sie, um die Wissenschaft in das Exascale-Zeitalter zu bringen und größere Modelle zu simulieren, tiefere Netze zu trainieren und einzusetzen und einen aufstrebenden hybriden Bereich KI-gestützter Simulationen voranzubringen.
Supercomputer: USA schlägt Japan um Längen, China insgeheim vorn?
Die USA liegen in der Top-500-Liste der stärksten Supercomputer der Welt dank eines neuen HPC-Systems im Bundesstaat Tennessee wieder auf Platz 1. Der "Frontier" genannte Super-Rechner toppt den japanischen Sieger aus dem letzten Jahr um Längen.
Leistung gegenüber Letztjahressieger aus Japan verdoppelt
ORNL
Wie aus dem jetzt neu veröffentlichten Top500-Ranking der weltweit schnellsten Supercomputer hervorgeht, steht der derzeit zumindest offiziell stärkste Rechner der Welt beim Oak Ridge National Laboratory (ORNL) im US-Bundesstaat Tennessee. Noch ist das auf AMD Epyc-CPUs basierende System aber in der Test- und Integrationsphase, so dass sich die Leistung noch ändern kann.Derzeit kommt der Superrechner, der die HP Enterprise Cray EX-Plattform nutzt, auf 1,1 Exaflops Leistung im Linmark-Benchmark und ist damit das bisher erste offizielle "Exascale"-System. Im Vergleich zum letztjährigen Spitzenreiter der Statistik liegt die Leistung des amerikanischen "Frontier"-Systems um mehr als das Doppelte höher. Der japanische Superrechner "Fugaku" kam auf 442 Petaflops, was die letzten zwei Jahre für den Spitzenplatz reichte.Der AMD-basierte neue "Frontier" aus den USA ist gleichzeitig auch der effizienteste Supercomputer, liefert das System doch 52,23 Gigaflops pro Watt. Dadurch sicherte sich "Frontier" gleichzeitig auch noch den Spitzenplatz in der "Green500" genannten Liste der effizientesten Supercomputer weltweit.Langfristig will man beim ORNL die Leistung des Frontier noch auf rund 1,5 Exaflops steigern. Die Kosten betragen rund 600 Millionen Dollar und das System besteht aus 100 19-Zoll-Racks, die mit einer Kombination aus AMD Epyc-CPUs und speziell entwickelten Radeon Instinct-GPUs bestückt sind.Während sich die USA jetzt den Spitzenplatz der Supercomputer-Liste gesichert haben, gibt es schon länger Gerüchte , dass China schon jetzt mindestens zwei Exascale-Supercomputer betreibt, darüber aber nicht offiziell informiert. Hintergrund sind die politischen Spannungen, durch die die Chinesen bisher keine Angaben zu den aktuellen Leistungswerten der "Tianhe-3" und "Sunway Oceanlite" genannten beiden neuen Supercomputern machen.
Rechenpower für das Metaverse: Meta baut schnellsten KI-Supercomputer der Welt
Der Research SuperCluster (RSC) arbeitet mit 760 DGX-A100-Systemen von Nvidia. Jeder dieser Grafikbeschleuniger enthält acht Prozessoren. Insgesamt kommt das RSC damit auf 6080 Graphics Processing Units (GPUs). Verbunden sind die Systeme über Nvidias Quantum-Infiniband-Technik mit einem Datendurchsatz von 1600 Gigabit pro Sekunde (Gb/s). Als Datenspeicher kommt ein sagenhaftes 175 Petabyte (PB) fassendes Storage-Array von PureStorage zum Einsatz, das von einem FlashBlade-System mit zehn PB des gleichen Herstellers sowie einem Cache-Speicher von Penguin Computing Altus mit 46 PB unterstützt wird.
RSC beschleunigt KI-Training
Erste Benchmarks hätten eine enorme Leistungssteigerung gegenüber den Vorgängersystemen ergeben, berichteten die Meta-Ingenieure Kevin Lee, Technical Program Manager, und Shubho Sengupta, Software Engineer, in einem Blog-Beitrag. Computer-Vision-Workflows ließen sich um den Faktor 20 schneller abarbeiten und komplexe Natural-Language-Processing (NLP-)Modelle drei Mal so schnell wie bisher trainieren. Ein Modell mit mehreren Milliarden Parametern könne so innerhalb von drei Wochen trainiert werden, hieß es. Früher hätte man neun Wochen warten müssen.
Bereits in der ersten Ausbaustufe hätte das RSC einen Platz unter den Top Ten der schnellsten Supercomputer der Welt sicher. Doch Meta plant bereits weiter. Noch im laufenden Jahr soll das System auf insgesamt 16.000 GPUs aufgerüstet werden. Die Performance für das Training von KI-Modellen soll sich damit noch einmal um den Faktor 2,5 erhöhen. Um die Prozessoren zügig mit den notwendigen Daten zu versorgen, werde die Bandbreite in der Anbindung der Speichersysteme auf 16 Terabit pro Sekunde (TB/s) aufgebohrt. Das ambitionierte Ziel des Konzerns: Den schnellsten KI-Supercomputer der Welt zu bauen.
Metaverse braucht enorme Rechenpower
Mit den zukünftig geplanten KI-Modellen will Meta seine existierenden Services verbessern sowie komplett neue Dienste entwickeln, speziell für das im vergangenen Jahr angekündigte Metaverse. "Die Nutzererfahrungen, die wir im Metaverse ermöglichen wollen, benötigen eine enorme Rechenleistung", sagte Meta-CEO Mark Zuckerberg. RSC werde KI-Modelle ermöglichen, die aus Billionen von Beispieldaten lernen und Hunderte von Sprachen verstehen könnten. Beispielsweise ließen sich Übersetzungsdienste in Echtzeit anbieten, wenn sich Spieler oder Projektteams aus aller Welt im virtuellen Raum treffen.
Neben dem Bau des künftigen Metaverse geht es für MetaMeta aber auch um die Lösung von Alltagsproblemen. Politiker und Behörden in aller Welt erhöhen den Druck auf das Social Network, möglichst schnell schädliche Inhalte wie beispielsweise Hass-Posts zu identifizieren und von den Seiten zu entfernen. Auch beim Erkennen missliebiger Inhalte soll RSC helfen.
Meta will für das Training von RSC Daten aus seinen Produktivsystemen verwenden, beteuert aber gleichzeitig, alle Security- und Privacy-Richtlinien einzuhalten. Bevor Daten in den neuen Rechenboliden hochgeladen würden, sichere ein spezieller Privacy-Prozess, dass diese korrekt anonymisiert worden seien. Sämtliche Daten würden verschlüsselt und erst direkt vor dem Training dekodiert. Die entsprechenden Schlüssel würden nach dem Training zerstört, so dass auf ältere Daten nicht mehr zugegriffen werden könnte. Laut Meta hängt RSC auch nicht direkt am Internet. Das System sei nur im Hintergrund mit den Meta-eigenen Rechenzentren verbunden.
Tagged: