News ROCm 7.0

User-News

Von E555user

Hinweis: Diese "User-News" wurde nicht von der Planet 3DNow! Redaktion veröffentlicht, sondern vom oben genannten Leser, der persönlich für den hier veröffentlichten Inhalt haftet.
ROCm7_Blog_1200x627_FNL_2.png

Der neue Softwarestack ROCm 7 ist offiziell verfügbar. Durch die verbesserte Software will man im Inferencing um Faktor 3.5 und im Training um Faktor 3 gegenüber ROCm 6 an Leistung hinzugewonnen haben. Getestet wurde das auf verschiedenen EPYC-Systemen mit jeweils 8 MI-300X Beschleunigern. Man darf also davon ausgehen, dass das auch zu grossen Teilen der verbesserten Cluster-Performance zuzuschreiben ist.
DeepSeek_MoE_and_MLA_%28DeepSeek-V2%29.svg
Neben dem verbreiterten Support für Hardware und Datentypen für CNDA4 und RDNA4, Virtualisierung, Cluster und neueste KI-Modelle betont AMD auch die Eignung für MoE, bzw. Mixture of Expert, das bspw. für DeepSeek relevant war.

Während die Marketing-Seite etwas schwammig bleibt zeigt die GitHub Seite für fast alle enthaltenen Pakete einen deutlichen Versionssprung mit jeweils weiteren Informationen zu Neuerungen:

rocm-software-stack-7_0_0.jpg
Unterstützt werden alle CDNA-Generationen und RDNA2 bis RDNA4 sowie sämtliche populären Linux-Derivate. Dabei gibt es noch ein Flickenteppich bei diverser Hardware und Softwarekombination. Eine genauere Auflistung mit Details in den Fussnoten findet sich hier.
Es wird weiterhin nicht auf die Besonderheiten von RDNA3.5 bzw. den iGPUs eigegangen, entsprechend ist hier weiterhin nur Ryzen Ai gesetzt.

Entgegen der Erwartungen findet sich noch kein umfassender Windows-Support. Hier bietet AMD das HIP-SDK für Entwickler an um das Coding für ROCm zu ermöglichen.
Mit HIP 7.0 soll die Portabilität des Codes für AMD und Nvidia/CUDA nochmals deutlich verbessert sein.

Das AMD AI Team begleitet den Start mit einem Blog-Beitrag:
With ROCm 7.0, AMD delivers:
  • Breakthrough training and inference performance with the AMD Instinct™ MI350 series GPUs
  • Seamless distributed inference across clusters with support for leading frameworks
  • Enhanced code portability with HIP 7.0, streamlining development and migration across hardware ecosystems
  • New enterprise-focused tools to simplify AI infrastructure management and deployment
  • Popular large-scale MXFP4 and FP8 models quantized with AMD Quark
Es fehlen noch der im Juni 2025 versprochene Support für Ryzen AI Systeme, die Developer-Cloud ist hingegen bereits lanciert.
 
Zuletzt bearbeitet:
OpenCL bleibt bei 2.0, obwohl es schon seit 2020 Version 3.0 gibt. :(
 
Ich denke der Artikel von Phoronix zum OpenCL Thema beschreibt den Stand, es ist nicht auf der Roadmap, im Clang ist der Experimental Support für 3.0
CDNA unterstützt im Treiber wohl OpenCL 3, RDNA nur 2.1
AFAIK wurden für OpenCL 3 erstmal einige OpenCL 2 Features nur noch als optional umdefiniert und danach konnte Nvidia die 2er Hürde überspringen.
Dazu gab es DMA-Erweiterungen für embedded Systeme, nichts für dGPUs. Mir scheint AMD wurde da ausgebootet und die Entwicklung wurde in eine andere Richtung getrieben. Ab ROCm 5.6 bzw. HIP 5.6 wurde OpenCL Code in HIP überführt. Das damals eingeführte Repository CLR ist hernach in der Modernisierung durch ROCm Systems ersetzt bzw. vereinnahmt worden.

Mit ROCm soll man HIP coden. Ich denke AMD fokussiert hier weil man für das dominierende CUDA Ökosystem eine möglichst einfache und kompatible Alternative bieten muss bzw. möchte.

PS: Ich erwarte künftig eine Ablösung von OpenCL beim Treiber-Support durch SPIR-V IR, so dass OpenCL nur noch für Coder relevant bleibt, dort scheinen andere Sprachen momentan populärer zu sein.
 
Zuletzt bearbeitet:
Zuletzt bearbeitet:
Im aktuellen Advanced Insight gibt Anush Elangovan viele Einblicke zur ROCm 7 Entwicklung.
 
Im Blog-Beitrag ROCm 7.9 Technology Preview erklären AMD-Mitarbeiter die Zukunft von ROCm. Hierbei wird die Umsetzungs ausführlicher erläutert während Elangovan im Video aus dem Beitrag zuvor eher auf die Strategie eingeht.

AMD nutzt TheRock als SDK um ROCm fortlaufend weiterzuentwickeln, es werden nightly Builds für die ROCm Kernkomponenten und dessen SDK erstellt und fortlaufend getestet. Neben dem Preview-Stream ab Version 7.9 werden noch Stable-Stream Versionen von ROCm bis 7.8 weiterentwickelt bis Mitte 2026 dann der Stream von 7.9 den Stable-Zweig ersetzen wird (vermutlich als ROCm 8). Mit dem Wechsel wird die Kompatibilität verloren gehen weil die Build-Mechanismen unterschiedlich sind und Treiber andere Schnittstellen haben. Entwickler sollen sich auf die Änderungen entsprechend einstellen können.

Dazu noch ein nettes Video wie sich AMD die Zukunft mit Open Source ROCm so vorstellt ;)

Etwas schlechter Ton, aber auch ein gutes Interview zur neuen Rolle von ROCm als Open Source Entwicklung.
 
Zuletzt bearbeitet:

Mit PRIMUS bietet AMD nun eine Library für ROCm speziell für Large Scale LLM Training mit Instinct-Clustern.
rocm-primus.PNG



Bewegung in der Developer Community....
  • Künftig mit AI-Untertützung erstellte high performance Compute-Kernels im Projekt HipKittens.
  • GPUmode kernel competition bricht CUDA only mit grossem Erfolg für ROCm auf.
 

Anhänge

  • 1762969771959.png
    1762969771959.png
    546,9 KB · Aufrufe: 2
Zuletzt bearbeitet:
Zurück
Oben Unten