AMD XDNA - Ryzen AI

[E555user]

Die Hölle friert zu: AMD bringt einen Compiler​

für AI als Open Source ...​

...allerdings handelt es sich bei Peano LLVM um ein Xilinx-Projekt und es ist deshalb vielleicht nicht mehr ganz so revolutionär.

PCMasters.de hat einen wie ich finde sehr guten Artikel dazu:

AMD Peano Open-Source-LLVM-Compiler für Ryzen-KI-Prozessoren vorgestellt

AMD hat heute den Peano Open-Source-LLVM-Compiler vorgestellt, der speziell für die Ryzen-KI-NPUs entwickelt wurde. Diese Ankündigung ist ein wichtiger Schritt für AMD, um die Leistung und die Fähigkeiten von KI-Workloads auf Consumer-Prozessoren zu verbessern. Eingesetzt werden kann Peano mit...

www.pcmasters.de

und natürlich auch Phonronix

AMD's Newest Open-Source Surprise: "Peano" - An LLVM Compiler For Ryzen AI NPUs - Phoronix

www.phoronix.com

Stephen Neuendorffer von Xlinx verweist darauf, dass der Compiler nur für einzelne Cores im Array mit LLVM compilieren kann. Für das gesamte NPU Array braucht es dann MLIR-AIE. Den Link hat er selbst aber falsch gesetzt.

 

[E555user]

Bei TechPowerUp glaubt man bei AMD einen strategischen Wandel in Richtung Software-Unternehmen zu erkennen.
Es soll von AMD-Vertretern erklärt worden sein, dass für Ryzen AI und die Instinct Serie im KI-Einsatz ein Kulturwandel bei AMD stattfinden soll um in den nächsten 3-5 Jahren auch im Bereich Software auf die Kunden zuzugehen und das Angebot und Image von AMD zu verändern.

AMD is Becoming a Software Company. Here's the Plan

Just a few weeks ago, AMD invited us to Barcelona as part of a roundtable, to share their vision for the future of the company, and to get our feedback. On site, were prominent AMD leadership, including Phil Guido, Executive Vice President & Chief Commercial Officer and Jack Huynh, Senior VP &...

www.techpowerup.com

Die Beschreibungen erinnern an die frühen Jahre der Zen-Gerenartionen. Gerade die EPYC-Sparte hatte über das Top-Management regelmässig betont, dass man in der Entwicklung genau den Kunden (gemeint waren wohl Hyperscaler) zugehört hat um die Hardware weiterzuentwickeln.
In den künftigen Softwareangeboten will man nun den grossen AI-Playern mit kombinierten Software-Hardware-Lösungen entgegenkommen.

They are now talking to the major software companies, like Microsoft, Adobe and OpenAI, to learn what their plans are and what they need from a future hardware generation.

Kommentar:
Mit dem Personalwachstum der letzten Jahre hat sich das Engagement für Software bereits deutlich gesteigert. Es bleibt ein Moving-Target, es braucht ein ständiges Engagement. Was fehlt ist die durchgängige Sichtbarkeit und Orientierung zu angebotenen Lösungen genaso wie die zuverlässige Verfügbarkeit in breitem Support für die angebotene Hardware. Es muss aus Sicht eines Entwicklers viel einfacher werden die eigenen Projekte auf AMD-Hardware anzupassen. Es fehlt nach wie vor eine klare Linie bei GPUopen oder im Marketing rund um Radeon-Features und den Software-Partnern im Gaming. Ob das mit AI dann später auch für AMD insgesamt besser klappt wird sich zeigen.
[automerge]1720636469[/automerge]
passend dazu die News zur übernahme von Silo AI

AMD Adds Rolls-Royce To Its Customer List By Buying AI Firm For $665 Million

Chip designer AMD expanded its customer base in the AI industry today after announcing its takeover of Europe's largest private artificial intelligence lab Silo AI. The transaction is worth $665 million, and since it's all cash, AMD might have to rely on debt to finance the deal. Silo is an AI...

wccftech.com

 

[sompe]

Ich denke eher weniger das es darum geht die Hardware nach den Anfürderungen der Software zu entwickeln sondern eher die Schnittstellen für den Zugriff der Software auf die Hardware zu liefern und sich mehr um die Optimierung der Software auf die Hardware zu konzentrieren, also genau das womit die Konkurrenz ihre Hardware puscht.
Bleibt nur zu hoffen das sie dies nicht ebenfalls nutzen um die Konkurrenz künstlich zu behindern um sich selbst einen künstlichen Vorteil zu verschaffen.

 

[E555user]

XDNA™ Architecture and Programming Model​

 

[Yoshi 2k3]

Computerbase berichtet auch über dieses Event im Juni:

Neue Strategie: AMD will auch ein Software-Unternehmen werden

AMD mangelt es an Software, das ist nicht neu. Jetzt wagt der Konzern den Umbruch, in Zukunft steht die Software im Fokus.

www.computerbase.de

 

[E555user]

Kommentar zu Silo.AI Übernahme von Ian Cutress

 

[Yoshi 2k3]

AMD XDNA Ryzen AI Linux Kernel Driver Posted For Review (Phoronix.com)

 

[E555user]

AMD XDNA Ryzen AI Linux Kernel Driver Posted For Review (Phoronix.com)

Kernel-Driver für XDNA sollte helfen den/die Coprozessoren populär zu machen. Allerdings stehen bei Puristen ggf. die notwendigen Firmware-Binaries für die einzelnen Cores im Weg. Ich bin gespannt ob und wie bald eine Art MESA für NPUs entsteht. Die Ansätze von Intel und AMD scheinen doch arg unterschiedlich und am Ende wollen für AI-Tasks auch GPU und CPU mitverwendet werden können.

 

[Yoshi 2k3]

Das ist ein interessanter Gedankengang. Dass diese Art von Treiber grundsätzlich im "accel"-Subsystem des Kernels beheimatet sind bzw sein werden, ergibt ja auf jeden Fall Sinn. Ist das nicht ursprünglich auch von Intel/Habana Labs eingebracht worden? Wie man daraus einen kompletten Softwarestack macht, bleibt definitiv spannend. Wobei es vermutlich auch nicht "schlimm" wäre, wenn die Hersteller alle unterschiedliche Ansätze verfolgen würden.

Am Ende ist es vielleicht eher eine strategische denn eine technische Entscheidung. Gegen wen muss man sich positionieren, um Erfolg zu haben? Ist es eher Intel vs. AMD oder x86 vs. ARM?

 

[E555user]

Aus Hot Chips 2024 eine XDNA2 Folie aus dem Vortrag zu Zen5 und StrixPoint.


Eine gute Übersicht über die AMD/Xilinx basierte AI-Lösungen gab es in der Hot Chips 2024 Session 5 durch Tomai Knopp AMD.
XDNA2 ist eine Variante der auch in Versal verwendeten AI Engines für maschinelles lernen, AIE-ML v2. Es ist die zweite Generation der AIE-ML Architektur bzw. die dritte AI Architektur von AMD/Xilinx überhaupt.

 

[E555user]

AMDXDNA Submitted For Linux 6.14 With Kernel Accelerator/Graphics Driver Updates - Phoronix

www.phoronix.com

GitHub - amd/xdna-driver

Contribute to amd/xdna-driver development by creating an account on GitHub.

github.com

Nachtrag: Linux 6.14 was released on Monday, 24 Mar 2025.

Linux_6.14 - Linux Kernel Newbies

Summary of the changes and new features merged in the Linux kernel during the 6.14 development cycle

kernelnewbies.org

 

[E555user]

Alveo V70 (basierend auf Versal VC2802) wurde ohne Nachfolger eingestellt.

Products Affected
The products affected include all standard part numbers. Any associated SCDs are also affected.
Table 1: Alveo V70 Accelerator Cards Affected
Part Number Replacement Part
A-V70-P16G-PQ-G No direct replacement
A-V70-P16G-PQG-206 No direct replacement
Key Dates and Ordering Information
• Final orders (LTB) for Alveo V70 cards will be accepted until May 24, 2025, subject to material availability.
• An order remaining open on or after May 24, 2025, will be deemed Non-Cancellable, Non-Returnable (NCNR).
• Final deliveries (LTS) for Alveo V70 cards must occur on or before August 24, 2025.
• Return Material Authorizations (RMA) for replacement devices due to quality issues will be accepted until November 24, 2025.

 

[Complicated]

Ein weiterer Softwareschritt:

AMD Intros "SD 3 Medium", The World's First BF16 NPU Model Designed For XDNA 2 AI NPUs, Offer Reduced Memory Footprint & Faster Text-To-Image Gen

AMD launched the world's first BF16 model for XDNA 2 NPUs, SD 3 Turbo, and makes for faster and uncompromised text-to-image AI generation.

wccftech.com

 

[E555user]

ja, den Blog hatte ich schon zu Amuse zitiert.

News Beitrag im Thema 'Amuse 3 - AI upgrade für Radeon und Ryzen AI'

22.07.2025

Das per AMD-Blog vorgestellte Update auf Amuse 3.1 vom 21 Juli 2025 bringt optimierte NNs für diverse Hardwarekonfigurationen. Vorallem kann erstmals die NPU in XDNA-2 APUs hoch optimiert genutzt werden. Hierfür wird für Stable-Diffusion 3.0 ein BF16 NN unter der Bezeichnung SDXL Turbo für schnelles Inferencing und SD 3.0 Medium model für bessere Qualität angeboten. Die RAM-Anforderungen an...

• E555user

• 

Mit BF16 hat AMD eine Lösung den RAM-Verbrauch trotz guter Inferencing-Qualität niedrig zu halten. Man darf gespannt sein wie die kommenden XDNAx Generationen bzw. Versal AI-ML Chips sich weiterentwickeln.

 

[E555user]

Fundstück aus Jul. 2024, paar XDNA2 NPU Folien auf der 2ten Seite

Architecture Trifecta AMD Zen 5 RDNA 3.5 and XDNA 2

AMD's architecture trifecta of announcements include the Zen 5 CPU cores, RDNA 3.5 GPU, and XDNA 2 NPU enhancements

www.servethehome.com

Man sollte die Info aus dem HotChips 24 Vortrag zur Versal-Engine im Hinterkopf behalten.
XDNA2 und Ryzen AI-300 haben die gleiche HW-Engine, beide unterstützen das von Microsoft/Meta entwickelte MX9 und MX6 als spezifische Block Floating Point Datentypen, während AVX10.2 die Varianten E5M2 and E4M3 unterstützen soll.

Block floating point - Wikipedia

en.wikipedia.org

Mikroexponenten (MX) Datentypen unterstützen flexible Quantisierungen mit kleinen Exponenten. Die Zahl in der Bezeichnung gibt die durchschnittliche Bitlänge an. Während MX9 mit FP32 vergleichbare Ergebnisse erzielt erhält man mit MX6 zu FP8 vergleichbare Ergebnisse, jeweils mit geringerem Speicher- und Bandbreitenbedarf. https://arxiv.org/pdf/2302.08007

 

[E555user]

Die Frage NPU vs. GPU bleibt ungelöst. Es scheint dass auch weiterhin AMD mit seinen Partnern keine eindeutige Strategie für KI-Beschleuniger hat.

Vielleicht könnte sich zumindest das Coding-Modell etwas annähern.

News Beitrag im Thema 'AMETHYST von Sony und AMD'

13.10.2025

Zu dem Neural Array gibt es im Netz einige falsche Kommentare. Wenn man sich das Video genau ansieht und die dazugehörigen Folien sollte aber klar sein, dass alle Dual-CUs innerhalb einer Shader-Engine künftig untereinander verknüpft sind um AI Operationen gemeinsam abarbeiten zu können.
Ich vermute es wird spezielle Register für den Übertrag der Werte geben und zusätzliche Ops, die für AI nützlich sind.

Gemäss der im Video verwendeten Grafik könnte man von 8 DualCUs bzw. 16 CUs in einer Shader-Engine ausgehen. Die Bezeichnung als Array könnte ein Hinweis auf einen Aufbau für die...

• E555user

 

[vinacis_vivids]

PS6-iGPU hat schon sehr viele CUs, vermutlich 54CU mit moderner RDNA5 uArch, so dass die NPU für kleinere Datenquants nicht mehr unbedingt gebraucht werden. Die RDNA5 CUs können kleine Datenquants (fp8, int8, fp6, int6, fp4, int4) durch die WMMA Struktur.

Die NPU mit XDNA2 uArch halte ich bei mobilen SoCs für sinnvoll bzw. sinnvoller, also für Notebooks, Handhelds, Tablets und Smartfones. Da hilft die Energieeinsparung mehr als bei stationärer Konsole oder dGPU am Desktop.

Im mobilen Bereich ist die Einsparung von Daten durch kleinere quantisierte Modelle noch interessanter, weil dadurch auch Kosten gespart werden.

Andererseits kann AMD optional die NPU auch in AM5 CPUs (APUs) mit wenig CUs (2-16) einbauen um die Leistungsfähigkeit in ONNX, LLM usw. insbesondere für CNNs und Transformer zu verbessern. Das ginge dann so Richtung "AI-PC" im Sinne von Jack Huynh.

Amuse und LM-Studio stehen ja heute schon Parade dafür.

Was Spieler angeht, wird FSR4.5 oder FSR5 wahrscheinlich die XDNA2 NPU erst nutzen können. Hoffentlich dann schon mit fp6 / int6 mit kleineren CNNs oder Transformers.

 

[E555user]

Das ist ein interessanter Gedankengang. Dass diese Art von Treiber grundsätzlich im "accel"-Subsystem des Kernels beheimatet sind bzw sein werden, ergibt ja auf jeden Fall Sinn.

Da habe ich dann über XDC2025 das hier gefunden - NPU Treiber in Mesa, Anfänge schon 2023.

A long overdue update

Cannot believe it has been years since my last update here! There are two things that I would like to tell people about: The first is that I...

blog.tomeuvizoso.net

TensorFlow Lite delegate — The Mesa 3D Graphics Library latest documentation

docs.mesa3d.org

Er hat neue Treiber für Rockchip SoCs und ARM Ethos bestätigt, in 2026 H1 und H2 soll jeweils eine weitere Architektur folgen.

 

[Complicated]

Die Frage NPU vs. GPU bleibt ungelöst. Es scheint dass auch weiterhin AMD mit seinen Partnern keine eindeutige Strategie für KI-Beschleuniger hat.

Naja, der Semicustom für Sonys Konsole ist ein schlechtes Beispiel für AMDs Strategie. Die stellen sich zusammen was sie wollen aus dem IP-Baukasten, dafür ist ja Semicustom da.