AMD XDNA - Ryzen AI

Ich denke es geht weniger um männlich/weibliche Vorlieben, sondern um den "Uncanny Valley" Effekt:

1920px-Mori_Uncanny_Valley_de.svg.png

Doppelposting wurde automatisch zusammengeführt:

Gute Nachrichten von AMDs Software-Baustelle:
To date, this was mostly for Nvidia hardware. MosaicML’s stack can achieve over 70% hardware FLOPS utilization (HFU) and 53.3% model FLOPS utilization (MFU) on Nvidia’s A100 GPUs in large language models without requiring writing custom CUDA kernels. Note that Google’s stack for PaLM model on TPUv4 only achieved 57.8% HFU and 46.2% MFU. Likewise, Nvidia’s own Megatron-LM stack only achieved 52.8% HFU and 51.4% MFU on a 175B parameter model. Mosaic’s stack, much of which is open source, is an obvious choice unless every last drop needs to be squeezed out with many dedicated scaling engineers for clusters of 10,000s of GPUs.

Now, MosaicML is going to be able to offer the same with AMD hardware. They have only just gotten their Instinct MI250 GPUs this quarter, but they are already close to matching Nvidia.
 
Die Diskussion zeigt nur dass es um XDNA momentan nichts relevantes zu berichten gibt. Es is Sommerpause.
(im Gegenteil musste ich eben feststellen, dass der Blog Artikel den einen Github-Link nicht mehr aufweist)

Der Vergleich von PCWorld im Video ist mehr Äpfel vs Birnen als dass man Schlüsse ziehen könnte. Letztlich ist das nur AMDs APU AI Cores mit Microsoft Video AI-FX vs Nvidia GPU Cores mit Nvidias Video AI-FX. Ob das bessere Freistellen oder die bessere Augenkorrektur am trainierten Modell, oder an der Inferencing-Leistung, oder an beidem lag, lässt sich nicht beurteilen. Ich vermute es liegt an den trainierten Daten.
 
Zuletzt bearbeitet:
David McAfee von AMD hat im TechPowerup Interview nochmals bestätig, dass XDNA kein FPGA ist. Als Ryzen AI geht es nur um Effizienz im Laptop, nicht um neue Möglichkeiten abseits der CPU ISA. Entsprechend sieht man das noch nicht im Desktop kommen. Alles weitere hängt von der kommenden SW Entwicklung ab.
 
In der Advancing AI Veranstaltung selbst hat Lisa Su den Start von Hawk Point mit XDNA bestätigt.

Beim Nachfolger Strix Point spricht gemäss der Präsentationsfolie von XNDA2 "Next-Gen NPU for generative AI". Man erwartet dafür noch in 2024 erheblich höhere Leistung. Gerüchte gehen von 50 TOPS aus, die auch Microsoft für küntige Anwendungsfälle als relevante Grösse sieht.
Allerdings wird in den Fussnoten zur Präsentation vom 6. Dezember für Strix Point eine 3-fache NPU Performance zum 7040 angeführt.

Phönix startete anfänglich mit beworbenen 12 TOPS, die heute mit 10 TOPS angegeben werden. Hawk Point hat offiziell dazu 33% bzw. 60% mehr mit 16 TOPS, Strix Point würde entsprechend dieses mehr als verdoppeln und 36 TOPS aufweisen. Die 50 TOPS sind somit möglich wenn AMD damit die CPU/NPU kombinierte Leistung angibt, diese ist bei Phoenix und Hawk Point mit 33 bzw. 39 "total" TOPS angegeben.

Zum Start der Ryzen AI Software habe ich einen News-Artikel verfasst.


Der aktuelle Beta-Treiber für XDNA auf Phoenix enthält xbutil.exe um XRT bzw. die Xilinx Runtime Umgebung zu nutzen.

Ich musste den Beitrag wegen der TOPS Angaben nachbearbeiten, falls jemand weiss warum und wann aus den 12 TOPS des 7040 irgendwann 10 TOPS wurden bitte posten...
 
Zuletzt bearbeitet:
Jason Banta, AMD General Manager OEM PC Business, und David MacAffee, AMD VP General Manager Ryzen CPU Business, im Interview bei PCWorld.
  • Ryzen 7000 -> 8000 ist gleiches XDNA1 mit höherer Taktrate
  • XDNA2 in Strix Point still in 2024 major iteration, 3x NPU performance
  • Zen4c in Ryzen3 und Ryzen5 SKUs, NPU nicht in kleinen APUs
  • NPU vs. GPU, beide können AI, NPU wesentlich effizienter, GPU wesentlich genauer v.a. bei visuellen Anwendungen
  • lokale LLMs für Vorteile der Sicherheit, der Effizienz, der Verfügbarkeit bzw. Kosten
  • Marketing von AI PCs nur mittels Partnerschaften der Softwareanbieter
  • Ryzen AI Software wird nur mit den APUs mit XDNA nutzbar sein
  • NPU ist momentan noch nicht übertaktbar
  • im Gaming sind Partner für AI noch in der Experimentierphase
  • NPU in Desktops "maybe someday soon"
  • dNPU gibt es bei Xilinx für Datacenter, für Desktops "remains to be seen"
  • AMD AI Development Competition via Hackster


 
Zuletzt bearbeitet:
Einschätzungen zu Ryzen AI und ROCm von einem AI-Entwickler von Pygmalion.ai...

  • Ryzen AI ist spät und nur Windows
  • ROCm ist auf Linux sehr gut supportet und eine gute Alternative zu CUDA (speku: er bezieht sich auf ROCm via LLVM)
  • AMD (wie Intel) fehlt ein Load-Balancing-Modell das alle - NPU, GPU, CPU - nutzen kann um maximale Performance zu erreichen um sich so gegen Nvidia zu behaupten
  • Speicherbandbreite bzw. -Latenz und -Grösse sind viel wichtiger als peak TOPS
  • AMD sollte ROCm auf allen GPUs supporten um neuen Entwicklern und Anwendern einen einfacheren Einstieg zu gewähren
  • Für Konsolenspiele wäre Cloud-AI eine erwartbare Entwicklung (=always on)
 
Zuletzt bearbeitet:
Aus einer Aktienanalyse - AI wird wohl im Automotiv Sektor mit Versal AI Edge XA und V2000A vom erwarteten Marktwachstum profitieren:
AMD's expansion into the automotive AI with Versal AI Edge XA adaptive SoC and Ryzen Embedded V2000A Series processor is an important fundamental development. This is a strategic move to target high-growth markets, as automotive is experiencing a vital shift towards advanced technologies like AI, infotainment systems, and autonomous driving (ADAS).

The sector is projected to hit $15 billion in market size by 2030. In this context, the Automotive AI market may deliver a CAGR of 24% (2022–2030). Fundamentally, AMD is capitalizing on the demand for advanced automotive applications through Versal AI Edge XA and Ryzen Embedded V2000A.
 
Das ist auch mein Gedanke, sollte AMD das nicht so schnell wie möglich als Open Source unter Linux promoten?
Ich denke AMD ist immer noch zu knapp bei Entwicklern. Dann gibt es erst mal für Desktop Apps nur das eine und für Server/Cloud das andere typische OS mit unterstützten Entwicklungstools. Ich denke auch, besser wäre immer Multiplattform und von unterschiedlichen Erfahrungen profitieren.
 
Ich denke AMD ist immer noch zu knapp bei Entwicklern. Dann gibt es erst mal für Desktop Apps nur das eine und für Server/Cloud das andere typische OS mit unterstützten Entwicklungstools. Ich denke auch, besser wäre immer Multiplattform und von unterschiedlichen Erfahrungen profitieren.

Gerade deswegen sollte man das auf Open Source auslagern. Allerdings hat man ja mit Microsoft auch irgendeine Partnerschaft laufen, wobei ich finde, dass die AMD auch sehr oft im Regen stehen gelassen haben und mir ehrlich gesagt, davon nicht viel verspreche.

Bei ROCm sieht es ja Gott sei dank etwas besser aus und die kommenden APUs werden unterstützt.

 
So rund läuft es mit rocm auch nicht. Bei mir lief es eine Zeitlang gut mit einer 5700xt bis mal ein update kam. Seit dem geht nichts mehr ausser Berechnungsfehler. Alles neu aufzusetzen hat nichts gebracht.

Auch wenn der Treiber von Nvidia closed source ist, wird ältere Hardware echt lange unterstützt. Es läuft in der Regel.
 
So rund läuft es mit rocm auch nicht. Bei mir lief es eine Zeitlang gut mit einer 5700xt bis mal ein update kam. ...
Auch wenn der Treiber von Nvidia closed source ist, wird ältere Hardware echt lange unterstützt. Es läuft in der Regel.
Eben, so ist es. AMD hat in allen Bereichen zu wenige Entwickler um einen vollen Support mit Plattform und APIs zu bieten. Man verschiebt die Leute dorthin, wo das meiste Geld vermutet wird. Der Blick geht nach vorne, auch weil noch zu wenige Kunden da sind, die alte HW/SW Kombis nutzen wollen.

XDNA ist stand heute Desktop-AI für Consumer und Büro mit WinOS. Workstation und Cloud-AI ist bis auf weiteres GPU mit ROCm.
Mit XDNA Ryzen-AI Support auf Linux reagiert man nur und wundert sich ob da etwas kommt das HW verkauft. Trotz Alveo V70 Karte gibt es auch noch nichts aus dem Datacenter zu hören. Bin gespannt ab wann man hier etwas finden wird: www.amd.com/en/resources/case-studies.html#q=xdna
 
Interessante News:
https://www.eenewseurope.com/en/amd-combines-embedded-processor-and-fpga-in-edge-ai-architecture/
The Embedded+ architecture combines the AMD Ryzen Embedded processors with the Versal adaptive SoCs onto a single board for original design manufacturers (ODMs) for edge AI.

The design has been validated by AMD to help the ODMs reduce qualification and build times for faster time-to-market without needing to expend additional hardware and R&D resources for edge AI boards in medical, industrial, and automotive applications. A key advantage is that the architecture uses a single development environment based on the AMD Vitis tool to programme the FPGA fabric, AI engines and CPU.
Sapphire Technology has developed the first board using the Embedded+ architecture in a mini-ITZ form factor. The 30W Edge+ VPR-4616-MB uses the Ryzen Embedded R2314 processor and Versal AI Edge VE2302 Adaptive SoC. The VPR-4616-MB is also available in a full system, including memory, storage, power supply, and chassis.

The Embedded+ qualified VPR-4616-MB from Sapphire Technology is immediately available.
Edit: https://www.sapphiretech.com/en/commercial/edge-plus-vpr_4616
AMD Pressemitteilung: https://ir.amd.com/news-events/pres...veils-embedded-architecture-combines-embedded
 
Zuletzt bearbeitet:
Nach näherem darüber nachdenken, finde ich den Zug unternehmerisch sehr interessant.
AMD hat sich hier einen Markt für AI ausgesucht, den Nvidia nicht mit steigenden Verbrauchswerten dominieren kann, da begrenzte Formfaktoren, was Kühlung betrifft. Mit dieser embedded+ Plattform könnten sie ein Geschäftsmodell wie bei dGPUs im Consumer/Gaming Markt anstreben und mit diesem Referenz Design andere OEMs, für die der GPU Markt schwieriger wird, ein zusätzliches Standbein bieten.

Die OEM-Chanel sind etabliert und die Produktpalette bietet eine hohe Varianz in einem Bereich den Nvidia nicht abdeckt. Es wir spannend sein zu sehen ob Sapphire da exklusiv Hersteller einer Nische bleiben wird oder sich eine umfangreichere Strategie zeigen wird, die einen Wachstum für AI/FPGA in kleinen Formfaktoren beim Edge-Computing erwartet.
 
Joel Hruska von AMD schrieb in seinem Blog-Artikel, dass die XDNA NPU künftig im Windows Task Manager separat angezeigt werden soll.

Das wird die Sichtbarkeit für alle Kunden und Entwickler deutlich erhöhen, hoffentlich auch die künftige Softwareunterstützung und Nutzung.
 
Zuletzt bearbeitet:
Zurück
Oben Unten