News Ryzen AI Software 1.0

[User-News]

In der AMD Präsentation Advancing AI vom 06. Dezember '23 hat Lisa Su neben dem Launch der Hawk Point APUs auch eine neue Entwicklungsumgebung vorgestellt.

AMD Presents: Advancing AI

Join us to discover how AMD and its partners are powering the future of AI.Learn more: https://www.amd.com/en/corporate/events/advancing-ai.html 00:11:24 Int...

www.youtube.com

Mit Ryzen AI Software 1.0 erhält der Programmierer eine Entwicklungsumgebung, die es für XDNA-basierte PCs möglich macht rasch diverse NNs für eigene Projekte zu implementieren. Es unterstützt den Entwickler in den Entwicklungsphasen:

1. Trainieren
2. Quantisieren
3. Anwenden

Seit kurzem findet sich eine Einstiegsseite auf AMDs Developer Central das auf diverse weitere Quellen, Tutorials, Blogs und Dokumentationen verweist.

Zum Anfang werden die APUs Ryzen 7040U und 7040HS unter Windows 11 unterstützt.

Die Entwicklungsumgebung basiert auf den folgenden Komponenten:

• Ein zur APU passender IPU-Treiber (aktuell nur beta-sw mit EULA nach Login)
• Conda "Paketmanagementsystem"
• Vitis AI Quantizer für ONNX
• ONNX Runtime
• Vitis AI Execution Provider
• Anpassungen der Parameter für die IPU Nutzung

Eine Dokumentation zu Ryzen AI ist ebenfalls online. Ein Getting-Started Video habe ich bereits im XDNA-Thread verlinkt.

Nachtrag: Ein Blog-Artikel zum Launch

Enabling AI PCs with Ryzen AI Software

At AMD we harness the power of our world-class silicon to push the boundaries of software innovation through internal R&D, ISV partnerships, and our broader engagement with the open-source software community. In July '23, AMD launched an Early Access program for Ryzen AI software to support Windo...

community.amd.com

AMD macht entscheidende erste Schritte auf die Windows-Entwickler zuzugehen, war doch bisher AI-Software eher ein Linux-Thema bei AMD.

 

[E555user]

Blog zur künftigen Entwicklung, laut IDC sollen Kunden folgende Anwendungsfelder in absteigender Reihenfolge wünschen

1. Automation bzw. Effizienz
2. Datenanalyse
3. Sicherheit bzw. Datenschutz
4. Remote Arbeiten
5. Echtzeit Analyse bzw. Auswahl

AMDs Strategie basiert auf drei Säulen

• Produkte
• Architektur
• Offenes Ecosystem

How AMD Advances AI Experiences

When I joined AMD six months ago, it was because I wanted to be part of a company that is growing more prominent in the market for AI solutions and has demonstrated significant success consistently for more than 5 years. There are a few moments in the history of computing that are regarded as...

community.amd.com

Marketing Seite für Businessanwendung von AMD zu Ryzen AI
[automerge]1704702616[/automerge]

AMD auf CES 2024

 

[E555user]

Your Must-Have...

(da war wohl was drin was nicht gezeigt werden sollte?)
Neu aufgelegt hier

 

[E555user]

5 Ways AI

 

[E555user]

Ende Februar 2024 wurde die Version auf 1.1 gehoben.
Eine Reihe kleinere Verbesserungen mit erweiterten Support, Performance und Bugfixes finden sich in den Releasenotes.

Release Information — Ryzen AI Software 1.1 documentation

ryzenai.docs.amd.com

 

[E555user]

Ryzen AI im AMD-Marketing für Anwender

Demystifying AI and AI PCs

The recent rise of artificial intelligence (AI) and AI PCs has driven a tremendous amount of market buzz and raised a host of questions. Everyone from individual end-users to major corporate buyers are asking what an AI PC is, what hardware is required to take advantage of AI, which applications...

community.amd.com

 

[E555user]

Benchmarkbalken von AMD zu Ryzen AI

AI Performance for Consumers with Large Language Models (LLMs) in Ryzen™ AI

Large Language Models (LLMs) are for everyone – not just those who know how to write and run code. AMD recently rolled out easy to follow guides on how to run state-of-the-art large language models on AI PCs featuring AMD Ryzen™ AI or AMD Radeon™ 7000 Series graphics card using LM Studio -...

community.amd.com

 

[E555user]

Ryzen AI 1.2 bringt zusätzlichen NPU Support und es kann jetzt einfacher zwischen NPU und iGPU für Compute gewechselt werden.

AMD Ryzen™ AI Software 1.2 Delivers New Tools and Capabilities for Next-Gen AI

Written by Anshul Gupta, Sr. Product Marketing Manager -- AI Group AMD just released Ryzen™ AI software 1.2 for developers and ISVs!. Ryzen AI software aims to offer a cohesive environment for developers and ISVs to build AI-enhanced applications while maximizing the performance benefits of...

community.amd.com

(02. April 2025) Wegen Sicherheitsmängel sollte dringend auf eine spätere Version gewechselt werden.

https://www.amd.com/en/resources/product-security/bulletin/amd-sb-7037.html

 

[E555user]

Ryzen AI 1.3 wurde bereits Ende November auf Github veröffentlicht

Overview — Ryzen AI Software 1.3 documentation

ryzenai.docs.amd.com

Erste Für Hybrid AI optimierte Modelle wurden zur Verfügung gestellt, der Quark Quantisierer für Optimierungen.

GAIA für LLM

AMD Introduces GAIA - an Open-Source Project That Runs Local LLMs on Ryzen AI NPUs

AMD has launched a new open-source project called, GAIA (pronounced /ˈɡaɪ.ə/), an awesome application that leverages the power of Ryzen AI Neural Processing Unit (NPU) to run private and local large language models (LLMs). In this blog, we'll dive into the features and benefits of GAIA, while...

www.techpowerup.com

Ryzen AI 1.4 bringt Hybrid AI Support, seit Ende März auf Github.

https://www.amd.com/en/developer/resources/technical-articles/amd-ryzen-ai-software-1-4-enhanced-features-for-next-gen-ai-pcs.html

YT-DevChannel Playlist zu Ryzen AI

AMD Ryzen™ AI Tutorials

This playlist introduces AMD Ryzen™ AI software and provides hands on tutorials to get you up and running. Learn how to run LLMs on AMD Ryzen™ AI processors,...

www.youtube.com

 

[E555user]

Ryzen AI 1.5 bringt Stable Diffusion pipelines (SD 1.5, 2.1, SDXL, and 3.0), speech-to-text capabilities Zipformer/Whisper models, pre-emption Performanceverbesserungen

https://www.amd.com/en/developer/resources/technical-articles/2025/amd-ryzen-ai-software-1-5--more-models--faster-deployments--and-.html

https://www.amd.com/en/developer/resources/ryzen-ai-software.html#tabs-c50c6c9bc4-item-6aaee5d6a4-tab

Die Release-Notes listen einige Verluste zur Abwärtskompatibilität auf, die Versionsnummer ist daher etwas irreführend.
Für NPUs müssen alle Modelle von Hugging-Face neu geladen werden.

 

[E555user]

Mit GPUs und iGPU/APU ein LLMs unter Windows nutzen:

A beginner's guide to deploying LLMs with AMD on Windows using PyTorch - AMD GPUOpen

Get started running LLMs with PyTorch on Windows using AMD consumer graphics hardware.

gpuopen.com

---

Mit Ryzen AI 1.6 hat sich der Compiler für INT8 gemäss Release Notes stark geändert und die Rückwärtskompatibilität des Codes ist nicht mehr gegeben, er muss angepasst werden. Dafür soll der INT8 Code auf aktuellen APUs performanter geworden sein.

Blogbeitrag zum Release.

Ryzen AI 1.6 Release Highlights

• Improved performance and reduced compile time for BF16 compiler
• New Integer compiler with support for General Asymmetric quantization (A8W8, A16W8)
• Expanded set of NPU-only models with optimized performance (higher tokens/sec on KRK and GPT)
• Context length increased up to 4K for all LLMs
• Added support for new LLM architectures: Phi-4 and Qwen-3
• Dynamic resolution support for SD 3.0/3.5, with performance gains across other SD models including new additions (SD2.1-v 768×768 text2image, SDXL-base 1024×1024 text2image)

Ryzen AI 1.6 Software supports AMD processors codenamed Phoenix, Hawk Point, Strix, Strix Halo, and Krackan Point. These processors can be found in the following Ryzen series:

• Ryzen 200 Series
• Ryzen 7000 Series, Ryzen PRO 7000 Series
• Ryzen 8000 Series, Ryzen PRO 8000 Series
• Ryzen AI 300 Series, Ryzen AI PRO Series, Ryzen AI Max 300 Series

Kommentar: Eventuell hilft die Optimierung von INT8 für Strix, Krakan und spätere NPU-Architekturen den FSR4 Int8 Support zu erleichtern.