News Microsoft erweitert DirectX mit Neural Rendering
- Ersteller E555user
- Erstellt am
-
- Schlagworte
- directx hlsl kooperative vektoren neuronales rendering
User-News
Von E555user
Hinweis: Diese "User-News" wurde nicht von der Planet 3DNow! Redaktion veröffentlicht, sondern vom oben genannten Leser, der persönlich für den hier veröffentlichten Inhalt haftet.Zeitgleich mit der Nvidia CES Keynote und deren Vorstellung neuer Methoden für KI-basiertes Rendern von Spielegrafik haben Cassie Hoef und Serena Tang vom DirectX Team eine entsprechende Weiterentwicklung für die DirectX API angekündigt.
Neuronales Rendering: Ein neues Paradigma in der 3D-Grafikprogrammierung
Unter neuronalem Rendering werden verschiedene Techniken zur Verwendung von KI und ML verstanden, die in Render-Pipelines situativ eingesetzt werden sollen. Einzele Problemlösungen könnten somit wesentlich effizienter werden, das für den Programmierer zur Verfügung stehende Toolset erweitert sich um den Einsatz von neuronalen Netzen.
Mit dem aktuellen Vorstoss von Microsoft setzt man sich für eine Erweiterung von DirectX für eine plattformübergreifende Unterstützung neuronaler Rendering-Techniken ein.
Für die neuronalen Shader sieht man konkrete Anwendungsmöglichkeiten um einzelne Spiele-Assets mit KI besser zu rendern, Geometrie besser aufzubereiten, das Pathtracing effizienter zu machen oder um Spielcharaktere mit fotorealistischer Grafik zu erstellen.
Kernelement ist die Erweiterung um sogenannte kooperative Vektoren. Darunter versteht man Matritzenmultiplikationen mit beliebig großen bzw. kleinen Vektoren. Durch die Optimierung von Matrix-Vektor-Operationen mit sehr hoher Last im KI-Training und -Inferencing soll deren massiver Einsatz ermöglicht werden. Die KI-Berechnungen sollen in verschiedenen Shader-Stufen ausführbar sein ohne die GPU als Ganzes zu blockieren. Ein kleines neuronales Netzwerk soll beispielsweise nur situativ in einem Pixel-Shader ausgeführt werden können. Die Entwickler sollen künftig neuronale Grafiktechniken nahtlos in DirectX-Anwendungen integrieren können und DirectX soll die Nutzung der KI-Beschleuniger-Hardware unterschiedlicher Hersteller erleichtern.
Der Terminus kooperative Vektoren erinnert dabei an kooperative Matritzen in Vulkan, bei denen diese über mehrere Shadereinheiten verteilt sein können.
Das HLSL-Team arbeitet mit AMD, Intel, NVIDIA und Qualcomm bei der Erweiterung für kooperative Vektoren zusammen um die herstellerübergreifende Unterstützung im DirectX-Ökosystem sicherzustellen. Es wird eine Preview-Version in Aussicht gestellt. In diesem Zusammenhang verweist man wiederum auf die aktuellen Informationen von Nvidia zu neuronalem Rendering und den eigentlich gemäss Nvidias Marketing der kommenden RTX-5000 Serie vorbehaltenen Funktionalität.
Mit der News zeigt Microsoft, dass man ebenso offen für Entwicklungskonzepte von Nvidia ist, nachdem man zuletzt mit dem Work-Graph-Rendering oder DirectSR eher Innovationen in Zusammenarbeit mit AMD in DirectX aufgenommen hatte.
Sicherlich sind neuronales Rendering und die kooperativen Vektoren eine eher langfristige Entwicklung, welche erst das ganze Potential zeigen kann, nachdem der Spielemarkt eine breite Unterstützung mit vorhandener Hardware annehmen darf. Bis dahin sind die Entwickler darauf angewiesen immer auch Alternativen ohne KI-unterstützung mit zu implementieren, so dass die Technik vorerst eher zusätzlichen Effekten vorbehalten bleiben wird. Spannend bleibt da die mögliche Unterstützung mit iGPUs in Kombination mit NPU der SoCs von AMD und Intel, bis hier her ist für das Konzept allerdings keine Auslagerung über einen PCIe-Bus hinweg für ältere dGPUs zu erwarten, mit DirectX liegt im Zweifel die Entscheidung beim Treiber. Sicherlich kann aber konstituiert werden, dass die herkömmliche Render-Pipeline mit den Entwicklungen in DirectX langsam aber sicher zu Grabe getragen wird. Es wäre durchaus möglich, dass ein DirectX-Nachfolger zur nächsten Konsolengeneration ausschliesslich auf moderne Compute-Pipelines setzt.
Nachtrag:
Auch bei AMD wurde bereits im Mai 2023 eine Arbeit zu beschleunigtem Rendering mit neuronalen Netzen bei Raytracing veröffentlicht. Man arbeitet schon länger an ähnlichen Konzepten, die auch bereits mit bestehenden GPUs (Navi31) getestet werden konnten. Mit Sony Interactive Entertainment arbeitet man im Projekt Amethyst am gleichen Thema, die Ergebnisse könnten mittels Neural Rendering im künftigen DirectX ebenso umgesetzt bzw. verwendet werden.
Neuronales Rendering: Ein neues Paradigma in der 3D-Grafikprogrammierung
Unter neuronalem Rendering werden verschiedene Techniken zur Verwendung von KI und ML verstanden, die in Render-Pipelines situativ eingesetzt werden sollen. Einzele Problemlösungen könnten somit wesentlich effizienter werden, das für den Programmierer zur Verfügung stehende Toolset erweitert sich um den Einsatz von neuronalen Netzen.
Mit dem aktuellen Vorstoss von Microsoft setzt man sich für eine Erweiterung von DirectX für eine plattformübergreifende Unterstützung neuronaler Rendering-Techniken ein.
Für die neuronalen Shader sieht man konkrete Anwendungsmöglichkeiten um einzelne Spiele-Assets mit KI besser zu rendern, Geometrie besser aufzubereiten, das Pathtracing effizienter zu machen oder um Spielcharaktere mit fotorealistischer Grafik zu erstellen.
Kernelement ist die Erweiterung um sogenannte kooperative Vektoren. Darunter versteht man Matritzenmultiplikationen mit beliebig großen bzw. kleinen Vektoren. Durch die Optimierung von Matrix-Vektor-Operationen mit sehr hoher Last im KI-Training und -Inferencing soll deren massiver Einsatz ermöglicht werden. Die KI-Berechnungen sollen in verschiedenen Shader-Stufen ausführbar sein ohne die GPU als Ganzes zu blockieren. Ein kleines neuronales Netzwerk soll beispielsweise nur situativ in einem Pixel-Shader ausgeführt werden können. Die Entwickler sollen künftig neuronale Grafiktechniken nahtlos in DirectX-Anwendungen integrieren können und DirectX soll die Nutzung der KI-Beschleuniger-Hardware unterschiedlicher Hersteller erleichtern.
Der Terminus kooperative Vektoren erinnert dabei an kooperative Matritzen in Vulkan, bei denen diese über mehrere Shadereinheiten verteilt sein können.
Das HLSL-Team arbeitet mit AMD, Intel, NVIDIA und Qualcomm bei der Erweiterung für kooperative Vektoren zusammen um die herstellerübergreifende Unterstützung im DirectX-Ökosystem sicherzustellen. Es wird eine Preview-Version in Aussicht gestellt. In diesem Zusammenhang verweist man wiederum auf die aktuellen Informationen von Nvidia zu neuronalem Rendering und den eigentlich gemäss Nvidias Marketing der kommenden RTX-5000 Serie vorbehaltenen Funktionalität.
Mit der News zeigt Microsoft, dass man ebenso offen für Entwicklungskonzepte von Nvidia ist, nachdem man zuletzt mit dem Work-Graph-Rendering oder DirectSR eher Innovationen in Zusammenarbeit mit AMD in DirectX aufgenommen hatte.
Sicherlich sind neuronales Rendering und die kooperativen Vektoren eine eher langfristige Entwicklung, welche erst das ganze Potential zeigen kann, nachdem der Spielemarkt eine breite Unterstützung mit vorhandener Hardware annehmen darf. Bis dahin sind die Entwickler darauf angewiesen immer auch Alternativen ohne KI-unterstützung mit zu implementieren, so dass die Technik vorerst eher zusätzlichen Effekten vorbehalten bleiben wird. Spannend bleibt da die mögliche Unterstützung mit iGPUs in Kombination mit NPU der SoCs von AMD und Intel, bis hier her ist für das Konzept allerdings keine Auslagerung über einen PCIe-Bus hinweg für ältere dGPUs zu erwarten, mit DirectX liegt im Zweifel die Entscheidung beim Treiber. Sicherlich kann aber konstituiert werden, dass die herkömmliche Render-Pipeline mit den Entwicklungen in DirectX langsam aber sicher zu Grabe getragen wird. Es wäre durchaus möglich, dass ein DirectX-Nachfolger zur nächsten Konsolengeneration ausschliesslich auf moderne Compute-Pipelines setzt.
Nachtrag:
Auch bei AMD wurde bereits im Mai 2023 eine Arbeit zu beschleunigtem Rendering mit neuronalen Netzen bei Raytracing veröffentlicht. Man arbeitet schon länger an ähnlichen Konzepten, die auch bereits mit bestehenden GPUs (Navi31) getestet werden konnten. Mit Sony Interactive Entertainment arbeitet man im Projekt Amethyst am gleichen Thema, die Ergebnisse könnten mittels Neural Rendering im künftigen DirectX ebenso umgesetzt bzw. verwendet werden.
Zuletzt bearbeitet:
E555user
Grand Admiral Special
- Mitglied seit
- 05.10.2015
- Beiträge
- 2.437
- Renomée
- 1.049
Microsoft DirectX To Integrate Neural Rendering For AI-Focused Graphics, Cooperative Vectors Unlock Full Power of NVIDIA's RTX 50 Tensor Core GPUs
Microsoft has now enabled neural rendering with its DirectX API, allowing GPUs to leverage AI capabilities to transform computation.
wccftech.com
E555user
Grand Admiral Special
- Mitglied seit
- 05.10.2015
- Beiträge
- 2.437
- Renomée
- 1.049
Eine Vorarbeit mit Github-Beispielen zu Neural Rendering in DX12 mit interessanten Quellenangaben von Jakub Boksansky auf GPUopen vom Juli 2024
gpuopen.com
Crash Course in Deep Learning (for Computer Graphics)
If you're a graphics dev looking to understand more about deep learning, this blog introduces the basic principles in a graphics dev context.
gpuopen.com
E555user
Grand Admiral Special
- Mitglied seit
- 05.10.2015
- Beiträge
- 2.437
- Renomée
- 1.049
Anlässlich der GDC2025 präsentiert Intel ein konkretes Beispiel und Bestätigt Support für deren ARC dGPUs und aktuelle iGPUs.
Intel Co-Presents Cooperative Vectors with Microsoft at Game Developer Conference 2025
This technical deep dive was written by Jonathan Dupuy, and is a joint work with Anis Benyoub, Laurent Belcour, Mariusz Merecki, and Thomas Chambon as part of their research efforts at Intel Labs. Highlights: Microsoft will showcase Cooperative Vectors on DirectX during the Advanced...
community.intel.com
E555user
Grand Admiral Special
- Mitglied seit
- 05.10.2015
- Beiträge
- 2.437
- Renomée
- 1.049
Funktion basierend auf neuronalen Netzen für Schnittpunktberechnung bei Raytracing von AMD ist interessant.
gpuopen.com
Die Arbeit stellt aber eher eine Konzeptstudie dar und ist eher ein Zwischenschritt als eine neue anwendbare Methode im Raytracing. Das NN müsste nebenher je Bildausschnitt bzw. Szene für qualitative Ergebnisse laufend neu erstellt werden.
Using Neural Networks for Geometric Representation - AMD GPUOpen
Explore how Neural Intersection Functions (NIF) and the enhanced LSNIF are poised to reshape ray tracing by replacing traditional BVH traversal with efficient, GPU-friendly neural networks for accelerated performance and high-fidelity imagery.
Die Arbeit stellt aber eher eine Konzeptstudie dar und ist eher ein Zwischenschritt als eine neue anwendbare Methode im Raytracing. Das NN müsste nebenher je Bildausschnitt bzw. Szene für qualitative Ergebnisse laufend neu erstellt werden.
E555user
Grand Admiral Special
- Mitglied seit
- 05.10.2015
- Beiträge
- 2.437
- Renomée
- 1.049
Weitere Matrix*Matrix Ops sollen lt. Serena Tang künftig noch in Shader Model 6.x, aber nicht mehr in 6.9, unterstüzt werden. Dafür wird das bisherige Konzept nochmals umgeworfen und in einem neuen Entwicklungzweig zu linearer Algebra zusammengeführt.
devblogs.microsoft.com
Man schwenkt hier auf Entwicklungen aus dem Nvidia-Lager ein.
github.com
Shader Model 6.9 and The Future of Cooperative Vector - DirectX Developer Blog
Direct3D Cooperative Vector is evolving with new linear algebra capabilities in an upcoming Shader Model release.
devblogs.microsoft.com
hlsl-specs/proposals/0035-linalg-matrix.md at main · microsoft/hlsl-specs
HLSL Specifications. Contribute to microsoft/hlsl-specs development by creating an account on GitHub.
github.com
Zuletzt bearbeitet:
E555user
Grand Admiral Special
- Mitglied seit
- 05.10.2015
- Beiträge
- 2.437
- Renomée
- 1.049
Evolving DirectX for the ML Era on Windows - DirectX Developer Blog
At GDC this year, we shared how machine learning is becoming foundational to real time graphics, and how DirectX is evolving to meet that shift across shader level and model level ML.
devblogs.microsoft.com
Ähnliche Themen
