AMD Halo - HighEnd-APUs (FP11, Strix Halo)

[E555user]

Irgendwie verrückt... 385 und 395+ Handheld...

...vielleicht auch nicht.

 

[E555user]

AMD positioniert die Halo-Serie als Speerspitze um AI auf Windows zu etablieren.
Man setzt dabei auf LMStudio des Startup Element Labs, das seit Anfang diesen Monat kostenlos und ohne Registrierung nutzbar ist.

AMDs Blogbeitrag zeigt die Vorteile der Halo-Plattform auf und verlinkt auf Hintergrundinfos zu VGM.
Varaible-Graphics-Memory erlaubt erstmals (Treiber ab August) 128 milliarden Parameter via Vulkan.
Bei LLM steigt die Qualität der Ausgabe mit der Grösse der Modelle bzw. NNs an. Hier hat AMD mit VGM und Halo entscheidende Vorteile.
Als Beispiel gibt AMD einen Prompt zu einer wissenschaftlichen Herleitung der Lichtgeschwindigkeit, die durchaus brauchbar und flott erscheint.

Bislang gibt es die Halo-Serie allerdings nur auf wenigen Laptops, Framework und Corsair bieten heute nur einen Mini-Desktop an.

Für mehr Auswahl müssen offensichtlich erst noch neue alternative Produktlininen für das Halo-Package durch weitere Hersteller entwickelt werden.

 

[E555user]

【【ChinaJoy 2025】GPD Win5上手实测 70w的AI MAX 395释放如何】 https://www.bilibili.com/video/BV1Znhnz7EdS/?share_source=copy_web

Der GPD Handheld ist rasant, aber dann laut und recht warm. Er läuft in der vorgestellten Variante mit schwerem Wechselakku im Huckepack zusammen mit etwas über 1kg.

 

[E555user]

Fazit: auch mit Halo sind AI Cluster noch ein Pipedream und im Anfang von F&E.

 

[tex_]

Hier ist ein nettes Video welches den chiplet Interconnect von Strix Halo etwas näher beschreibt. Der Autor geht dabei auch davon aus, dass der Interconnect bei Zen6 Einzug hält.

Das Einzige mit dem ich nicht ganz mitegehe ist seine Vermutung, dass damit das Cache chiplet der X3D CPUs wider nach oben wandern müsste. Ich sehe da keine größeren technischen Hindernisse.

 

[sompe]

Da sehe ich auch keinen Sinn darin den zusätzlichen Cache wieder oben drauf zu packen.
Die Verbindungsstellen für die Verbindung vom CCD zum Cache bleiben weiterhin auf Silizium Basis und das weitere Pinout vom CCD zum Substrat müßte wie aktuell ebenfalls durch das Cache Die durchgeleitet werden und kann dort auf die ganze Fläche verteilt werden.

Das einzige Szenario wo der Zusatzcache auf der Oberseite besser aufgehoben wäre ist die nachträgliche Bestückung mit unterschiedlichen Cache Ausbaustufen bei niedrig taktenden Chips (wo der erhöhte Wärmewiderstand nur eine untergeordnete Rolle spielt) aber das dürfte für Zen 6 keine wirkliche Rolle spielen.

 

[E555user]

Er spekuliert ja nur zum V-Cache, schwer zu sagen was da herauskommt. Aber man sollte mit Sea of Wires auch bedenken, dass alternativ ein grosser MALL-Cache auf dem I/O bzw. GPU-Die ebenso interessant sein könnte. Die Latenz geht dort auch mangels SerDes-Bremse zurück und man hätte durch MALL-Cache schnelleren Datenaustausch mit den anderen Einheiten, insbesondere NPU und iGPU.
Wenn also der L3 Cache im CCD schon die meisten Hits relativ zu Inter-Core Communication abfängt könnte vermutlich ein MALL-Cache sehr komplexen Code im RAM-Zugriff auch schon ausreichend beschleunigen und zusätzlich bzw. alternativ auch AI und integrierte Grafik beschleunigen. Bereits mit den bei Zen5 angewachsenen L3 war V-Cache bei einigen Titeln weniger relevant. Man müsste mal einen normierten Vergleich von Strix-Halo vs 9700X und 9800X3d finden, bei dem der Einfluss des MALL-Cache vs. V-Cache in Anwendung und Gaming herausgestellt wird. Vermutlich wird sich das kaum finden lassen.

AMD hat zumindest über RDNA3 und StrixHalo die SoW Technik schrittweise weiterentwickelt und viel gelernt. Was immer da für Zen6 kommt wird bereits wohl ausgereift und überlegt sein.

 

[vinacis_vivids]

ONNX Inference:
AMD Ryzen Ai Max 395+ Radeon 8060S ~ 3.87 pts
Intel i9 14900HX + RTX 4070 Laptop ~ 2.23 pts

AMD liegt bei kritischen AI Benchmarks ~74% vor Intel + Nvidia. Vor allem ist die AMD APU aus einem Stück während Intel CPU und Nvidia GPU getrennt sind (somit teurer in der Herstellung).

Mit den high-end APUs Ryzen AI 390 und Ryzen Ai Max 395+ wird AMD langfristig sehr viel Marktanteile gewinnen können.

 

[E555user]

das geht zwar off topic, aber zu den Spekulationen von HighYield bekräftigt MLID nochmals seine Informationen, dass Zen6 BridgeChips verwendet und kein FanOut wie bei StrixHalo

https://twitter.com/x/status/1972790692633059583

 

[E555user]

Ein Vergleich aus Anwendersicht zum neuen Konkurrenzprodukt DGX Spark von Nvidia.

Die Leistung ist bei gleichermassen unterstützten bzw. populären Datenformaten und LLM Modellen nahezu identisch. Spezielle Nvidia Software und der exorbitante Preis machen den Unterschied. Er denkt der DGX ist im Vergleich zum Strix Halo das Geld nicht wert (>4000$), ebenso im Vergleich mit dGPUs ist der Spark als reines KI Tool ein teures langsameres Nischenprodukt.

 

[E555user]

AMD’s Chiplet APU: An Overview of Strix Halo

Hello you fine Internet folks!

chipsandcheese.com