Der P3D-Cluster am Standort Hannover

[thorsam]

Den Urspungsthread hatte indiana_74 erstellt. Dieser läßt sich durch mich nicht aktuallisieren,
darum erstelle ich jetzt, in Analogie zu TAL9000s Thread, diesen Thread für die Rechner am
Standort Hannover.

Anfangen werde ich mit dem System, dass wir um Kümels R5 2600 herumbauen werden.
Dieses wird dann zu gegebener Zeit dann zum Standort TAL9000 wechseln.

Darum wird das System, im Sinne von TAL9000 Namensvergabe, P3D-Kruemel heißen.

Es besteht aus:

1. AMD Ryzen 5 2600, 6x 3.40GHz, boxed (YD2600BBAFBOX) (Krümel)
2. ASRock X470 Master SLI (90-MXB7F0-A0UAYZ)
3. G.Skill RipJaws V schwarz DIMM Kit 32GB, DDR4-3200, CL16-18-18-38 (F4-3200C16D-32GVK)
4. Enermax ETS-T40F-TBA AM4 Edition
5. Crucial BX500 240GB, SATA (CT240BX500SSD1)
6. PowerColor Radeon RX Vega 56 Red Dragon, 8GB HBM2, 2x HDMI, 2x DP (AXRX VEGA 56 8GBHBM2-2D2HD/OC) (erde-m)
7. Corsair RMx Series RM750x 2018, 750W ATX 2.4 (CP-9020179-EU)
8. Corsair Carbide Series 275Q schwarz, schallgedämmt (CC-9011164-WW)


, ,

Die Wärmeleitpastenreste zwischen den PINs habe ich gut mit der Zahnbürste rausbekommen.


Das System P3D-Raspo besteht aus:

1. AMD Ryzen 7 1800X, 8x 3,6GHz, boxed (YD180XBCAEWOF) (Raspo)
2. ASUS Prime X470-Pro (90MB0XG0-M0EAY0)
3. Corsair Vengeance LPX DDR4 2x 16 GB 3200 MHz (CMK32GX4M2B3200C16)
4. Noctua NH-U14S
5. Samsung SSD 840 PRO 256GB, SATA, retail (MZ-7PD256BW)
6. ASUS Strix GeForce GTX 970 OC, STRIX-GTX970-DC2OC-4GD5, 4GB GDDR5, 2x DVI, HDMI, DP (90YV07F0-M0NA00) (MagicEye04)
7. be quiet! Straight Power 11 750W ATX 2.4 (BN283)
8. Corsair Carbide Series 275R Airflow schwarz, Glasfenster (CC-9011181-WW)


, ,
,


Das System P3D-erde-m besteht aus:

1. AMD Ryzen 7 2700X, 8x 3.70GHz, boxed (YD270XBGAFBOX) (erde-m)
2. ASRock X470 Master SLI (90-MXB7F0-A0UAYZ)
3a. G.Skill RipJaws 4 rot DIMM Kit 16GB, DDR4-2666, CL15-15-15-35 (F4-2666C15D-16GRR) (erde-m)
3b. G.Skill RipJaws 4 rot DIMM Kit 16GB, DDR4-2666, CL15-15-15-35 (F4-2666C15D-16GRR)
4.
5.
6. Vega 64
7. Vega 64
8.
9. Nanoxia Deep Silence 5 Rev. B schwarz, schallgedämmt (NXDS5BB)

 

[Krümel]

*rotwerd*

 

[Raspo]

Hmm, durch Anregung vom Eseltreiber:
Interesse an einem 1800X, der einem 3900X weichen musste ?

 

[thorsam]

Sacht mal Jungs. Ihr verschenkt hier Werte, dass ist ein ganz schöner Hammer.
Ich glaube wir haben ein System P3D-Raspo.
Gerne nehmen wir das Angebot an.
Rest per PN.
Danke auch im Namen von TAL9000.

 

[thorsam]

Hurra, der Speicher für den 2600er ist da.
Nach langem hin und her überlegen, ob ich 16 GB oder gleich 32 GB nehme,
Habe ich mich für 2x 16 GB entschieden, und den dann gleich mit 3200 MHz.

 

[Krümel]

Musst mal schauen, ob Du die 3.200 stabil bekommst. Mit single rank RAM hatte er das geschafft, aber dual rank könnte bei Zen+ eventuell Probleme verursachen.

 

[thorsam]

Ich wollte mir nur die Option offen halten. Sicherlich lasse ich ihn dann mit 2933 MHz laufen.

 

[Raspo]

Sacht mal Jungs. Ihr verschenkt hier Werte, dass ist ein ganz schöner Hammer.
Ich glaube wir haben ein System P3D-Raspo.
Gerne nehmen wir das Angebot an.
Rest per PN.
Danke auch im Namen von TAL9000.

P3D-Raspo, das wollte ich hören
CPU ist schon zu Thorsam unterwegs.
Gerne, Grüße auch an TAL9000.

 

[thorsam]

Um nicht das gleiche Board zu nehmen, dass ich für Krümels CPU bestellt habe, was übrigends immer noch in der vierten Dimension unterwegs ist,
habe ich ein ASUS Prime X-470 PRO genommen. Laut Internetseite lagernd.
Ha, ha, ha. Ham wa gelacht. Lieferant erwartet es am 17.04.2020. Wie finden wir das?
Genau.

Um Raspos Frage aus der PN zu beantworten:

Als Speicher nehme ich G.Skill Ripjaws V 32GB DDR4 K2 3200 C16 32GVK. Hier gilt das Gleiche wie für Krümels CPU.
Ich will mir die Option offen halten, aber laufen wird er wohl mit 2666 MHz. Sollten die Riegel mit dem 1800X nicht
wollen, dann habe halt die Möglichkeit, es mit den Corsairs für Krümels Rechner zu probieren.

Als CPU-Kühler kommt ein Enermax ETS-T40F-BKA AM4 Edition zum Einsatz.

 

[thorsam]

Ich hatte gehofft, dass alle Teile bis Ostern eintreffen, damit ich die Oster-Tage mit Basteln rumbekomme.
War aber leider nichts.
Am Dienstag kann ich bestimmt mit dem Bollerwagen zur Packstation fahren, um die ganzen Pakete abzuholen.
Naja, der Virus wird uns noch eine Weile erhalten bleiben. Leider.

 

[thorsam]

Endlich ist die Disko-Beleuchtung auf dem ASUS-Board aus.

Jetzt bin ich nur noch auf der Suche nach dem optimalen RAM-Takt.
@Stock sind es 2666 MHz. Wo liegt der Honeypot bei den Summit Ridges ?

 

[Krümel]

Bei Zen 1 ist es teilweise schon schwierig 3.200 MHz zu erreichen. 3.000 dürften aber safe sein.
Und bei BOINC halt immer die Frage, ob mit PPT-Begrenzung gearbetet wird. Dann eher niedriegerer RAM-Takt und SOC-Voltage um Leistungsbudget für die Kerne freizuschaufeln.

 

[thorsam]

Dann lasse ich es bei den 2666 MHz. Das bewegt sich doch bestimmt nur im niedrigen einstelligen Prozentbereich?

Von den nicht verwendeten Lüfter der SP3-Kühler, habe ich einen noch mit auf das ASUS-Board geklemt.
Freundlicherweise hat ASUS gleich 2x 4-Pin für CPU-Lüfter verbaut.

PS: Ich werde mal wieder bei Computeruniverse nachfragen, wo das ASRock-Board bleibt.
Das mit dem versprochenem Rückruf hat irgendwie nicht geklappt. Naja, alles zu seiner Zeit.

 

[thorsam]

Um es TAL9000 später mit der Tragerei so leicht wie möglich zu machen,
habe ich den P3d-Raspo Rechner in ein Corsair 275R Airflow eingebaut.

Jetzt bin ich wieder eine Erfahrung reicher.

Das Gehäuse für den P3D-Kruemel wird auf jeden Fall ein Stück höher sein.

 

[thorsam]

Für den P3D-Krümel ist jetzt auch das neue Zuhause angekommen.
Ist wieder ein Corsair, diesmal aber das 275Q.
Mir geht zwar, bei allen Gehäuse in dieser Gewichtsklasse, der untere Kasten auf die Nerven,
aber scheinbar muß das zur besseren Stabilität sein. Für den Betrieb mit 2 Grafikkarten ist
der nur störend.
Für den Dauerbetrieb mit 2 Grafikkarten werde ich ein Corsair-Netzteil verbauen.
Leider ist ja immer noch das Board, seit dem 02.04.2020, nicht auffindbar.
Computeruniverse ist am Nachforschen.

 

[Krümel]

Das mit dem Board ist ja doof.
Leider habe ich hier keins mehr rumliegen, was ich leihweise zur Verfügung stellen könnte. Hoffen wir, dass CU das bis zum Pentha hinbekommt.
Sonst bestelle ich mir noch ein neues und könnte Dir dann mein B350-Plus zukommen lassen.

 

[thorsam]

Danke fürs Angebot. Ich bin ja Optimist.

Computeruniverse habe ich eine 14 Tage Frist gesetzt.
Irgendetwas passiert auf jeden Fall bis zum 05.05.2020.

--- update ---

Zu meiner großen Freude stelle ich gerade fest, dass in dem Corsair 275Q, auf den unteren
Abdeckungsschacht verzichtet wurde.

Den Zuschlag hat das Gehäuse bei mir bekommen, weil ich die Platine auf der Rückseite sinnvoll finde, an der
6x 4-Pin Anschlüsse für die Gehäuselüfter bereit gestellt werden. Die Stromversorgung erfolgt über einen SATA-Stecker
am Netzteil.

--- update 2 ---

Hurra, endlich hat man festgestellt, dass seit dem 09.04.2020 das Paket in meiner Postfilliale liegt.
Jetzt fehlen nur noch die 3 zusätzlichen Gehäuselüfter und das Netzteil.

 

[thorsam]

Morgen kommt der 3950X. Die RAM-Aufrüstung habe ich schon erledigt.

TAL9000, Du mußt langsam wieder Gesund werden, damit ich Dir die Rechner vorbeibringen kann.

Bei mir wird es langsam eng, auf Grund der Neuanschaffung aus USA.

 

[thorsam]

P3D-7V12-1

Wie aus Crashtests News heraus zu lesen ist, hat der Cluster weder Kosten noch Mühen gescheut,
und ist auch in das Geschäft eingestiegen.
Da der Rechner genauso aufgebaut ist, wie das schon bestehende Rome-System, verzichte ich hier
auf knick-knack Bilder.

Der CPU-Screenshot ist aus dem laufendem Prime95, Custom -> Run FFTs in-place -> 4K
Auf den Noctuas sind noch die Standardlüfter. Richtig in Fahrt bekomme ich die CPUs nur unter Linux.



Ansonsten habe ich auf die Schnelle Cinebench R20 @stock durchlaufen lassen.
In Ermangelung eines echtem Vergleichssystem, lasse ich die Zahl mal so stehen.



Hier noch mal mit ohne Handbremse. Laut Coretemp schwankt der Takt zwischen 2,7 GHz und 2,8 GHz.
Weil Windows halt Windows ist, ist SMT die ganze Zeit ausgeschaltet.



Um Sightus die Tränen in die Augen zu treiben, hier noch aus AIDA64 der Cache & Memory Benchmark @stock



Und weil es so schön ist, hier mit volle Pulle.



So das war es von dieser Stelle. Ich spiele gerade Linux auf, weil mich natürlich am meisten interessiert,
was das System in den einzelnen BOINC-Projekten so reißt.
Benchmarks unter Linux gibt es, wenn ich aus dem schönen Sauerland wieder zurück bin.

PS: Selbstverständlich ist wieder Samsung ECC-RAM verbaut.
Ich wollte es nur erwähnen, weil es der dritte Satz mit 16 Riegeln ist, der ohne Mucken den memtest86+
durchlaufen hat. Das nur, weil Crashtest beim Grillen erzählte, was andere schon alles in Sachen RAM erlebt haben.

 

[thorsam]

Nachdem nun der P3D-Cluster in Sachen CPU-Technik seinen augenblicklichen Endausbau erreicht hat,
wollte ich mich dem Ausbau der GPU-Technik zuwenden.

Bei dieser Gelegenheit habe ich nur wiederholt feststellen müssen, dass die Supermicroboards H11DSi-NT
nach wie vor nicht für Multi-GPU zu gebrauchen sind. Da die Grafikkarten für die Erweiterung aber bereits
da sind, habe ich diese Woche ein Gigabyte MZ72-HBO nachbestellt.
Leider hat sich bei meiner IT-Budeherausgestellt, dass das Board, was laut Lagersoftware da sein sollte, nicht da ist. Also hoffe ich, dass die anvisierten 2 Wochen Lieferzeit, diesmal gehalten werden.

Auswechseln will ich das Board im P3D-7702, weil dass das älteste von den Revision 2.0 Boards ist.

Dieses Board soll dann in das System P3D-7551 wandern, in dem noch ein Revision 1.1 Board ist, bei dem ich, dank
eines Beta-BIOS, ein Teil der RAM-Bänke außer Funktion gesetzt habe. Früher oder Später sollen die Naples-CPUen ohnehin dann Milan-CPUen Platz machen.

Das augenblickliche Projekt beim P3D-Cluster besteht darin, den Internetverkehr zwischen dem P3D-Cluster und dem BOINC-Projekt LHC@home, über eine Mobilfunklösung zu routen.
Der erste Anlauf mit dem Projekt LHC@home über die Festnetz Internetverbindung hat dazu geführt, dass auf Grund der Datenverbindung mit dem Projekt, der eine oder andere kennt es aus dem Spielebereich, ein ständiger Strom an Datenpaketen hin und her flitzen.
Auf Grund der Anzahl der CPU-Kerne, führt das zu einem täglichen Datenvolumen von ~ 500 GB.
Was aber nicht das Problem ist. Das Problem ist, dass durch den permaneten Datenstrom, die Laufzeiten im Netzwerk auf > 100ms ansteigen, und damit ist in Zeiten von Cloudanwendungen kein flüssiges Arbeiten mehr möglich.

Zum testen der Mobilfunklösung haben wir uns eine Fritzbox 6820 V2 LTE vorgeholt, und sie mit 2 Knickantennen ausgestattet. Den Umbausatz gibt es im Internet, weil standartmäßig die Fritzbox nur 2 kleine interne Antennen besitzt.
Der Vorteil der V2 ist, dass die noch CAT 6 Anschlüsse besitzt, und damit bis 300 MBit/s arbeitet.
Die V3 hat nur noch Cat 4 Anschlüsse, die nur bis 150 MBit/s schaffen.
Womit nur die Laufzeiten der Datensignale der limitierende Faktor sein wird. Aber das werden wir nach dem SiDock-Rennen Mitte Februar testen.
Die angeschraubten Antennen sind die mit 4 dBi.

 

[thorsam]

Ich glaube ich weiß jetzt warum das P3D-7V12-1 System am rumzicken war.


Es gibt einfach keine Qualität mehr heutzutage.

 

[Krümel]

Autsch und das auf ein Serverboard...

 

[ONH]

Welche Komponente war da die Ursache (male/female)?

 

[thorsam]

Da die Stecker richtig drauf gesessen haben, hatte ich dann auch die Vermutung, dass es nur daran gelegen haben kann, wie man es von den Molexsteckern her kennt, dass sich die Pins im Stecker beim reinstecken, hochgedrückt haben. Dem ist aber nicht so.
Das rührt von zu hohen Strömen, die durch die Stecker geflossen sind. Wie das bei einem Serverboard, bei dem man Null an der Stromversorgung ändern kann passiert, ist mir ein Rätzel.
Naja, Schwund ist überall. Mund abwischen, und weiter machen.
Die 3 Netzteilkabel habe ich gestern Abend bei Caseking neu bestellt. Ich hoffe sie sind Morgen da.

 

[MagicEye04]

Es kann also nicht schaden, beim Burn-in mal mit einem IR-Thermometer oder einer Wärmebildkamera nachzugucken.
Haben die 12V-Pins, die noch jungfräulich aussehen, womöglich keinen Strom geführt und alle anderen mussten das kompensieren?