Allgemeiner Plauderchat über das Thema DC Part III

[olsen_gg]

Ihr könnt ja Sorgen haben. Hier kommt morgen erstmal der überall gefürchtete Ableser...

"Coronabedingt" haben die in diesem Jahr nur die Ablesezettel eingeworfen und einen Termin zur Abholung draufgeschmiert.
Morgen also zwischen 09 und 11 Uhr kommen sie den Zettel abholen. Soll ich ihn nun ausfüllen, an die Haustür kleben und nochmal desinfizieren?

(Mogeln könnte man, aber das fällt einem ja im nächsten Jahr dann ordentlich auf die Füße, also lieber noch aufrunden.)

 

[Onkel_Dithmeyer]

Hier war seit ich wohne keiner mehr ablesen, habe ich immer selbst gemacht und per Website eingetragen. Nächstes Jahr kommt aber ein digitaler, da hat sich das dann eh.

 

[olsen_gg]

Jo, meiner ist auch digital (leider, wegen Rücklaufsperre und nichtsaldierend), aber weil Gas immernoch analog ist, bleibt alles, wie es war.

 

[erde-m]

Ich hoffe mich mal nicht verrechnet zu haben.
Nehmen wir mal diese WU:

Unable to handle request

Run time (sec) 7,220.42
CPU time (sec) 31,956.65
Setting CPU Count for VM. (8 )

31,956.65 / 7,220.42 = 4.42/8 CPUs waren im Schnitt busy

https://lhcathome.cern.ch/lhcathome/result.php?resultid=290295030 3,73/4 CPUs busy

Beim Cluster komme ich auf 7.1-7.2/8 CPUs busy.

Optimierung der WU Startzeit wäre ein anderer Hebel, wenn man an der Parallelität nicht drehen will.

Doppelposting wurde automatisch zusammengeführt: 02.12.2020

Nun ja, im Zweifelsfall geht es ja auch darum wieviel der Speicher hergibt denn bei 4 Thread WUs würden natürlich auch 2-3x so viele WUs laufen und bekommt jede WU gleich viel Speicher kann man sich das Ergebnis ja selbst ausrechnen.

naklar, da kennt jeder sein System am besten und muss ggf. mit dem Speicher haushalten.
Ich hatte auch krumme Sachen wie 5 und 7 threads probiert, lief auch alles problemlos.

Da jetzt einige der nativen WUs durch sind kann ich das bestätigen. Mit 4 Kernen/WU läuft das System flüssiger mit recht gleichmäßig hoher Auslastung.
Der 3900X hat gerade 3 Stück (!!!) von den 12-Kern WUs plus noch einige Sixtrack am Wickel. Man sollte meinen System-Overload, aber nein ca. 75% Auslastung.

Ich bin auf 8 gegangen und mußte feststellen das man diese Umstellung wohl nur machen sollte wenn die Kiste leergefahren ist denn danach wurden mehrere 12er WUs nach den ersten 10 Minuten mit Berechnungsfehlern abgeschossen.

Auch das kann ich bestätigen. Die 12Kern-WUs werden nach ca. 10min mit Berechnungsfehler abgebrochen. Bezieht sich aber nur auf die nativen WU. Die Vbox sind gelaufen.

 

[eiernacken1983]

Mal ne Frage mit dem davor geschalteten Problem:

Problem:
Mein 3990X cruncht mit 64C/64T Rosetta. Ich habe BOINC den Befehl gegeben, 1+0,5 Tage WU-Vorrat anzulegen. Der hat sich dann soviel gezogen, dass mein Rechner das vor Frist gar nicht schafft. Ich habe daher immer mal 100 WUs händisch abgebrochen und die Vorratshaltung auf 0,25+0,00 Tage beschränkt. Bringt aber nix. BOINC will den Ripper mehr mästen als er fressen kann

Frage:
Kann man per app_config die Anzahl der WUs einstellen, die in der Instanz ständig vorgehalten werden sollen? Andere, Lösungsansätze sind natürlich auf willkommen.

 

[Ritschie]

Hast Du vorher mal bei Rosetta eine kürzere Berechnungszeit eingestellt und bist jetzt wieder auf die default 8 Stunden? Das würde erklären, warum der BM durcheinander kommt, weil der mit deutlich geringeren Zeiten rechnet, bist sich das nach ner gewissen Zeit einpendelt.

Mal manuell nen Benchmark im BM durchgeführt?

Geh doch mal auf 0,01+0 Tage. Mit der app_config hab ich da noch nicht rumgespielt.

Gruß
Ritschie

 

[Onkel_Dithmeyer]

App_config kann man nur den Puffer komplett abschalten:

<fetch_minimal_work>0|1</fetch_minimal_work>

Fetch one job per device (see --fetch_minimal_work).

 

[eiernacken1983]

Ich war schon immer auf 8 Stunden bei Rosetta. Dem Rechner, der zur Hauptinstanz gehört, kam dann ein 4 mal so großer Przessor In den Weg 3950x —> 3990x. Das war aber in der WCG Challenge Zeit. Jetzt rechnet er das erste mal mit 64 C Rosetta. Intuitiv müsste er dann aufgrund der wundersamen Kernvermehrung zu wenig Arbeit kriegen. Ich versuche es morgen mal mit Benchmark, bin aber pessimistisc, da das jetzt schon 5 Tage so geht.

ist der BM vielleicht nicht in der Lage, SMT off zu erkennen Und schickt mir doppelt soviel Arbeit wie nötig.

 

[MagicEye04]

Wie viel gibt er denn als vorraussichtliche Laufzeit an?
Und selbst wenn, würde SMT ja maximal den Faktor 2 ausmachen.

 

[eiernacken1983]

Die Rosetta-WUs werden mit genau 8 Std. prognostiziert und laufen dann auch i.d.R. 7:50 - 8:10 Stunden.

Es sieht eigentlich alles aus wie immer, nur das eben zuviel Arbeit reinkommt

 

[eiernacken1983]

Nachdem der Ripper fast leergelaufen war, habe ich die Rosetta-Schleuse wieder geöffnet (0,1 + 0,1 Tage). Zunächst + 50 WUs; sehr vielversprechend. Als ich eine Stunde später nochmal geschaut habe, waren 900 WUs da.

62 Kerne schaffen bei 8 Stunden pro Durchlauf 186 WUs pro Tag. Ich hatte also Arbeit für 4,83 Tage bei 0,1 + 0,1 eingestellten Tagen. Ein Satz mit x...

Ich hole jetzt Arbeit, stelle dann auf keine neue Arbeit und muss mich zumindest 3 Tage nicht drum kümmern. Dann alles abbrechen, was gammeln würde und neue Arbeit holen. Unbefriedigender Workaroud. Ich würde jetzt auf die blöde BOINC Software schimpfen, aber vielleicht sitzt das Problem doch vorm Bildschirm

 

[Ritschie]

0,1 + 0,1 Tage

Warum nicht die von mir vorgeschlagenen 0,01+0 Tage?

Klar sind das für deine Einstellungen immernoch viel zuviel an WUs, was Du bekommst. Aber warum fängst Du dann nicht beim absoluten Minimum an?

Benchmark hast Du mal gemacht? (sorry, sollte ich's überlesen haben.)

Gruß
Ritschie

 

[eiernacken1983]

Wäre für mich total unlogisch, wenn 0,01 und 0 funktioniert und 0,1 + 0,1 nicht. Habe es jetzt trotzdem mal umgestellt (Verzweiflung).

Benchmark hatte ich natürlich vergessen. Habe ich jetzt mal gemacht und die Schleuse geöffnet. Mal sehen, ob neuer Kram reinkommt.
Ich werde berichten...

Doppelposting wurde automatisch zusammengeführt: 05.12.2020

0,01 Tage sind auch Mist, dann bekommt nämlich MW keine WUs mehr. Mit 3 Stunden Verzögerung gemerkt. Was für Produktionsausfälle

 

[olsen_gg]

Bei WCG klappt das jedenfalls wunderbar. 0,01 oder selbst 0,1 gibt exakt einen Satz Wuzen. Jetzt gehe ich mal mit derselben Einstellung zu rosetta.
Grundeinstellung im Projekt waren 8h?

Doppelposting wurde automatisch zusammengeführt: 05.12.2020

0,01 hat erst einmal geklappt: 8 Wuzen für 8 Threads. Auf die Laufzeiten bin ich gespannt, nach 8h sieht das nicht aus, eher nach 10-11h. Aber abwarten.

 

[eiernacken1983]

Bei 2 von 3 Maschinen klappt das auch wunderbar. Aber Thread the Ripper kapiert nicht, wann genug Essen auf dem Teller ist.
von irgendwelchen Online Einstellungen wird er ja scheinbar auch nicht überstimmt, da ich mir parallel laufendes MW Projekt abgewürgt habe mit 0,01.

benchmark mit allen Kernen aktiv habe ich auch gemacht, aber er hat sich danach schon wieder Arbeit geholt.

ich schau mal im Rosetta Forum, bevor ich euch weiter nerve.

 

[olsen_gg]

Ah ja. Ich weiß mit Anatomie nicht recht Bescheid, aber hatte ein TR nicht auch einen viel größeren Magen als mein Mini-i7, oder gar mehrere Mägen?
Da ist mein kleiner Test wohl nicht recht relevant. (TR= Carnivore, i7 = eher kleiner Allesfresser)

 

[Ritschie]

ich schau mal im Rosetta Forum, bevor ich euch weiter nerve.

Ich denke nicht, dass Du hier irgendjemanden damit nervst. Eher bin ich gespannt, was raus kommt. So ein Problem ist mir noch nicht über den Weg gelaufen und Ideen hab ich dann langsam auch keine mehr.

Halt uns mal auf dem Laufenden.

Gruß
Ritschie

 

[olsen_gg]

Ich habe nochmal getestet mit 0,1+0,0 und auch wieder exakt acht Wuzen gekriegt. Passt ja auch, 0,1d sind 2,4h und die Wuzen laufen länger als das.
Zu den Laufzeiten kann ich sagen, dass die ganz gut passen. 10min mehr oder weniger, aber i.d.R. sind es auch acht Stunden.

Ich würde also mal sagen, dass das vermutlich wirklich ein TR-Rätsel ist und ich es nicht lösen kann.

 

[Ritschie]

@olsen_gg Mit Threadripper hat das nichts zu tun. Ich hab selber zwei TR laufen und hatte bei Rosetta die genannten Probleme noch nie.

Irgendwas ist da komplett verquer. Vielleicht mal das Projekt im BM zurücksetzen, oder entfernen und neu hinzufügen?!

Gruß
Ritschie

 

[olsen_gg]

O.K., dann weiß ich auch nicht weiter, bei mir lässt sich das jedenfalls einwandfrei eindrosseln.

Wenn ich große Bunker vorgebe, z.B. 7+5 Tage, dann gehts allerdings fast immer in die Hose.
Was dann gezogen wird, ist fast nie zu schaffen.

 

[Frank [RKN]]

Moin,
das Problem hatte ich mit meinem 3900 auch schon bei diversen Projekten.
Erst sieht alles gut aus - und über Nacht zieht er sich hunderte von WU's nach
Bei mir hat es tatsächlich geholfen nur den ersten Wert, z.B. 0,2 zu setzen, und 0 (=keine zusätzlichen) WU's einzustellen.
Sollte das keinen Erfolg bringen, kannst du versuchen in deiner "app_config" zwischen "[options] und "[/options] die Anzahl der zur Verfügung stehenden
Kerne/Threads zu verringern.
Bei [ncpus]20[/ncpus] gaukelst du dem Projekt also vor, nur 20 Kerne zu haben und bekommst bei deinem TR nur noch rund 1/3 der WU's zugeteilt.
Denk aber daran bei welchem Projekt du den Wert veränderst, sonst wirst du bei der nächsten Challenge Probleme bekommen deine Bunker zu füllen

 

[eiernacken1983]

Ich habe eben 400 WUs abgebrochen, die mit Ablaufdatum heute Nachmittag noch ausstanden.

Rosetta entfernen und neu hinzufügen wird mein nächster Schritt sein. Dafür muss ich die Warteschlange erstmal trockenlegen, das dauert wahrscheinlich 2 - 3 Tage. Ich werde aber berichten, ob das was gebracht hat oder nicht.

Langfristig stehen sowieso erste Linux-Versuche aus (da bin ich vollkommen unerfahren). Nutze ja aktuell im Windows kein SMT, da Win mit 128 Threads nicht klar kommt. Dadurch lasse ich ja auch 20 - 30 % Leistung liegen. Erschwerend kommt hier aber dazu, dass ich auf der Maschine noch umfangreich MW crunche und einen Windows-Workaround habe, der kontinuierlich für genug WU-Nachschub sorgt. Die Radeon VII haut ja die WUs schneller weg, als MW sie nachlädt (dort zu viele und da zu wenige WUs - eingeschwungener Zustand sieht anders aus)

 

[MIWA]

Langfristig stehen sowieso erste Linux-Versuche aus (da bin ich vollkommen unerfahren)

Nimmst ein Linux Mint, zumindest meine persönliche Wahl für Einsteiger. Ist eigentlich in vielen dinge genau so einfach wie unter Windows. Man muss sich nur etwas ungewöhen.

 

[sompe]

Die aktuelle Ubuntu Version sollte auch für erste Gehversuche taugen, im Zweifelsfall schaut man es sich erstmal mit der live CD Version an bevor es an die Installation geht.
Zu alt darf die Version aber nicht sein weil z.B. die 18er Ubuntu Version mit meinem 64 Kerner nicht starten wollte.
Die Installation ist schnell gemacht und BOINC ist in deren Software Shop enthalten. Der Konsoleneinsatz kann also warten.

 

[olsen_gg]

Das kann ich unterschreiben. Mit Ubuntu bin selbst ich oller Mausschubser einigermaßen klar gekommen.