Neue WUs bei LHC@Home!

Das ist ja doof - meine "größte" Linux-Kiste hat grad mal 4 C / 8 T - und die wollte ich erst kurz vor dem Pentha wieder anwerfen... :]
 
Also da bleiben Dir ja nur die Theory WUs übrig.
Übrigens, mit andere WUs nach den Atlas WUs meine ich, dass er die restlichen Kerne dann bei mir für Theory WUs nutzt.
Auf PC 2 laufen 4 Theory WUs 1-2 Tage und 1 weitere WU seit 10 Stunden. Auch da wieder können das WUs sein, die nichts bringen, aber der Rest scheint OK zu sein. Aber man weiß es bei denen ohne Log Kenntisse nie. Manche WUs bleiben einfach hängen, es ist bei den Theory WUs alles drin. :D
 
So ein Schiet - dann müsste ich zum Probieren auf den "großen" Maschinen ("nur" Windows) ja doch wieder eine Linux-VM hochfahren...
 
Ich bin zurzeit dabei am auszuprobieren, ob man BOINC die CPU Kerne für eine Aufgabe individuell einteilen kann. Zurzeit habe ich alle 32 CPU Kerne eingeteilt und es scheint so zu sein, als ob er das tatsächlich auch tut! Denn er rechnet jetzt nur noch 1 Atlas WU und alle anderen WUs lässt er links liegen.

Dabei kenne ich noch nicht so genau den Zusammenhang, da ich an mehreren Dateien etwas geändert habe.

Eine Datei davon habe ich in /var/lib/boinc-client/projects/lhcathome.cern.ch_lhcathome/ATLAS_job_2.54_x86_64-pc-linux-gnu.xml
geändert in:
<job_desc>
<task>
<application>run_atlas</application>
<command_line>--nthreads 32</command_line>
<checkpoint_filename>boinc_mmap_file</checkpoint_filename>
</task>
</job_desc>

Wahrscheinlich steht nthreads 32 für die CPU Kerne. Also er nutzt auch gerade tatsächlich alle 32 Kerne für 1 WU aus.

Ich gucke mir das morgen nochmal genauer an, denn ich muss ja morgen arbeiten. :P

--- Update ---

Es sieht so aus, als ob so etwas ausreicht:
<app_config>
<app_version>
<app_name>ATLAS</app_name>
<platform>x86_64-pc-linux-gnu</platform>
<avg_ncpus>32.000000</avg_ncpus>
<plan_class>native_mt</plan_class>
<cmdline>--nthreads 32</cmdline>
<dont_throttle/>
<is_wrapper/>
<needs_network/>
</app_version>
</app_config>

Diese habe ich im Projektverzeichnis als app_config.xml erstellt und im laufenden Boinc betrieb einlesen lassen und schon nutzt er scheinbar 32 Kerne für Atlas. Dort lässt sich dann sicherlich auch weniger Kerne nutzen.

Ich berufe mich auf die Log Datei:

23:10:35 (14883): wrapper (7.7.26015): starting
23:10:35 (14883): wrapper: running run_atlas (--nthreads 32)
[2020-04-15 23:10:35] Arguments: --nthreads 32
[2020-04-15 23:10:35] Threads: 32
[2020-04-15 23:10:35] Checking for CVMFS
[2020-04-15 23:10:35] Probing /cvmfs/atlas.cern.ch... OK
[2020-04-15 23:10:35] Probing /cvmfs/atlas-condb.cern.ch... OK
[2020-04-15 23:10:35] Probing /cvmfs/grid.cern.ch... OK
[2020-04-15 23:10:35] Probing /cvmfs/cernvm-prod.cern.ch... OK
[2020-04-15 23:10:35] Probing /cvmfs/sft.cern.ch... OK
[2020-04-15 23:10:35] Probing /cvmfs/alice.cern.ch... OK
[2020-04-15 23:10:36] VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE
[2020-04-15 23:10:36] 2.7.1.0 11057 221 55496 63004 0 3 4183815 4194304 2108 65024 0 351316 98.5267 1014335 1151 http://cernvmfs.gridpp.rl.ac.uk/cvmfs/atlas.cern.ch DIRECT 1
[2020-04-15 23:10:36] CVMFS is ok
[2020-04-15 23:10:36] Using singularity image /cvmfs/atlas.cern.ch/repo/containers/images/singularity/x86_64-centos7.img
[2020-04-15 23:10:36] Checking for singularity binary...
[2020-04-15 23:10:36] Singularity is not installed, using version from CVMFS
[2020-04-15 23:10:36] Checking singularity works with /cvmfs/atlas.cern.ch/repo/containers/sw/singularity/x86_64-el7/current/bin/singularity exec -B /cvmfs /cvmfs/atlas.cern.ch/repo/containers/images/singularity/x86_64-centos7.img hostname
[2020-04-15 23:10:38] INFO:  Convert SIF file to sandbox... tobias-System-Product-Name INFO:  Cleaning up image...
[2020-04-15 23:10:38] Singularity works
[2020-04-15 23:10:38] Set ATHENA_PROC_NUMBER=32
[2020-04-15 23:10:38] Starting ATLAS job with PandaID=4700726806
[2020-04-15 23:10:38] Running command: /cvmfs/atlas.cern.ch/repo/containers/sw/singularity/x86_64-el7/current/bin/singularity exec --pwd /var/lib/boinc-client/slots/0 -B /cvmfs,/var /cvmfs/atlas.cern.ch/repo/containers/images/singularity/x86_64-centos7.img sh start_atlas.sh

Edit: Es funktioniert! Wenn ich 8 eintippe, dann nutzt er auch nur 8 Kerne!!! Analog nutzt er dann natürlich 4 WUs. 4x8=32

--- Update ---

Hm, der eigentliche Ablauf kommt mit dem Argument nicht richtig zurecht, also die Log Datei auf der Webseite sagt das der Befehl für die an mehr CPU Kerne nicht verstanden wird, die ich in der app.xml eingeben habe und von 8 auf gleich 32 CPU Kerne verkürzt zwar die Laufzeit, allerdings nicht im Verhältnis besser. Also von 12 auf 32 verdoppelt sich nur die Berechnung. Und der kommt vereinzelt mit der Punkte Vergabe durcheinander.
Aber man kann die Kern Anzahl auch in der XML Datei von Atlas ändern, die hat ja eine bereits fest vorgegebene XML, dort lässt sich die Anzahl auch ändern. Eventuell ist es effektiver nur 8 Kerne zuzuweisen, so daß er 4 WUs gleichzeitig auf 32 Kerne berechnen kann, ist wahrscheinlich effizienter.

--- Update ---

Also bei ihm führte ich die Veränderung für Atlas durch.
https://lhcathome.cern.ch/lhcathome...645884&offset=0&show_names=0&state=4&appid=14

Also die WUs diese Nacht und späten Abend sind zu berücksichtigen.

Zum Vergleich auf einem PC ohne Veränderung oder einfach auf die anderen Tage gucken.
https://lhcathome.cern.ch/lhcathome...646011&offset=0&show_names=0&state=1&appid=14

Also Atlas fertige WUs.

Aber eigentlich kommt der ja gar nicht durcheinander, je nach CPU Kern nutzung werden die Punkte entsprechend verteilt:

Code:
271616836 	138031099 	15 Apr 2020, 20:21:30 UTC 	16 Apr 2020, 1:19:45 UTC 	Fertig und Bestätigt 	11,049.18 	13,021.44 	2,501.05 	ATLAS Simulation v2.82 (native_mt)
x86_64-pc-linux-gnu
271616733 	138031021 	15 Apr 2020, 20:21:30 UTC 	16 Apr 2020, 1:19:45 UTC 	Fertig und Bestätigt 	317.76 	10,168.47 	71.32 	ATLAS Simulation v2.82 (native_mt)
x86_64-pc-linux-gnu
271612169 	138027546 	15 Apr 2020, 18:11:39 UTC 	16 Apr 2020, 4:35:24 UTC 	Fertig und Bestätigt 	1,082.73 	21,062.66 	232.27 	ATLAS Simulation v2.82 (native_mt)
x86_64-pc-linux-gnu
271612491 	138022598 	15 Apr 2020, 18:11:39 UTC 	16 Apr 2020, 4:35:24 UTC 	Fertig und Bestätigt 	1,121.40 	18,836.27 	239.46 	ATLAS Simulation v2.82 (native_mt)
x86_64-pc-linux-gnu
271603220 	138020469 	15 Apr 2020, 12:17:27 UTC 	15 Apr 2020, 20:21:30 UTC 	Fertig und Bestätigt 	2,215.84 	21,349.44 	451.15 	ATLAS Simulation v2.82 (native_mt)
x86_64-pc-linux-gnu
271603221 	138020470 	15 Apr 2020, 12:17:27 UTC 	16 Apr 2020, 1:19:45 UTC 	Fertig und Bestätigt 	1,138.67 	22,301.03 	252.77 	ATLAS Simulation v2.82 (native_mt)
x86_64-pc-linux-gnu
271603479 	138020644 	15 Apr 2020, 12:17:27 UTC 	15 Apr 2020, 21:23:19 UTC 	Fertig und Bestätigt 	2,073.77 	20,493.13 	427.51 	ATLAS Simulation v2.82 (native_mt)
x86_64-pc-linux-gnu
271603482 	138013308 	15 Apr 2020, 12:17:27 UTC 	15 Apr 2020, 16:07:48 UTC 	Fertig und Bestätigt 	2,288.89 	21,839.19 	477.93 	ATLAS Simulation v2.82 (native_mt)
x86_64-pc-linux-gnu

Oder wie seht ihr das?

Ach er scheint den XML Befehl doch ausgeführt zu haben, bei manchen stand noch inkorrekt, aber in der Log auf der Webseite ist es korrekt:
<core_client_version>7.9.3</core_client_version>
<![CDATA[
<stderr_txt>
05:48:41 (14227): wrapper (7.7.26015): starting
05:48:41 (14227): wrapper: running run_atlas (--nthreads 32)
[2020-04-16 05:48:41] Arguments: --nthreads 32
[2020-04-16 05:48:41] Threads: 32
[2020-04-16 05:48:41] Checking for CVMFS
[2020-04-16 05:48:41] Probing /cvmfs/atlas.cern.ch... OK
[2020-04-16 05:48:42] Probing /cvmfs/atlas-condb.cern.ch... OK
[2020-04-16 05:48:42] Probing /cvmfs/grid.cern.ch... OK
[2020-04-16 05:48:42] Probing /cvmfs/cernvm-prod.cern.ch... OK
[2020-04-16 05:48:42] Probing /cvmfs/sft.cern.ch... OK

Also ist für mich noch nicht ganz schlüssig, vielleicht hat der eine oder andere zusätzlich Zeit und Lust sich damit außeinander zu setzen, sobald ich von der Arbeit wieder nach Hause komme, gucke ich mir das erneut an. Es dauert halt immer ein wenig, bis das in den WUs wahrscheinlich richtig zu sehen ist. BOINC nutzt den Befehl nach dem erneuten XML einlesen sofort ein, aber die Veränderungen werden dennoch erst später angezeigt. Das was BOINC sagt/Anzeigt, muss also nicht unbedingt stimmen.

Ich habe Arbeitsbedingt leider nicht so viel Zeit momentan, aber
hier scheint der nur 1 CPU Kern benutzt zu haben;:
Code:
271616836 	138031099 	15 Apr 2020, 20:21:30 UTC 	16 Apr 2020, 1:19:45 UTC 	Fertig und Bestätigt 	11,049.18 	13,021.44 	2,501.05 	ATLAS Simulation v2.82 (native_mt)
x86_64-pc-linux-gnu

Hier sollen es 32 Kerne gewesen sein:
Code:
271612169 	138027546 	15 Apr 2020, 18:11:39 UTC 	16 Apr 2020, 4:35:24 UTC 	Fertig und Bestätigt 	1,082.73 	21,062.66 	232.27 	ATLAS Simulation v2.82 (native_mt)
x86_64-pc-linux-gnu
271612491 	138022598 	15 Apr 2020, 18:11:39 UTC 	16 Apr 2020, 4:35:24 UTC 	Fertig und Bestätigt 	1,121.40 	18,836.27 	239.46 	ATLAS Simulation v2.82 (native_mt)
x86_64-pc-linux-gnu

Hier sind es regulär 12 Kerne
Code:
271603062 	138020318 	15 Apr 2020, 12:17:27 UTC 	15 Apr 2020, 20:21:30 UTC 	Fertig und Bestätigt 	2,066.97 	19,026.60 	420.48 	ATLAS Simulation v2.82 (native_mt)
x86_64-pc-linux-gnu
271602811 	138020083 	15 Apr 2020, 12:17:27 UTC 	15 Apr 2020, 19:15:50 UTC 	Fertig und Bestätigt 	2,506.04 	21,250.52 	522.17 	ATLAS Simulation v2.82 (native_mt)
x86_64-pc-linux-gnu

Aber wie ihr seht, wird bei mehr Kerne weniger Punkte vergeben, als bei weniger Kerne, also da wird einem nichts geschenkt. Scheinbar vergibt er die Punkte ausschließlich nach der Laufzeit und nicht CPU Zeit. Klar, bei mehr CPU Kerne ist die Laufzeit kürzer, aber da werden die Punkte entsprechend angepasst.

--- Update ---

Hierdran sehe ich, dass die Punktevergabe im vergleich in Theory eher unteridisch sind:
Code:
271609119 	137567521 	15 Apr 2020, 12:17:26 UTC 	16 Apr 2020, 5:50:24 UTC 	Fertig und Bestätigt 	2,437.22 	2,176.59 	33.23 	Theory Simulation v300.05 (native_theory)
x86_64-pc-linux-gnu
271592243 	137594895 	15 Apr 2020, 3:31:28 UTC 	15 Apr 2020, 18:11:37 UTC 	Fertig und Bestätigt 	11,962.47 	11,962.47 	163.11 	Theory Simulation v300.05 (native_theory)
x86_64-pc-linux-gnu

--- Update ---

Bei Atlas ist der in den ersten Minuten mit dem Checken des Computers beschäftigt und fängt erst in den späteren Minuten mit der eigentlichen Aufgabe an, so das die Zeiten deswegen so unverhältnissmäßig ausfallen und die mehr an CPU Kerne werden alle auf einmal ebenfalls erst viel später dazugeschaltet. Das sehe ich ja in Linux mit dem Befehl "top"

--- Update ---

Ich habe die Theory WUs nun abgewählt, die bringen ja nun wirklich nichts! Da diese zu Experimentell sind und bringen kaum Punkte.
 
Zuletzt bearbeitet:
Versucht doch mal im LHC Projekt Verzeichnis folgende Datei app_config.xml zu erstellen, mit diesem Inhalt:

Code:
<app_config>
<app_version>
<app_name>ATLAS</app_name>
<platform>x86_64-pc-linux-gnu</platform>
<avg_ncpus>32.000000</avg_ncpus>
<plan_class>native_mt</plan_class>
<cmdline>--nthreads 32</cmdline>
<dont_throttle/>
<is_wrapper/>
<needs_network/>
</app_version>
</app_config>

Die Zeilen:
<avg_ncpus>32.000000</avg_ncpus>
<cmdline>--nthreads 32</cmdline>
müsst Ihr dann entsprechend anpassen, zum Beispiel für 8 oder 4 CPU Kerne, danach sollte es gehen. Ich habe das getestet und bei mir wird das dann entsprechend umgesetzt.

Bei mir befindet sich das Verzeichnis unter Linux Mint in: /var/lib/boinc-client/projects/lhcathome.cern.ch_lhcathome/

Ach so, wenn Ihr natürlich Windows benutzt, muss da oben natürlich auch Windows stehen vermute ich mal. Ich weiß ehrlich gesagt gar nicht ob da überhaupt etwas korrektes stehen muss. Und ich weiß auch nicht, was alle Zeilen davon bedeuten, dass habe ich noch nicht gegooglet. :D

Die wichtigsten davon habe ich ja herausgeschrieben, vielleicht reichen die ja sogar schon aus. BOINC verlangt auf jeden Fall <app_config></app_config> am anfang und am ende der Datei, damit BOINC weiß, dass sich die XML Datei auf ein Projekt bezieht.
 
Zuletzt bearbeitet:
Man sollte vielleicht dazu schreiben das es eher um die Anzahl der Threads geht.
Ein Ryzen 9 3950X hat schließlich auch nicht 32 Kerne sondern "nur" 16 + die zusätzlichen 16 Threads durch SMT. ;)
 
Ich meinte das auch so!:D Du hast es ja jetzt gut ergänzt. ;)
 
Einigen wir uns auf 32 logische Kerne. :D
 
Da wollte ich die nativen WUs auch beim neuen Ripper einrichten und dann heißt es Pustekuchen weil das Installationsscript bei der Ubuntu 20.04 Installation streikt und auf Ubuntu 18.04 verweist. *admin*
 
Da er reguläre Installationsablauf für die Unterstützung der nativen WUs bei Ubuntu 20.04 LTS beim Punkt "cvmfs" wegen einer fehlenden, passenden Version streikt habe den bei mir funktionierenden Ablauf mal etwas erweitert.

wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb
sudo dpkg -i cvmfs-release-latest_all.deb
rm -f cvmfs-release-latest_all.deb
sudo apt-get update

cvmfs (Client) manuell von http://cernvm.cern.ch/portal/filesystem/downloads installiert

sudo apt-get install cvmfs cvmfs-config-default
sudo cvmfs_config setup
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local
sudo cvmfs_config reload
sudo sed -i '$ a\kernel.unprivileged_userns_clone = 1' /etc/sysctl.conf
sudo sysctl -p
sudo wget http://lhcathome.cern.ch/lhcathome/download/create-boinc-cgroup -O /sbin/create-boinc-cgroup
sudo wget http://lhcathome.cern.ch/lhcathome/download/boinc-client.service -O /etc/systemd/system/boinc-client.service
sudo systemctl daemon-reload
sudo systemctl restart boinc-client

Die ersten nativen ATLAS WUs sind bei mir schon durch. :D
 
Danke für die Vorlage. Damit bekomme ich Dödel auch LHC zum arbeiten.
 
Da er reguläre Installationsablauf für die Unterstützung der nativen WUs bei Ubuntu 20.04 LTS beim Punkt "cvmfs" wegen einer fehlenden, passenden Version streikt habe den bei mir funktionierenden Ablauf mal etwas erweitert.



Die ersten nativen ATLAS WUs sind bei mir schon durch. :D

Hat das eigentlich schon jemand mit der aktuellen 2004 unter Win 10 versucht (Stichwort WSL)?
Dann bräuchte man endlich kein (natives) Linux mehr dafür...
Wenn ich dafür mal zeit hätte...
 
Wie am Output des Clusters zu ersehen ist, war das leider mal wieder ein Schuß in den Ofen.

Kaum bin ich von den PCs weggegangen, haben sie die Arbeit eingestellt.

@koschi
Wenn Du Lust und Zeit hast, gebe ich dem Projekt noch eine Chance?
 
Bei mir läuft das betreffende System bisher einwandfrei. Um welches Linux ging es bei dir?
 
Tach :-) Nativ hab ich mit LHC noch nicht gearbeitet, können wir man mal probieren ;-)
 
Danke. Rest per PN.

Die Rechner mit Nvidia-Karte haben Ubuntu 18.04,
und die Rechner mit Ati-Karte haben Ubuntu 20.04.
 
Zuletzt bearbeitet:
@sompe du hattest ATLAS native auf Ubuntu 20.04 zum laufen bekommen?
Ich hatte mal irgendwie wieder nur die Hälfte hier gelesen, den ganzen Ramsch installiert, Theory native liefen auch durch.
ATLAS WUs gingen aber auf die Bretter. Innerhalb des Singularity Containers konnte /var nicht remounted werden, dann folgte der Abbruch.
Hab dann Singularity selbst kompiliert, damit liefen die WUs.
Doppelposting wurde automatisch zusammengeführt:

Die ersten native ATLAS sind durch, die Kreditvergabe ist aber etwas merkwürdig:

Code:
289401406    148485607    24 Nov 2020, 19:38:54 UTC    24 Nov 2020, 22:22:39 UTC    Completed and validated    8,172.70    30,803.81    295.77    ATLAS Simulation v2.82 (native_mt)
289401065    148493098    24 Nov 2020, 19:38:54 UTC    24 Nov 2020, 21:59:35 UTC    Completed and validated    8,338.15    30,663.71    299.23    ATLAS Simulation v2.82 (native_mt)
289391975    148476373    24 Nov 2020, 13:53:34 UTC    24 Nov 2020, 20:06:28 UTC    Completed and validated    10,570.47    39,775.33    637.89    ATLAS Simulation v2.00 (vbox64_mt_mcore_atlas)
289393812    148488308    24 Nov 2020, 13:53:34 UTC    24 Nov 2020, 20:04:10 UTC    Completed and validated    10,583.44    39,492.31    636.30    ATLAS Simulation v2.00 (vbox64_mt_mcore_atlas)
289393834    148484413    24 Nov 2020, 13:53:34 UTC    24 Nov 2020, 17:10:14 UTC    Completed and validated    11,374.49    41,569.05    672.26    ATLAS Simulation v2.00 (vbox64_mt_mcore_atlas)
289393328    148479218    24 Nov 2020, 13:53:34 UTC    24 Nov 2020, 17:12:42 UTC    Completed and validated    11,524.31    41,886.03    679.52    ATLAS Simulation v2.00 (vbox64_mt_mcore_atlas)
289393849    148488327    24 Nov 2020, 13:53:34 UTC    24 Nov 2020, 17:02:52 UTC    Completed and validated    10,987.06    39,816.94    683.23    ATLAS Simulation v2.00 (vbox64_mt_mcore_atlas)
289393338    148480835    24 Nov 2020, 13:53:34 UTC    24 Nov 2020, 17:07:43 UTC    Completed and validated    11,228.99    41,153.30    698.24    ATLAS Simulation v2.00 (vbox64_mt_mcore_atlas)

Native wie vbox jeweils mit 4 Threads, native auch 25% schneller als vbox, bekommt aber nur die Hälfte der Credit. Das ist ja dann nicht so ganz attraktiv...
Wenn das so bleibt, crunche ich eben per virtualbox. Hab heute 64GB Arbeitsspeicher bestellt, das wird schon klappen :cool:
 
Zuletzt bearbeitet:
@koschi
Das ist schon ein Weilchen her und ich habe sie auch schon lange nicht mehr gerechnet aber der Knackpunkt war wohl das man das erforderliche Dateisystem extra runterladen und installieren mußte aber das hattest du ja inzwischen selbst rausgefunden. :D

PS:
Bei mir liefen wegen der Stabilitätsprobleme der Theorie WUs praktisch nur die ATHLAS WUs.
 
Neues Cern FS runterladen (enthält dann womöglich neues Singularity) klingt entspannter als selbst kompilieren.
Hatte den Singularity Hinweis in deren Forum gefunden zu exakt meiner Fehlermeldung.

Ärgert mich mit den Credits für native irgendwie...
 
Schade ist es definitiv allerdings bevorzuge ich sie dennoch da die nativen ATHLAS WUs erheblich weniger Speicher benötigen und ich kein anderes Projekt habe das so viel Speicher frißt. Gerade bei den großen Multicores wird das ein erheblicher Kostenfaktor.
Doppelposting wurde automatisch zusammengeführt:

Ach und die Variante mit dem Runterladen und installieren hat noch einen weiteren Vorteil, sie wird bei meiner Ubuntu Installation vom Updater aktuell gehalten.
 
Da die letzten SCC bald durch sind, und ich mir noch nicht überlegt habe, bei welchem Projekt ich weiter mache,
habe ich mich für LHC entschieden.
koschi, kannst Du bitte das dann bei den Cluster-Rechnern auch einrichten?
 
Ist da eigentlich irgendwann mal wieder mit Sixtracks zu rechnen? (Wortspiel ? )

Die Meldung "VirtualBox is not installed" geht mir langsam echt auf's Schwein ?

Auf VM hab ich beim verteilten Rechnen echt keine Lust.

Gruß
Ritschie
 
Zurück
Oben Unten