Wintergrillen, Planet 3DNow! & Rechenkraft.net: AI für DC gemeinsam ausfahren?

[Oi!Olli]

Warum? Für mich sieht das eher nach viel Last für Storage/Cache (RAM) aus - die CPU scheint mir kein Bottleneck zu sein...

Es geht eher darum, wenn die auf die Festplatten zugreifen. Parallele Zugriffe und HDD vertragen sich so gut wie Hochelfen und Drow.

 

[Maverick-F1]

Es geht eher darum, wenn die auf die Festplatten zugreifen. Parallele Zugriffe und HDD vertragen sich so gut wie Hochelfen und Drow.

HDDs sind bei solchen IOPS-Lasten direkt raus (auch wenn sich da in größeren RAID-Verbünden mit guten Controllern - Cache!! - noch estaunlich viel abfangen lässt)...

 

[Maverick-F1]

Wenn da mehrere (neue) BOINC Projekte draufkommen, dann lassen sich die IO Anforderungen kaum abschätzen. Glaube mit solider SSD Write Performance kommt man da eine ganze Zeit gut hin, viele Projekte liefen und laufen mit weniger auch außerhalb des Penta sehr gut. Auslastung und Belegung sollte gemonitored werden, könnte man zB. mit Nagios und dessen Nachfahren machen und dann per Mail oder Telegramm-Bot alamieren.

Create a BOINC server (cookbook)

Open-source software for volunteer computing and grid computing. - BOINC/boinc

github.com

PHP, MySQL und Apache plus halt die BOINC Server Binaries, so abgefahren kann das nicht sein :-D

Genau - Monitoring ist hier essenziell um die Lasten besser verstehen und einschätzen zu können!
Diese Daten sollten idealerweise auch möglichst lange aufbewahrt werden, um auch langfristige Trends erkennen zu können und ggf. rechtzeitige Reaktionen darauf zu veranlassen.
Backup-Lasten sollten dabei auch nicht vergessen werden - wobei es da auch ein bisschen drauf ankommt,wie die Sicherungen stattfinden (Snap-Shotting, Sicherung direkt über DB-Agent, Häufigkeit und Umfang, etc.pp.).

 

[koschi]

Schreibzugriffe auf die DB bei einer Boinc wu im Geradeausfall:
1 x WU in DB anlegen
2 x Result in DB anlegen bei quorum=2
2 x vermerken, dass Result verschickt wurde
2 x vermerken, dass Result zurück kam
2 x vermerken, dass Result validiert wurde
2 x Result löschen
1 x wu löschen
================================
12 DB Updates

Glaub da ist aber noch mehr.

danke dir!
"letztmaliger Kontakt mit Server" dürfte auch mit jedem Scheduler Aufruf aktualisiert werden. Bei aktiviertem return_results_immediately ist das pro WU dann auch min. ein IO write.

 

[Crashtest]

Habt ihr euch das überhaupt richtig überlegt? Mehrere Boinc Projekte auf einem Server? Wenn an PentaDings denke befürchte ich schlimmes!

Problemscenario Yoyo@home beim Pentadings - Serverdestruction Tour
Yoyo hat ja bekanntermaßen einige Probleme wenn man mit einmal ein paar Hundert Wuzen hochlädt. Was passiert wohl wenn Yoyo beim PentaDings entbunkert wird...

Ein paar hundert tausend Wuzen innerhalb von ein paar Minuten

Aber der Server darf ja nicht "abkacken" nur weil 1 Boinc Projekt etwas last hat - es sollen ja auch noch ein paar andere Boinc Projekte laufen !?!

Evtl. müsste man über Kioxia CM oder CD SSDs bzw was vergleichbares nachdenken und dann wirds teuer


Eine Überlegung:

4 fette Enterprise SSDs
+
8 20TB-SATA HDDs (Langszeitspeicher)

wären aber sicherlich rd 6000 Euro nur für Festspeicher

PS das geht nicht mit LTE-Modem

 

[Maverick-F1]

Je nachdem wie das Lastprofil ist, könnte man z.B. auf mehrere Raid-Volumes setzen, sodass ein "Overload-Projekt" nicht die anderen runterzieht - und/oder meherere VMs/Container, falls CPU/RAM absehbar ein Bottleneck werden können. Aber das hängt halt sehr von den individuellen Anforderungen der Projekte ab.
Und die Internet-Anbindung sollte natürlich möglichst FETT sein (und nicht Volumen-abgerechnet)...

 

[Hammerhead Shark]

Die Internet-Anbindung sollte nicht nur FETT, sondern auch symetrisch sein.

Man könnte ja auch mal bei Kioxia und Co. anfragen, ob die nicht eventuell das Projekt sponsorn wollen...

 

[Crashtest]

Ein Projekt was bestimmt gut drauf laufen könnte wär radac

 

[thorsam]

Internetanbindung ist im Augenblick mein Hauptproblem. Damit steht und fällt das Ganze.
Ob Rechenkraft.net e.V. die Strom- und Internet-Kosten aus ihren Mitgliedsbeiträgen stemmen kann, war jetzt für mich nicht heraus hörbar.

Danke Crashtest für die Überlegung hinsichtlich der Massenspeicher. Muß ja nicht alles von Anfang an vorhanden sein.
Das können wir doch sicherlich nach tatsächlichem Bedarf, Stück um Stück erweitern.

Wenn ich aus dem Urlaub zurück bin, werde ich mich mal erkundigen, was über das Glasfaserkabel, dass bis in mein Büro reingeht, möglich ist bzw. kostet.

 

[indiana_74]

Je nachdem wie das Lastprofil ist, könnte man z.B. auf mehrere Raid-Volumes setzen, sodass ein "Overload-Projekt" nicht die anderen runterzieht - und/oder meherere VMs/Container, falls CPU/RAM absehbar ein Bottleneck werden können. Aber das hängt halt sehr von den individuellen Anforderungen der Projekte ab.
Und die Internet-Anbindung sollte natürlich möglichst FETT sein (und nicht Volumen-abgerechnet)...

Also ich hab jetzt nur quergelesen und auch noch nie einen BOINC-Server aufgesetzt. Aber wenn die Installation des Servers selbst nicht die große Herausforderung sein sollte, dann wäre der Ansatz die einzelnen Projekte in VMs zu packen sicher eine gute Wahl.
Die Hardware-Ressourcen lassen sich dann flexibel anpassen und wenn wirklich mal bei so`nem Penta-Dings ein Projekt den Server killt, dann laufen die anderen problemlos weiter.
Mit Proxmox gäbe es da auch eine stresserprobte Opensource Variante.

 

[thorsam]

@Hammoverhead Shark
Ab wann fängt bei dir "fett" an?

Im Augenblick bin ich ein bißchen am verzweifeln, weil jeden den ich von der Telekom kontaktiere, erzählt mir etwas Anderes zum Thema Glasfaser-SDSL.
Telekom aus dem Grund, weil die mir für Umme den Glasfaser-Anschluß bis in die Wohnung gelegt haben.

Auf Grund dessen, dass ich hier in einem reinen Wohngebiet wohne, ist bei Download 1.000 Mbit/s und Upload 500 Mbit/s Ende. Option würde noch auf 2.000 Mbit/s up und 1.000 MBit/s down bestehen.
Der Geschäftskundenbereich würde mir auch Syncron 2 Gbit/s hinlegen, nur würde das den Kostenrahmen total sprengen.

@indiana_74
Schön das Du noch dabei bist.

 

[NEO83]

Aber sind 1000/500 bei normalem betrieb ausserhalb des Penta denn ein Problem? Einziges Manko könnte dort sein das die Saugnappel bei der Telekom bei den Endkundenanschlüssen selbst bei Glasfaser einen Sinnlosen 24h reconnect machen ... kp ob man das durch Zahlung von Finanzmitteln abstellen kann oder nicht ... oder du musst für die 2-3 Minuten jeden Tag halt nen Failover haben
Ich habe das Reconnect bei mir einfach mitten in die Nacht gelegt aber das ist bei einem Server der ja von überall aus der Welt erreicht werden soll wohl eher keine Option

 

[sompe]

Zumindest bei meinem 100er Anschluss ist das nicht der Fall.

 

[thorsam]

Bei dem Tarif gibt es eine feste IP-Adresse dazu.
Wird dann trotzdem ein Zwangsreconnect gemacht?
Wie gesagt, ich habe einige Mitarbeiter bei der Telekom durch, und jeder glänzte mit Unwissenheit.
Meine Onlinezähler-Statistik der Fritzbox sieht genauso aus.

 

[NEO83]

@sompe
Bist du auch bei der Telekom? Wenn ja muss ich da wohl mal anrufen ... wenn man das aber google fragt dann steht das dort auch das die eine Zwangstrennung haben
Dachte in Zeiten von GF wäre dieser Zirkus vorbei aber scheinbar nicht



Grün ist GF aktiv und Blau ist der Failover vom Kabelanschluss aktiv ... immer gleiche Uhrzeit ...

 

[sompe]

Bei meinem Haus bei Berlin, welches ich mir aber noch Einzugsbereit baue.
Da wurde in der Zeit Glasfaser verlegt und ich habe es gleich mit anschließen lassen. Über ne Glasfaser kann eben auch kein Blitz ins Modem kriechen.
Es ist übrigens ne Fritzbox 7590 AX mit einem Glasfasermodem 2 der Telekom am WAN Anschluss.

Edit:
Falls du auch ne Fritte hast, wie sieht es bei deinen Verbindungseinstellungen aus? (Internet -> Zugangsdaten) Nicht das der Reconnect durch die Fritte ausgelöst wird.

So schaut es jedenfalls bei mir aus:

 

[NEO83]

Habe scheinbar herausgefunden warum das bei mir so ist, ich nutze die DreamMachine und die verbindet sich per PPoE und dadurch entsteht wohl der 24h reconnect ...
Ein extra Modem vorschalten das wieder Strom braucht sehe ich allerdings auch irgendwie nicht nur um einer Zwangstrennung vorzubeugen die mich mitten in der Nacht eigentlich nicht wirklich stört ... wenn das nervig Log nicht wäre das mir das immer mitteilt

 

[sompe]

Irgendwie ergibt die Antwort so für mich keinen Sinn.
Zu PPoE fand ich nichts, mit PPPoE wählt man sich direkt über ein Modem ein und will man kein separates Modem nutzen bliebe nur der Weg über einen Router mit integrierten Modem. Allerdings habe ich auch keine Ahnungwie das mit so einer DreamMachine läuft.

 

[Maverick-F1]

Hier am Telekom 150MBit/s GF-Anschluss hatte ich seit ~ 4 Wochen keinen Reconnect mehr - da war der letzte Power-Cycle der FB...

 

[NEO83]

Ich habe in der DreamMachine quasi eine Digitalisierungsbox als SFP+ einschub drin so das ich nicht noch die Box extra brauche
Die Verbindet sich halt über PPoE ... man kann angeblich auch auf die Weboberfläche zugreifen ... allerdings habe ich das noch nicht hinbekommen

Telekom Zyxel SFP Mini-GBIC-Transceiver-Modul 40823569

Telekom Zyxel SFP Mini-GBIC-Transceiver-Modul, 40823569, EAN 4718937619382 günstig - ab 0 € portofrei kaufen

www.jacob.de

 

[Michael H.W. Weber]

Ob Rechenkraft.net e.V. die Strom- und Internet-Kosten aus ihren Mitgliedsbeiträgen stemmen kann, war jetzt für mich nicht heraus hörbar.

Das hängt natürlich immer von den konkreten Zahlen ab.

Leider hat der Verein bezügl. Mitgliederzahlen zur Coronazeit ordentlich Federn gelassen: Wir haben unser verfügbares Jahresbudget bestimmt um ein Drittel reduziert und kommen allmählich in einen Bereich, wo wir den Konsolidierungsrotstift ansetzen müssen. Auch aus diesem Grund (aber natürlich nicht primär deswegen) probieren wir seit letztem Jahr ein Genehmigungsverfahren zu einer Raummitnutzung an einer Marburger Gesamtschule zu realisieren. Das würde uns ermöglichen, die aktuell ca. 1700,- € Jahresmietkosten für unseren tecSPACE einzusparen und gleichzeitig unsere Technikaffinität inkl. BOINC-Projekte an junge Leute heranzutragen.

Wir haben am vergangenen Wochenende ja beispielsweise auch auf den Chemnitzer LinuxTagen wieder einen Stand mit 6 Vereinsmitgliedern betrieben (Teaservideo zur präsentierten Eigenentwicklung): Auch da fallen dann Unterbringungskosten, usw. an - leider führen die gut besuchten Stände aber nicht wirklich zu einem Mitgliederzustrom. Bislang.
Den Leuten scheint irgendwie nicht klar zu sein, dass solche Hardware zu neuen Entwicklungszwecken immer erst auch einmal eingekauft werden muss, dass wir Festkosten für unseren Foren- & BOINC-Projektserverbetrieb haben (die bei uns zudem aus gutem Grund physikalisch getrennt sind), usw.

Michael.

 

[Michael H.W. Weber]

Das hängt natürlich immer von den konkreten Zahlen ab.

Leider hat der Verein bezügl. Mitgliederzahlen zur Coronazeit ordentlich Federn gelassen: Wir haben unser verfügbares Jahresbudget bestimmt um ein Drittel reduziert und kommen allmählich in einen Bereich, wo wir den Konsolidierungsrotstift ansetzen müssen. Auch aus diesem Grund (aber natürlich nicht primär deswegen) probieren wir seit letztem Jahr ein Genehmigungsverfahren zu einer Raummitnutzung an einer Marburger Gesamtschule zu realisieren. Das würde uns ermöglichen, die aktuell ca. 1700,- € Jahresmietkosten für unseren tecSPACE einzusparen und gleichzeitig unsere Technikaffinität inkl. BOINC-Projekte an junge Leute heranzutragen.

Randbemerkung in dieser Sache: Unser Raumprojekt wurde genehmigt. Jetzt werden wir ca. 1 Jahr lang den alten Raum noch behalten, um zu schauen, wie es in der Praxis mit dem Raum an der Schule läuft - danach könnten dann deutliche Kosteneinsparungen eintreten.
Bin ganz happy darüber...

Michael.

 

[thorsam]

Nur für mich Analphabeten:
Der Forenserverbetrieb für RKN e.V., Yoyo und Yafu läuft über tecSPACE. Der BOINC-Serverbetrieb läuft wie?

 

[gemini8]

RNA-World läuft bei Hetzner, glaube yoyo ebenfalls.
yafu läuft bei yoyo zu Hause in einer VM.

 

[thorsam]

Schöne Grüße von meinem Telekomunikationsanbieter.
Der Anschluß wird zum 01.08.2025 umgestellt, und wird im ersten Schritt 250MB/s und eine feste IP haben.
Dies läßt läßt sich auf bis zu 2,5 GB/s und X feste IP-Adresse aufstocken.
Als Server wird erstmal ein 2x 7V12 mit 1 TB RAM dienen. Wie wir das mit den Festplatten und VMs machen,
diskutieren wir beim Grillen in Dresden.

Auf Grund der langen Anreise, kommen Herby44 und Stony666 schon einen Tag eher nach Hannover.
Gezahlt wird die Unterkunft vom P3D-Cluster. Zusammen fahren wir dann mit einem 9-Sitzer nach Dresden.
Wer noch an dieser Variente interessiert ist, bitte per PN bei mir melden.
Zum abendlichen Essen nehme ich mal an, wird auch gemini8 von RKN dazustoßen.