Wintergrillen, Planet 3DNow! & Rechenkraft.net: AI für DC gemeinsam ausfahren?

Michael H.W. Weber

Commander
★ Themenstarter ★
Mitglied seit
22.08.2007
Beiträge
179
Renomée
45
Nachdem ich seit gestern wieder hier an meinen Forenaccount rankomme - mein Dank an Thorsam & einen Admin - habe ich inzwischen einige Stunden mit dem Lesen eurer Forenbeiträge zum Thema AI verbracht.
Spätestens seit 2021 (also seit ich selbst mit "AI" Software arbeite) warte ich ja darauf, dass irgendein CPU-Hersteller endlich anfängt, "AI"-spezialisierte Bereiche in seine Chips zu integrieren, um dem NVIDIA-Monopolisten mit seinen Mondpreisen endlich das Wasser abzugraben und Technik wieder erschwinglich zu machen - bislang läuft alles Relevante in diesem Bereich (LifeSciences) ja auf GraKas...
Leider ist es auch Ende 2024 noch so, dass man froh sein kann, irgendwo mal lächerliche 50 TOPS in non-NVIDA/non-GPU Devices vorzufinden. Die RTX 4090-Preise sind im letzten Jahr nochmal dramatisch gestiegen und als jemand, der noch nie etwas anderes als AMD-GraKas gekauft hat, wird man nun wohl gezwungen, dies doch zu tun. Es rollen sich mir die Fußnägel hoch angesichts dieser Perspektive...

Kürzlich fand ich mit dem HAILO-8 eine 26 TOPS M.2 Karte, die man in ein Raspi-5 HAT stopfen kann - von einem israelischen Militär-/Überwachungsspezialisten, der die Verfügbarkeit laut Aussagen eines damit arbeitenden Hardwareentwicklers angeblich zwecks Misbrauchsverhinderung im Edge-Segment knapp hält. 😂
Man fragt sich, ob die anderen Hersteller alle schlafen?

Was hat das mit DC zu tun?
Nun, dieses Jahr gab es einen Nobelpreis für u.a. David Baker - also für all das, was mit Rosetta@home und auch unserer Hilfe in den letzten >10 Jahren erarbeitet werden konnte und inzwischen in "AI", bzw. DeepLearning und große Sprachmodelle und deren Anwendungen mündete.
Der Punkt: Nicht etwa in der "Unterhaltungs"elektronik fand die eigentlich relevante Revolution statt, sondern im LifeScience-/Pharma-Bereich. Und das wird aus meiner Sicht auch erstmal so bleiben.

Ich hatte auf dem Sommergrillen in Dresden schon angedeutet und würde gern erneut anregen, dass wir unsere DC-Team-Kräfte bündeln und eine Reihe von AI-Ansätzen - zunächst testweise in Form einer App im Rahmen des schon bestehenden RNA World Projekts, später in einem neuen DC-Projekt - in die DC-Welt bringen, um diese niederschwellig für Hochdurchsatzanwendungen nebst Job-Submission-Interfaces (so, wie wir sie schon lange in RNA World realisiert hatten) verfügbar zu machen.

Mir scheint, wir finden hier bei euch noch Fähigkeiten, die bei uns inzwischen leider zunehmend rarer werden und umgekehrt haben wir Kenntnisse und Möglichkeiten im LifeScience-Bereich, die Voraussetzung für AI-basierte IT-Awendungen sind. Konkret: Es liegen hier bei mir bestimmt ein Dutzend OpenSource Apps herum, die in BOINC integriert werden wollen und wenn wir nach ca. 20 Jahren DC-Engagement nicht tatenlos zusehen möchten, wie BOINC endgültig stirbt, könnten wir uns dazu durchringen, in Eigenregie neue Möglichkeiten an den Start zu bringen. Diesmal im Rahmen eines Gesamtkonzepts, das deutlich über ein Einzelprojekt hinaus ginge. Details dazu würde ich gern in Dresden "beim Bierchen" besprechen.

Am Rande: Ein besonderes Anliegen wäre es mir zu schauen, ob wir vielleicht über ROCm/zluda weg von NVIDIA/CUDA hin zum Einsatz von AMD GPUs kommen können? Das müßte doch eure Kerninteressen ansprechen? 😎
Dass wir im Bereich DC konkretes liefern können, das auch darüber hinaus geht, was im Profibereich generiert wird (z.B. im "Elfenbeinturm Uni" - wo ich aktuell ja auch mal wieder tätig bin...), haben wir mit früheren Projekten gezeigt - Stichwort RNA World.
Daran würden wir gern anknüpfen und diesmal am liebsten gemeinsam mit euch.

Michael.
 
So - vielen Dank an alle, die sich am vergangenen Samstag zum P3D-Wintergrillen nach Dresden aufgemacht haben und vor allem auch an Thorsam, der wieder bestens organisierte. Es hat - genau wie im letzten Sommer - wieder riesig Spaß mit euch gemacht und ich hoffe, dass wir das diesen Sommer fortsetzen können.
Auch vom Rechenkraft.net Team waren fünf Leute gekommen und es sieht nun tatsächlich so aus, als könnten wir demnächst das RNA World BOINC-Projekt teamübergreifend weiterentwickeln, nachdem sich auch von eurem Team ein paar Leute bereit erklärt haben, zu helfen.
Falls weitere Leute interessiert sind, bitte einfach eine PN an mich oder bei uns drüben im Forum mal eine Nachricht posten...

Michael.
 
Von meiner Seite wird das Unterfangen mit Hardware unterstützt.
Zusammen mit gemini8, und Spezis von seiner Seite, werden wir die Anforderungen an die Hardware ausarbeiten.
Der vollständige Rechner wird dann in Form einer 1-Euro-Spende an den Rechnkraft.net e.V. gehen.
Der Rechnerstandort wird erstmal bei mir in Hannover bleiben. Das hängt aber vom täglichen/wöchentlichem/monatlichem Datenverkehr ab.

Kleiner Excurse: Ich habe den Januar über 5 Rechner bei PrimeGrid für TAAT rechnen lassen.
Das hat einen Trafik von 1,5 TB erzeugt. Und das über LTE. Keine Ahnung wann mich Freenet rausschmeißt. :cool:
Per Festnetz geht es leider nicht, dann gibt es Ärger mit der IT-Abteilung, wenn soviel Trafic über einen Port läuft.

Vorhanden und Fix an Hardware ist bis jetzt mein Lieblingsgehäuse Nanoxia Silence Deep Silence 5 Rev. B.
Serverboard von ASRock Rack Rome2D16-2T
2x AMD EPYC 7773X. Hatte ich mir mal zugelegt wegen der 2x 768 MiB L3-Cache.
16x 32 GB ECC Samsung 3200 MHz RAM. Wenn es nicht reicht, rüsten wir auf 1 TB oder 2 TB auf.
2x Noctua NH-U14S SP3
10x Noctua NF-A14 industrielPPC-3000 PWM. Irgendwo muß ja der Luftfluß herkommen.
Im Augenblick ist ein be quit! Dark Power Pro 12 1200W ATX 2.51 verbaut.

Jetzt muß halt noch entschieden werden, welche Technik und welche Festplattengrößen wir nehmen,
bzw. wieviele Festplatten rein sollen.
 
Zuletzt bearbeitet:
Wow, das ist der Hammer.
 
@thorsam Ich sag immer noch normale 2,5 Zoll SSD im Raid 5 sollten vollkommen ausreichen um genug Daten für alle Prozessoren zu liefern.

Alternativ SAS-SSD die liefern knapp die doppelte Bandbreite.

Mit Nvme wirds knapp das Board hat ja nur 2 Stück.
 
@thorsam Ich sag immer noch normale 2,5 Zoll SSD im Raid 5 sollten vollkommen ausreichen um genug Daten für alle Prozessoren zu liefern.

Alternativ SAS-SSD die liefern knapp die doppelte Bandbreite.

Mit Nvme wirds knapp das Board hat ja nur 2 Stück.

Das Board hat genug PCIe Slots die man auf 4x4 stellen kann *baeh*
dazu kommen:
2 low-profile SlimSAS (PCIe4.0 x8 or 8 SATA 6Gb/s)
2 Oculink (PCIe4.0 x4 or 4 SATA 6Gb/s)
 
@thorsam

Wäre das hier
nicht ne gute "Ergänzung" für das Projekt? 135 Euro

Einfacher Server der viele GPUs schlucken kann inkl. Fernwartung?
Sind zwar nur per PCIe x1 angebunden aber kann je nach Model auch reichen

Daten siehe
 
Zuletzt bearbeitet:
Das ich in Sachen IT eine Null bin, hatte ich ja schon an der einen und anderen Stelle, erzählt. :cool:
Darum meine laienhafte Ausdrucksweise, wenn es ans Eingemachte geht.

Leider wird in absehbarer Zeit jemand unsere Welt verlassen, dessen Arbeit wir weiterführen werden.

Weiterer Hintergrund ist, dass das Projekt Yafu zur Zeit auf einem Notebook läuft.

Das Projekt Yoyo läuft auf einem Home-PC.

Das Rechenkraft.net-Forum wird dann auch auf diesen Server umziehen.

Was wir uns für Zukünftig aber auf jeden Fall offen halten wollen ist die Möglichkeit, jederzeit die Festplattenmenge stufenweise zu erweitern. Der Server soll also nicht zum rechnen sein, sondern um jede Menge neue BOINC-Projekte auf diesem Server hosten zu können. Konkrete Projekte gibt es. Die dafür notwendige Men-Power hat sich seit unserem letzten Grillabend erweitert. Natürlich ist auf Rechenkraftnet-Seite die Hauptmenge vorhanden.

Nichts desto trotz würde ich gerne die Frage an unsere aktiven User im "Software und Treiber" Forum ansprechen, ob sie nicht im Sommer Lust hätten, zum Grillen in Dresden zu kommen, um sich einen Eindruck zu verschaffen.
Dabei denke ich z.B. an @tspoon. *bye2*

Zurück zu den Festplattenanschlußmöglichkeiten des Boards.

Wie Crashtest schon schreibt, haben wir die Möglichkeit über die beiden SlimSAS-Anschlüsse 8x 2,5" oder 3,5" Platten anzuschließen. Problem: bei 2,4 TB in der HDD-Variante ist pro Platte Schluß.

Zusätzlich besteht die Möglichkeit per Icy Dock EspressSlot Slide MB204MP-1B weitere Festplatte anzubinden.
Frage: Sind NVMe-SSMs/SSDs für unser Vorhaben geeignet bzw. ausgelegt.
 
Das Board hat genug PCIe Slots die man auf 4x4 stellen kann *baeh*
dazu kommen:
2 low-profile SlimSAS (PCIe4.0 x8 or 8 SATA 6Gb/s)
2 Oculink (PCIe4.0 x4 or 4 SATA 6Gb/s)
Habe das Board im Einsatz.
Super stabil und jede Menge Erweiterungsmöglichkeiten. Läuft mit jedem Linux, das ich ausprobiert habe.
Und auch mit Win10...

Gruß Jörg
 
Danke für die Nachfrage. Die Überlegung bezieht sich auf die Schreiblast.
 
Danke für die Nachfrage. Die Überlegung bezieht sich auf die Schreiblast.



7000 TB Schreiblast. Damit kannst die Platte 2000 Tage lang jeden Tag komplett neu beschrieben bevor sie ihre Schreiblast erreicht hat (und das heißt ja nicht das sie dann direkt ausfällt).
 
Danke für die Nachfrage. Die Überlegung bezieht sich auf die Schreiblast.
Lässt sich denn abschätzen, wieviel durchschnittlich pro Tag geschrieben wird?
Denn es gibt schon recht viele SSDs/SSMs (mit z.B. mind. den genannten 3,84TB), die eine Schreiblast von mind. 1.000 TBW pro TB (also knapp 4 PBW für 3,84 TB Kapa).
Dann könnte man schon mal recht gut abschätzen, welche SSDs Sinn machen.
Und wie @Oi!Olli schon geschrieben hat, packen die Disks inzwischen auch deutlich mehr als diese angegeben Werte (da gabs von Heise vor einer Weile mal einen umfangreichen Test).
 
Bei SAS SSDs braucht man aber noch nen Controller..

Da würde ich eher auf u2 oder u3 SSDs gehen...
 
[...]
Wie Crashtest schon schreibt, haben wir die Möglichkeit über die beiden SlimSAS-Anschlüsse 8x 2,5" oder 3,5" Platten anzuschließen. Problem: bei 2,4 TB in der HDD-Variante ist pro Platte Schluß.
[...]

Woher kommt das Limit von 2,4 TB in der HDD-Variante?
 
@Hammerhead Shark
Danke für die Nachfrage. Das Limit kommt auf Grund meiner Unwissenheit über das Thema zustande. :-(
Lag daran, dass ich auf der Vergleichsseite bei Formfaktor 2,5" ausgewählt habe. Bei 3,5" habe ich natürlich eine viel schönere Auswahl.

Im Endausbau werden theoretisch auf dem System 16 verschiedene BOINC-Projekte laufen. Bei YAFU und YOYO als bestehende Projekte ist die Schreiblast bekannt. Die anderen 14 Projekte werden vollständig Neu sein.
Die beiden CPU zusammen haben 16 CCDs. Pro CCD ein Projekt. Läßt sich unter Linux leicht festnageln.
Ab Linux Kernel 6.12 geht es von Hause aus.
 
Also bei 3,5" HDDs könnte man sich die Toshiba Enterprise Platten anschauen. Die bieten neben einem guten Preis pro TB auch einen nicht flüchtigen Schreibcache. Damit kann man die bessere Performance des Caches nutzen, ohne im Fall eines Stromausfalls Daten zu verlieren. Gibts als SATA und als SAS Variante.
Habe davon 4 Stück im Server und zwei als backup Platten und bin bisher sehr zufrieden.

Wenn Performance wichtig ist, geht natürlich nichts über eine SSD.
Eventuell kann man ja auch ein hybrides System fahren: SSDs als Cache für de Performance und ein paar große HDDs als Hauptspeicher.
 
Ich hab noch irgendwie einen Post eines BOINC Admins im Kopf der schrieb, das pro WU irgendwie ca. ein Dutzend DB Schreibzugriffe notwendig sind. Das sei der Grund für die Verlängerung der WU Laufzeit gewesen. Weniger WUs = weniger Schreiblast. Multiplizier das mal X Projekte, da würde ich drehende Platten für einen DB Server nicht mal mehr mit der Kneifzange anfassen.
Für DB Dumps/Backups auf Platte (bevor sie nach extern gehen) oder große, noch zu splittende Inputfiles könnten HDDs aber noch sinnvoll sein.
 
Ich hab noch irgendwie einen Post eines BOINC Admins im Kopf der schrieb, das pro WU irgendwie ca. ein Dutzend DB Schreibzugriffe notwendig sind. Das sei der Grund für die Verlängerung der WU Laufzeit gewesen. Weniger WUs = weniger Schreiblast. Multiplizier das mal X Projekte, da würde ich drehende Platten für einen DB Server nicht mal mehr mit der Kneifzange anfassen.
Für DB Dumps/Backups auf Platte (bevor sie nach extern gehen) oder große, noch zu splittende Inputfiles könnten HDDs aber noch sinnvoll sein.
Schreibzugriffe auf die DB bei einer Boinc wu im Geradeausfall:
1 x WU in DB anlegen
2 x Result in DB anlegen bei quorum=2
2 x vermerken, dass Result verschickt wurde
2 x vermerken, dass Result zurück kam
2 x vermerken, dass Result validiert wurde
2 x Result löschen
1 x wu löschen
================================
12 DB Updates

Glaub da ist aber noch mehr.
 
Und das bei 96 Kernen pro CPU.

Plus SMT.

Ich glaub das wird nichts.
 
Lässt sich denn abschätzen, wieviele WUs der Sever z.B. am Tag bewältigen muss? Dann ließen sich die sich ergebenden IOPS berechnen. Die Frage ist halt noch, wie effektiv die verwendete DB-Engine cachen kann (um IOPS) zu vermeiden - aber drehende Platten sind dafür wohl definitiv raus...
Ein flotter Raid-Controller mit ausreichend Cache sollte Druck vom Storage nehmen.
 
Wenn da mehrere (neue) BOINC Projekte draufkommen, dann lassen sich die IO Anforderungen kaum abschätzen. Glaube mit solider SSD Write Performance kommt man da eine ganze Zeit gut hin, viele Projekte liefen und laufen mit weniger auch außerhalb des Penta sehr gut. Auslastung und Belegung sollte gemonitored werden, könnte man zB. mit Nagios und dessen Nachfahren machen und dann per Mail oder Telegramm-Bot alamieren.

PHP, MySQL und Apache plus halt die BOINC Server Binaries, so abgefahren kann das nicht sein :-D
 
Zurück
Oben Unten