Seit Server Umzug zähes Laden?

[Gothie]

Wollt ihr daran nochmal was machen? Laufen tut das Boot scheinbar gut, selbst mit der RAM Mischbestückung (da war doch was mal mit, sowas kommt mir nicht in nen Server )

Entweder irre ich mich, aber ich glaube gelesen zu haben das die alten Speicher raus gehauen wurden?

Gothie

 

[Allfred]

Derzeit steckt im Server: 12 GB (4x Corsair CM72SD1024RLP-3200 und 4x Crucial CT25672Y40B) in NUMA-Arrangement
also 4x2GB + 4x1GB

Schön wäre 4x4GB gewesen

 

[Nero24]

Wollt ihr daran nochmal was machen?

Ich wünschte wir könnten! Momentan sind wir etwas ratlos, was wir noch verbessern könnten.

Ursache für die Temperatur-Probleme im Gehäuse ist die andersartige Kühlung des Racks in Idstein. Wie man uns erläutert hat, wurde in Frankfurt die kalte Luft von unten ins Rack eingeblasen. Da unser Server ganz unten war, hat er somit nicht nur die kalte Luft zum Ansaugen gekriegt, die ganze Gehäuse-Unterseite wurde kalt angeblasen, was eine riesige Kühloberfläche ergibt. Der Server konnte seine Abwärme also nicht nur über die Durchlüftung loswerden, sondern lag überspitzt formuliert auf Eisbeuteln Ein guter Teil der Abwärme wurde also als Strahlungswärme über das Gehäuse abgegeben.

In Idstein ist es nun anders. Zum einen ist unser Server dort nicht mehr ganz unten, sondern ganz oben. Hier kommt von unten an den Gehäuseboden also keine eiskalte Luft aus der Klimaanlage, sondern die Strahlungswärme des darunterliegenden Servers Zudem sieht der Serverschrank in Idstein so oder so keine Kaltlufteinblasung von unten vor, sondern führt den Servern die Frischluft jeweils an die Vorderseite, wo sie ins Gehäuse eingesaugt werden kann. Die Abfuhr der Wärme über die Gehäuseflächen fällt in Idstein also komplett weg. Der Server muss ausschließlich über den Luftdurchsatz gekühlt werden - und offenbar reichen da 3x 4500/min 80er vorne zum reinblasen, und 2x 11.000/min 40er hinten plus das Netzteil nicht, um das zu gewährleisten.

Derzeit läuft der Server mit aktiviertem CnQ, daher die gesunkenen Temperaturen, solange, bis wir uns da eine Lösung überlegt haben.

Ich bin nur froh, dass wir die beiden Opteron 290 ausgebaut haben. Die hätten das System wohl inzwischen gegrillt

Laufen tut das Boot scheinbar gut, selbst mit der RAM Mischbestückung (da war doch was mal mit, sowas kommt mir nicht in nen Server )

Ein Node hat die 4x 1 GB Corsair, der andere die 4x 2 GB Crucial. Also keine Mischbestückung je Memory-Controller. Das Board unterstützt die separate Einstellung der Speicher-Konfiguration für jeden Node. Im Prinzip sind es zwei Systeme, die per HT verbunden sind.

Schön wäre 4x4GB gewesen

Soweit ich weiß gibt es keine 4 GB Dual-Rank DDR1-Module mit Register und ECC

 

[ghostadmin]

Das die Pingzeit auf die Seite um einiges Schlechter war als zum jetzigen Zeitpunkt, z.B. ist der Ping im einem Spiel schlecht so ist es um so zähflüssiger, oder vermindert das Reaktionsvermögen.

MfG

Gothie

Sagt aber nichts darüber aus wie schnell der Server wirklich ist, Da kann genauso gut ein Routing, DNS, Firewall oder Problem im Rechenzentrum vorliegen.

 

[mj]

Die schwankenden Temperaturen liegen daran, dass ich gestern zusätzlich zur variablen Taktfrequenz auch die Senkung der Vcore aktiviert habe. Anstelle von konstant 1,35 Volt (das Tyan-Board legt da nochmal 0,05 Volt drauf) haben wir jetzt 1,05 Volt bei 1.000 MHz, 1,15 Volt bei 1.800 MHz und 1.25 Volt bei 2.000 MHz, was zu massiv gesenkten Temperaturen geführt hat. Das ist allerdings keine dauerhafte Lösung sondern nur so lange bis wir das Kühlproblem im Griff haben. Wir überlegen und sitzen dran, irgendwas wird uns schon noch einfallen

Die Datenbankprobleme von gestern Abend rühren nicht daher, da gab es ein kleines Problem mit der Slave-DB. Ist aber mittlerweile behoben.

 

[hoschi_tux]

Gibt es einen Grund, nicht auf C'n'Q zu setzen?

 

[Nero24]

Gibt es einen Grund, nicht auf C'n'Q zu setzen?

Ja: BOINC!

 

[mj]

Die enorme Belastung für Netzteil, Spulen und Kondensatoren, Probleme bei Speicherzugriffen der K8-Prozessoren (mit K10 behoben, da weiß Nero24 mehr). CnQ ist eine Desktop-Technologie die für Server adaptiert wurde aber dort nie so wirklich gegriffen hat.

Zu BOINC sag ich erstmal nichts, meine Meinung hierzu - vor allem auf Servern - ist ja hinlänglich bekannt

 

[Gothie]

Sagt aber nichts darüber aus wie schnell der Server wirklich ist, Da kann genauso gut ein Routing, DNS, Firewall oder Problem im Rechenzentrum vorliegen.

Ich schrieb in einem späteren Beitrag dazu, das mein Provider ein Problem mit einem Server hat, allein am Ping kann es nicht gelegen haben, nur das er ein wenig höher war als sonst, aber ich denke man weiß was ich meinte.

Gothie

 

[Allfred]

Soweit ich weiß gibt es keine 4 GB Dual-Rank DDR1-Module mit Register und ECC

Tyan selbst gibt auf den HP folgenden PC3200 Speicher an:
4GB REG./ECC SG51272RDDR8H1LP-S von Samsung K4H2G0638AA-UCCC

Spoiler

mit PC2700 wirft Geizhals auch was aus:
Kingston ValueRAM DIMM 4GB PC-2700 reg ECC DDR CL2.5 (DDR-333) (KVR333Q4R25/4G) für nur 209€ das Stück.


Transcend TS512MDR72V4T PC3200 4GB Arbeitsspeicher (400 MHz, DDR)
Bauform: DIMM
Bustakt: DDR 400
CAS Latency: CL3
ECC: Ja
Pin-Zahl: 184
Registered: Ja
Speicher: 4096
Speichertyp: DDR

Aber der Preis! Den müsste man leasen! und ob der Dual-Rank läuft und vom Opteron unterstützt wird ist auch noch offen.

Richtig billig wirds auf eBay gerade: 4 x 2 GB (8192 MB)
http://cgi.ebay.de/SAMSUNG-4GB-4x-2GB-400Mhz-Server-Workstations-PC3200-/170480979086
Neuware - 219€ @ 8GB und man kann sogar noch einen Preis vorschlagen. Da wird die Fahrt zum Server selbst teurer...

 

[Nero24]

Zu den von Tyan empfohlenen 4 GB Modulen kann ich leider überhaupt nichts finden. Weder Datenblätter, noch irgendwelche Angebote. Haben diese Module überhaupt jemals existiert? Ich weiß nur, dass - sollten es Quad-Rank Module sein - sie wahrscheinlich nicht funktionieren würden mit dem Board

Die Investitionen in den alten Server sollten eigentlich so gering wie möglich ausfallen. Prinzipiell waren wir mit dem Boot 2.2 ja hochzufrieden. Die 8 GB RAM wurden halt knapp, ebenso der Disk-Space und die Opteron 290 Hitzköpfe waren uns von Anfang an ein Dorn im Auge. Das Disk- und das RAM-Problem haben wir ja gelöst. Die 12 GB RAM sind derzeit mehr als genug. Dass der temperaturtechnische Fortschritt durch die langsameren Prozessoren derart durch das andere Kühlkonzept am neuen Standort unterwandert würde, damit konnte ja keiner rechnen.

Der Speicher da aus dem Spoiler ist natürlich unsinnig, denn für 1500 EUR pro Modul (also 6000 EUR für 4 Module), hätten wir den Server doppelt durch brandaktuelle DDR3-Six-Core-SAS2-Technologie austauschen können.

Das Angebot von dem eBay-Händler klingt auf den ersten Blick mehr als verlockend. Allerdings bin ich halt immer vorsichtig bei so offentlich sehr guten Angeboten. Bin ja schon lange genug dabei, und hab mir in der Vergangenheit die ein oder andere blutige Nase geholt. Die neuen 4x 2 GB Crucial DDR1 Reg ECC RAMs haben mich von einem seriösen Anbieter gut 400 EUR gekostet. Da fragt man sich natürlich, wieso angebliche Neuware mit ähnlichen Eckdaten dort plötzlich nur die Hälfe kosten soll. Was, wenn 2 der 4 Module defekt sind? Kann ich mich dann darauf verlassen, dass anständig gewährleistet wird? Ne, also für derlei Stunts bin ich wahrscheinlich ein wenig zu alt. Nicht unbedingt für die Schnäppchenjagd privat, aber auf jeden Fall für einen Server, der 380 km entfernt steht.

Dennoch - das muss ich mal anmerken - löblich, dass Du Dich da so reinhängst, uns mit Lösungsvorschlägen weiterzuhelfen

 

[gruenmuckel]

Könntet ihr nicht versuchen den Server wenigstens unten ins Rack zu bekommen? Bzw. in ein anderes Rack mit altem Frischluftsystem?

Irgendwie würde es mich tierisch ärgern wenn im neuen Rechenzentrum die Kühlung dermaßen schlechter ist. Schließlich habt ihr dadurch Nachteile, zahlt aber den selben Preis. Die Kühlung dürfte ja nach der Anbindung das Zweitwichtigste Argument in einem guten RZ sein und irgendwie haben die da doch geschlafen, oder?

 

[Nero24]

Die Kühlung im neuen Rack via Zuführung der Frischluft von vorne ist ja nicht prinzipiell schlechter, als im alten. Für alle Server außer dem ganz unten dürfte es die bessere Lösung sein. Nur waren wir halt in FF ganz unten in einem von unten Frischluft einblasenden Rack und hatten dort zufällig den Hauptgewinn gezogen. Wären wir in Frankfurt bereits ganz oben gewesen in einem vollen Rack, hatte es uns dort schon zersemmelt.

 

[Allfred]

Ist es wirklich so ein Problem zwei 95W Prozessoren in einem 2HE Rack kühl zu halten?
Entweder es stimmt im Kühlkonzept von Chenbro etwas nicht oder wir haben einen systematischen Fehler - schon länger.
.
EDIT :
.
Wechselt doch einfach mal die drei internen 80er Lüfter durch wirklich dauerhaft Gute. Damit sollte so ein Durchzug entstehen, daß nix weiter nötig ist an der Rückseite. Wenn aber einer (!) - nur einer seine Roterblätter vom Motor gelöst hat - entsteht durch diesen defekten Lüfter ein solches diffuses Fehlerbild mit zu wenig Luftdurchsatz bei scheinbar funktionierenden Lüftern, da ja alle Lüftermotoren mitlaufen. Gut möglich auch, daß bei einem defekten Lüfter, durch diesen die Luft der anderen beiden arbeitenden Lüfter zurück strömt und so dessen Drehzahlkontrolle sogar noch funktioniert, invers zwar, aber die Drehrichtung sieht ja keiner den Impulsen an.

 

[Reisi]

Wo ist jetzt eigentlich das Problem?

Nur weil ein irgendein Temperatursensor auf einmal eine höhere Temperatur anzeigt? Weiß man überhaupt wo der auf dem Board positioniert ist? Der muss nur irgendwo in einen Luftloch bei den Slots liegen, durch die fehlende "Unterbodenkühlung" ist dann so ein Temperaturanstieg auch nicht weiter verwunderlich.

Die CPUs bekommen aber auf jeden Fall deutlich kühlere Luft, das sieht man doch an den Idle Temperaturen, die gehen teilweise bis 36°C runter (die orange CPU Core 0) und das wäre eben nicht möglich, wenn die Lufttemperatur höher wäre.
Auch so sind die Temperaturen doch kein Problem, max. 60°C sind doch für eine CPU kein Problem.

Man kann das eben nicht mit den Temperaturen vergleichen, die man in einem riesigen Desktop-Gehäuse mit fünffach überdimensionierten Kühlern erhält.

 

[Allfred]

Auch einen Defekt gilt es zu beheben. Das Hardware-Monitoring meldet seit ein paar Tagen abnormale Drehzahlschwankungen bei einem Festplatten-Lüfter. Ehe das Ding "eingeht" und dabei wohlmöglich noch einen Kurzschluss verursacht, muss es getauscht werden.

Das war am 08.11.2007 http://www.planet3dnow.de/vbulletin/showthread.php?p=3391068#post3391068

Damals wurden die Coolermaster E2U-K65CS-01 gegen zwei CoolJAG JAC18SC getauscht - aber wir konnten die 290er nie wirklich 100% auslasten. Das ging thermisch nicht. Seit 2007 haben wir also diese dicke Luft. War vll damals schon irgend was faul an dem 3er Set von internen "Festplatten-Lüftern"? Chenbro verläßt sich offensichtlich auf drei (funktionierende!) interne Lüfter. Packt also für die nächste Visite drei gute, neue Lüfter ein.

Wenns das war brauchen wir die 40er Turbinen gar nicht, können sogar die 290er wieder rein nehmen und dann passts endlich. Immerhin machen drei gute 80er Lüfter einen Luftdurchsatz von bis zu 300qm/h.
.
EDIT :
.
Übrigens, ein 40er@11.000rpm schafft nur ca. 25qm/h - bremst also mehr als er unterstützt, wenn vorne 300qm/h einlaufen wollen.

 

[mj]

Wo ist jetzt eigentlich das Problem?

Nur weil ein irgendein Temperatursensor auf einmal eine höhere Temperatur anzeigt? Weiß man überhaupt wo der auf dem Board positioniert ist? Der muss nur irgendwo in einen Luftloch bei den Slots liegen, durch die fehlende "Unterbodenkühlung" ist dann so ein Temperaturanstieg auch nicht weiter verwunderlich.

Das Problem ist dass wir nach weniger als einer Minute Last bereits bei gut 64°C CPU-Temperatur angekommen sind, die Prozessoren von AMD jedoch nur bis max 67,5°C spezifiziert sind. Das ist also verdammt nah an der Grenze. Wir merken die hohen Temperaturen bereits jetzt: bevor ich die Spannungssenkung per cpupowerd aktiviert habe (das PowerNow! der K8-Prozessoren senkt zwar dynamisch den Takt, nicht jedoch die CPU-Spannung) sind mehrere Speicherfehler aufgetreten, die glücklicherweise dank ECC noch korrigiert werden konnten. Allerdings kann ECC nur ein einzelnes gekipptes Bit korrigieren, sobald zwei kippen haben wir ein Problem. Seit der Spannungssenkung sind die Temperaturen um ein paar Grad gefallen und die Zahl der ECC-Fehler ist drastisch gesunken.

Damals wurden die Coolermaster E2U-K65CS-01 gegen zwei CoolJAG JAC18SC getauscht - aber wir konnten die 290er nie wirklich 100% auslasten. Das ging thermisch nicht. Seit 2007 haben wir also diese dicke Luft. War vll damals schon irgend was faul an dem 3er Set von internen "Festplatten-Lüftern"? Chenbro verläßt sich offensichtlich auf drei (funktionierende!) interne Lüfter. Packt also für die nächste Visite drei gute, neue Lüfter ein.

Wenns das war brauchen wir die 40er Turbinen gar nicht, können sogar die 290er wieder rein nehmen und dann passts endlich. Immerhin machen drei gute 80er Lüfter einen Luftdurchsatz von bis zu 300qm/h.
.
EDIT :
.
Übrigens, ein 40er@11.000rpm schafft nur ca. 15qm/h - bremst also mehr als er unterstützt, wenn vorne 300qm/h einlaufen wollen.

Die 80mm Lüfter zwischen Festplatten und Mainboard pusten ordentlich und rund, das haben wir in Frankfurt vor Ort festgestellt. Der Luftstrom ist konstant und im gesamten Gehäuse gut spürbar. Und die 40mm Lüfter scheinst du zu unterschätzen - das sind so massive Brocken, dass wir sie ans Netzteil schließen mussten weil sie für die Anschlüsse am Mainboard zuviel Leistung haben.

Wie Nero24 bereits sagte: wir hatten in FFM Glück, dass wir den untersten Platz im Rack hatten und die Racks dort durch Kaltluft von unten gekühlt wurden. Wären wir bereits in Frankfurt weiter oben gesessen hätten wir schon viel eher ein deutlich massiveres Temperaturproblem bekommen. Bezüglich des Kühlkonzepts von Chenbro kann es gut sein dass du recht hast. Wir überlegen gerade eine der Festplatten in den Floppy-Steckplatz zu bauen um die Frischluftzufuhr über die HDD-Käfige zu verbessern. Evtl. könnte man dort auch über den Einsatz eines zusätzlichen Lüfters nachdenken.

 

[Allfred]

Ich habe gerade mal gesucht und einen 40er mit 11.000 rpm gefunden: Abgesehen vom einprägsamen Sound, bringt er unter Laborbedingungen gerade mal 25qm/h.

http://parts.digikey.de/1/1/615297-fan-dc-axial-12v-40x15-11000rpm-afb0412shb.html

Das bedeutet, über das Mobo verlassen nur maximal 50qm/h den Server, damit ist klar, daß von den ( 2x65qm/h) 130qm/h ----> erschreckende 80qm/h herumkreisen und alles schön warm halten.

Ich wäre mir an dieser Stelle nicht so sicher, ob die kleinen Turbinchen mehr helfen als stören? Sie verstopfen mehr als sie helfen! Allein das 40*40er Loch in der Rückwand wird ja zu über 50% von Rahmen und Motor verdeckt, aus den kleinen Rotorschlitzen kann kaum mehr Luft heraus kommen. Wahrscheinlich haben wir uns mit den beiden hochtourigen 40ern einen Bärendienst erwiesen.

Immerhin machen drei gute 80er Lüfter einen Luftdurchsatz von bis zu 300qm/h - wovon die 40er ja nur 50qm/h heraus lassen.

Ich glaube der Server läuft 1A wenn hinten offen ist. Schmeiß die 40er raus. Das war basteln auf hohem Niveau - heraus kam ein Engpass. Keine weiteren Lüfter hinten - nur offen lassen.

Wenn ich Recht habe - können wir dann auch die 290er wieder einbauen.

 

[mj]

Die 40mm Quirle waren ja nicht von Anfang an drin, die kamen erst im zweiten Schritt nach der Aufrüstung von die beiden Opteron 290 und den direkt daraus resultierenden Temperaturproblemen. Nachdem die zwei Lüfter verbaut waren sind die Temperaturen spürbar gesunken, nachzulesen hier. Das Entfernen der beiden Lüfter wäre also höchst kontraproduktiv, sie haben nachweislich die Kühlung verbessert

Deine Rechnung werde ich trotzdem aufgreifen und mal nachforschen ob wir nicht noch zusätzlich einen Lüfter in den Slotblenden zwischen dem SCSI- und dem SATA-Controller befestigen können der warme Luft aus dem Gehäuse schafft. Theoretisch dürfte dort ausreichend Platz für einen 60mm Lüfter sein.

 

[Reisi]

Das Problem ist dass wir nach weniger als einer Minute Last bereits bei gut 64°C CPU-Temperatur angekommen sind, die Prozessoren von AMD jedoch nur bis max 67,5°C spezifiziert sind. Das ist also verdammt nah an der Grenze.

Das dürfte aber die maximale Case-Temperatur sein, also die maximale Temperatur am Heatspreader. Die Messwerte geben aber die Kerntemperatur wieder. Die beiden kann man also nicht direkt vergleichen, da zwischen den beiden "Mess"punkten immerhin noch der Heatspreader und der komplette Siliziumkern liegt.

[EDIT]Aber nichts desto trotz sind die Temperaturen, zwar knapp, aber eben noch unterm Limit, da dürfen eigentlich noch keine Fehler auftreten[/EDIT]

Habt ihr irgendwelche Vergleichswerte wie die Temperaturen in anderen (vergleichbaren) Servern ausschaun?

 

[Allfred]

13000/min sind die Gehäuselüfter (...) Also sowohl auf dem Angebot, wie auch auf der Auftragsbestätigung steht ein Durchsatz von 38 m³/h,...

Einguter 80er Lüfter liefer mehr als 100 m³/h. Dazu kommt noch das Verhältnis von drei 80er zu zwei 40er Lüfter. Das ist der Engpass.

 

[mj]

Das dürfte aber die maximale Case-Temperatur sein, also die maximale Temperatur am Heatspreader.

"Dürfte" (oder jegliche andere Form des Konjunktiv) ist ein Konzept das ich bei Servern nicht hören mag
AMD gibt leider nicht exakt an ob es sich hierbei um Tcase oder Tcore handelt. Daher müssen wir erstmal davon ausgehen, dass es die maximal zulässige Kerntemperatur ist und nicht die Case-Temperatur. Und die Speicherfehler bei hoher Temperatur stützen diese Vermutung zudem. Es gibt zwar überall im Internet Vermutungen und Spekulationen zu diesen Werten, aber wirklich glaubhafte Quellen habe ich noch keine gefunden.

 

[ShiningDragon]

maximale Temperatur des Heatspreaders (Tcase max) (OSP8214GAU6CYE):

A = variabel
I = 63 °C
K = 65 °C
M = 67 °C
O = 69 °C
P = 70 °C
Q = 71 °C
R = ?? °C
S = ?? °C
T = 78 °C
U = 83 °C
V = ?? °C
X = 95 °C
Y = 100 °C

Quelle

tCase ist erheblich schlüssiger, als tCore. Zumal Letztere bei AMD Prozessoren nicht immer korrekt ausgelesen werden können, wage ich zu bezweifeln das AMD gerade diese Temperaturen als Maßstab vorgibt. Es fehlt die nachvollziehbare Kontrolle.
Aber gut, eine wirklich verlässliche Aussage ohne AMDs Beteiligung ist es natürlich nicht. AMD anschreiben?

Intel gibt bei seinen Prozessoren definitiv die tCase vor.

 

[Oi!Olli]

Also bei meinem guten alten 170er war es die maximale Gehäusetemperatur die angegeben wurde.

 

[PuckPoltergeist]

das PowerNow! der K8-Prozessoren senkt zwar dynamisch den Takt, nicht jedoch die CPU-Spannung

Also meiner Meinung nach tut es das schon. Meine 252er behaupten zumindest, dass sie zwei verschieden Spannungsmodi kennen.

Die 80mm Lüfter zwischen Festplatten und Mainboard pusten ordentlich und rund, das haben wir in Frankfurt vor Ort festgestellt. Der Luftstrom ist konstant und im gesamten Gehäuse gut spürbar. Und die 40mm Lüfter scheinst du zu unterschätzen - das sind so massive Brocken, dass wir sie ans Netzteil schließen mussten weil sie für die Anschlüsse am Mainboard zuviel Leistung haben.

Wie Nero24 bereits sagte: wir hatten in FFM Glück, dass wir den untersten Platz im Rack hatten und die Racks dort durch Kaltluft von unten gekühlt wurden. Wären wir bereits in Frankfurt weiter oben gesessen hätten wir schon viel eher ein deutlich massiveres Temperaturproblem bekommen. Bezüglich des Kühlkonzepts von Chenbro kann es gut sein dass du recht hast. Wir überlegen gerade eine der Festplatten in den Floppy-Steckplatz zu bauen um die Frischluftzufuhr über die HDD-Käfige zu verbessern. Evtl. könnte man dort auch über den Einsatz eines zusätzlichen Lüfters nachdenken.

Grundsätzlich gibt es ja nur zwei Möglichkeiten, entweder die entstehende Wärme schneller abführen oder sie verringern. Für Option eins sehe ich nicht viele Möglichkeiten in dem Gehäuse. Ist die Frage, ob noch zusätzliche oder schnellere Lüfter möglich sind und was die bringen könnten.
Variante Nummer zwei ließe sich durch andere Platten erreichen. Wenn ihr nicht gerade den Hauptpreis gezogen habt, müssten die 10k Platten ordentlich Abwärme produzieren. Alleine der Ersatz durch deutlich kühlere 7.200er könnte schon viel bringen. Muss man natürlich auch aufpassen wo man da zugreift.
Ja ich weiß, die Datenbanken werden uns das spüren lassen. Aber irgendwo wird man bei dem Server Kompromisse schließen müssen. Und größere SATA-Platten mit einer höheren Datendichte können die geringer Umdrehungszahl auch wieder etwas ausgleichen.