Netzteil Dimensionieren - Server mit 30 Discs, Xeon etc.

[blaundblub]

Hallo
Ich stehe gerade vor der Entscheidung ein Netzteil für unseren neuen Fileserver zu suchen.
Da es mir aber schwer fällt den Stromverbrauch abzuschätzen wollte ich hier mal kurz um Hilfe bitten.
Der Server wird 30 Festplatten besitzen, davon 26 x 1TB Sata drives und vier 15k rpm SAS drives. Weiterhin werkelt ein (später eventuell zwei) Quad Core Xeons mit 2Ghz. 8GB Ram, diverse Lüfter.
Für jedes Laufwerk rechne ich mit ca. 18w, damit käme man auf ein Minumum von 540W nur für die Laufwerke - stellt sich nur die Frage wieviel der rest der Komponenten benötigt!?
So was meint Ihr reicht ein 8000W Netzteil oder sollten es eher 1000W sein?
gruß und Danke für ein wenig Hilfe

 

[kiri]

Wichtig ist vor allem, ob die Controller staggered SpinUp können, sonst muss man nämlich 30-35W pro HDD SpinUp mit massig 5V Leistung einrechnen.

 

[Cherry]

Jemand verkauft ein Gehäuse, in das 30 Platten passen, ohne ein passendes Netzteil mitzuliefern, oder wie darf ich das verstehen?

Warum eigentlich nicht gleich einen fertigen Server kaufen, anstatt da was selbst zu basteln? Dein Posting klingt nicht so, als ob du große Erfahrung mit dem Einsatz solch einer Kiste hast, und da kann eine Selbstbaulösung massiv Frust verursachen.

Cherry

 

[blaundblub]

Hi
Ja die zwei 3ware Controller können staggered spinnup, das ist also eher weniger das Problem.
Das Gehäuse ist das LianLi PC 343B, über das IcyDock Backplane MB-455SPF bekommt man dann 30 HDs im das gehäuse.
In kleinerem Masstab funktioniertd er Server bereits (bis 6 TB), das heisst die Software läuft und es geht nun nur um mehr Speicherplatz.
Das Problem ist das es keinen Serverraum gibt, und auch kein Platz existiert, wo man einen vorkonfigurierten 19" Server einbauen könnte - daher das LianLi Gehäuse. (für eine Klimaanlage ist gesorgt).
Wie bereits gesagt ist mein einiziges Problem ein gutes und in der Leistung passendes Netzteil zu finden.
Ursprünglich habe ich an ein redundantes Server netzteil gedacht, das schein aber von der Halterung nicht in das Gehäuse zu passen.
gruß

 

[Eye-Q]

Mal abgesehen davon dass ein Fileserver mit über 26 TB normalerweise nicht selbst zusammengebaut werden sollte, ist es eigentlich Wahnsinn so einen Server ohne redundante Netzteile auszustatten - Sobald das Netzteil ausfallen sollte sind die Daten im höchsten Maße in Gefahr, auch wenn die RAID-Controller BBUs haben sollten.

Ganz ehrlich: anstatt einen Server mit 30 integrierten Festplatten zu nehmen würde ich eher zwei dafür konstruierte Storages nehmen und die dann über FibreChannel an den Server anschließen, dein Vorhaben ist echt Wahnsinn...

 

[blaundblub]

Hi
Warum soll sowas wahnsinnig sein ? Ist es nicht auch "wahnsinnig" teuer gekaufte CPUs und RAMs auf "teufel komm raus zu übertakten", damit gefährdet man auch bis zu einen gewissen maße die eigenen Daten (mal abgesehen von den Komponenten).

Weiterhin sind wir auf die Daten nicht 24/7 angewiesen, sondern es ist einfach praktisch auf die Daten per Server Zugriff zu haben, in den letzten 20 Jahren musste man immer wieder ins Archiv rennen und sich die MODs, CDs und DVDs suchen - das bliebe dann erspart.
Ausserdem werden alle Daten, da der Gesetzgeber es in diesem Fall so vorschreibt, immer noch zusätzlich auf DVDs archiviert.
So gesehen wäre es kein Weltuntergang wenn der Server mal ein paar Tage offline ist oder der ein oder andere Datensatz fehlt.

Gut zurück zum Thema, hat nun jemand ein paar konstruktive Ideen ?
In das Gehäuse passen auf jeden Fall zwei PS/2 ATX Netzteile.

Ein redundantes PS/2 Netzteil gibt es von Zippy mit 700W (RGD-5700P8V) - ist eben nur die Frage reicht das!?

 

[x86]

Geh mal auf die Herstellerseite deiner Plattenhersteller und such dir die Datenblätter raus, da stehen die Verbrauchswerte für die Schienen getrennt drin.

 

[blaundblub]

HI

Seagate ES.2: 5V max. 3,3w / 12v max 22,3w
Seagate Cheetah 15K: 5V max. 5,6w / 12V 20,9w
Die Sctive Power Dissipation liegt bei beiden bei 12W

Dies ergäbe dann:

ES.2 26x 12V = 580W
Es.2 26x 5V = 85W
Cheattah 4x 12V = 80W
Cheattah 4x 5V = 25W
3Ware Controller 18W x 2 = 36W
Xeon Quad 80W
Backplanes ca. 4W x 6 = 24W
Maiboard mit 8GB Ram = 100W (geschätzt)

Summe: 1010W

Wenn diese Rechnung hinkäm würde ich ein Netzteil benötigen welches mindestens 1100W wenn nicht sogar 1200W leistet.
Ich habe ja schon viel gesucht aber in der Größenordnung fällt mir auf anhieb zumindest kein redundantes Server Netzteil ein, naja ml ein wenig suchen und vor allem nachfragen wieviel Platz im Gehäuse ist .

 

[ProphetCHRIS]

Ja, lass dich nicht unterkriegen. Es gibt immer Leute die es gut meinen, aber nicht verstehen, dass man nicht immer nur kritisieren muss.

Wenn nun jemand solch einen Server bauen will, dann soll er das eben tun.

Also 30 disks hab ich noch nicht probiert, aber sollte in deinem Setup ja kein Ding sein. Wusste aber nicht, dass die Disks soviel ziehen? Du rechnest aber das MAXIMUM gerade aus. Es werden ja nicht alle Disks gleichzeitig Volldampf fahren. Also wirst du mit weniger auskommen. Ansonsten nimm zwei ATX NTs. Per Adapter kannst du dann beide gleichzeitig starten und hast dann einfach zwei 600er.

Aber das ist wie oben schon beschrieben alles heikel und man sollte wirklich schauen, wie wichtig die Daten sind, wielange der Server läuft und wenn mal was crashed es nicht "soviel" ausmacht

Ansonsten würde ich wie gesagt eher auf zwei ATX NTs bauen...

 

[blaundblub]

Ha das ist ja interessant, per Adapter zwei ATX Netzteile , an so etwas hatte ich auch mal kurz gedacht, den Gedanken aber wieder verworfen da ich mir dachte "sowas gibts ja eh nicht" !
Könntest Du mir einen Link geben wo man sowas beziehen kann?
Denn wenn alle Stricke reissen sollten, dh. ein redundantes Server NT mit 1350W (da gibts ja einige von) nicht rein passt würde ich dann einfach zwei ATX NTs mit 1200W verbauen.
Entmutigen lasse ich mich so schnell schon nicht, denn wie bereits gesagt die Software und DB laufen seit 2 Jahren nahezu Fehlerfrei und es geht jetzt darum einen Server mit 30 HDs zu bauen - und mit guten Komponenten und vor allem der passenden Stromversorgung sollte das schon hinhauen !

Verschiedenen Testberichten nach ziehen die HDs "unter Last" im Schnitt 14W und die 15K Drives 18-19W, dh der durchschnittliche Stromverbrauch liegt ca 150-200W unter dem errechneten Maximum.
greetz

 

[ProphetCHRIS]

Naja man muss ja auch auf den Preis achten denke ich, ansonsten hättet ihr das Ding ja auch fertig kaufen können. Ich will garnicht dran denken wieviel Asche ein redundanted 1200W Teil kostet. Und dann an zwei 1200W ATX denken? Dann kommen nochmal 800 EUR zusammen. Also bei den Dimensionen hätte man schon einmal an etwas professionelles vom Spezi denken können.

Also so heftig wird die Belastung nicht. Dann nimm lieber zwei 600-850er und die laufen dann schick bei kleiner Last und werden sich nicht überanstrengen.

 

[blaundblub]

@ProphetCHRIS:
Ja zwei 800er müssten wohl auch locker reichen.
Ein fertiges System z.B. mit 2x Promise Vtrak raid Systemen + Server mit Fibre Channel wäre immernoch 5000- teuer als die von uns ausgesuchte Lösung.

Aber wo bekomme ich einen Adapter um zwei Netzteile gemeinsam zu betreiben bzw. wie verbinde ich diese, reicht es die Masse zu Verbinden um beide anzuschalten oder wie geht das?

PS: ein redundantes 1200W NT kostet jetzt gar nciht soviel knapp 1000USD, das macht dann 650€ plus Zoll und shipping...wäre im Budget schon noch machbar

 

[ghostadmin]

Bei 30 Platten wirst du an nur 2 Controllern keine vernünftige Performance bekommen.
Soviel ich weiß ist gesetzlich vorgeschrieben die Daten 30 Jahre aufzuheben, eine DVD hält im Schnitt aber nur 5-10 Jahre. Sogar CDR sind haltbarer.
Fibrechannel ist eine komplett andere Liga, alleine die Platten kosten schon ein vielfaches. Ausserdem ist der Trend zu FC eher rückläufig und mehr in Richtung iSCSI. Das ist aber alles unbezahlbar.

Bei einem Rechner muss man damit rechnen das man auf einen Schlag die gesamten Daten verlieren kann und dann diese wieder von DVDs einzuspielen wo nicht mehr alle funktionieren?

 

[blaundblub]

Hi
@ghostadmin
Unsere Daten müssen gesetzlich nur 10 Jahre aufbewahrt werden das stimmt auch, glaubt mir .
Die Archivierung erfolgte früher auf CDs, bei steigendem Datenvolumen waren das teilweise 3-4 pro Tag, daher wird seit einigen Jahren auf DVD archiviert, dem Gesetzgeber ist bekannt das weder CDs noch DVDs ewig halten, aber eine Regelung diesbezüglich gibt es bis dato nicht. (wenn die Daten nicht mehr lesbar waren hatte man eben "Pech")
Man ist verpflichtet die Daten auf "nicht löschbaren Datenträgern zu speichern" es ist aber nicht zulässig die Daten auf löschbaren Medien "endzuspeichern".

Geplant ist es Pro Controller ein RAID 6 mit 13 HDs aufzubauen (eventuell mit einem Hot-Spare Drive) - dies ergibt dann pro Controller ca 10TB, also 20TB insgesamt.
Da bei jedem Controller doppelte Redundanz besteht ist es schon ausgesprochen unwahrscheinlich das alle Daten auf einmal den Abflug machen - wenns passiert ist es natürlich schlecht. (ein Spiegelserver, oder Bandarchivierung steht momentan nicht zur Diskussion, wäre Softwaretechnisch durchführbar)
In diesem Fall würde man nicht alle Daten wieder einspielen, sondern entweder bei "null" anfangen oder über unsere Zwischenpeicher (ca. 3 Monate) und DVDs ca. 6-12 Monate an Daten wiederherstellen - denn alle Daten liegen, wenn sie denn benötigt werden, unabhängig im Archiv auf DVD vor.

Dieser Server wäre im Alltag eine enorme Erleichterung, es ging aber die letzten 10-20 Jahre auch ohne, daher nehmen wir ein gewisses Risiko natürlich in Kauf.
Dennoch möchten wir das Risiko, soweit möglich, natürlich minimieren.

Eine Lösung in Form von 19" Servergehäusen mit Schrank fällt aus Platzgründen schlicht und ergreifend aus, sonst wäre das die 1. Wahl gewesen und einige Probleme würden sich so nicht ergeben.

Wir setzen bei unserer Lösung mit Ausnahme von Windows auf Freeware um die Kosten niedrig zu halten. Die Software hat sich in mehreren Einrichtungen und kleineren Unternehmen bewährt und ist in der Lage stabil mit großen Datenvolumen die umzugehen.
Commerzielle System mit ähnlichem Speichervolumen fangen allein bei den Anschaffungskosten bei über 50.000€ an und das steht in keiner Relation.

--------------------------------------------------------------------------------------------------------------------------------

Wenn die Performance wie Du sagts sehr in den Keller geht muss man sich überlegen das anders zu lösen, hast Du diesbezüglich einen Vorschlag?
Würde ein 24x controller bessere Ergenisse erzielen oder würdest Du eher auf 3 Controller umsteigen. (zur Information: Unsere Dateien haben zu 99% exact eine größe von 512KB)


PS:
Die Promise Lösung verwendet SATA oder SAS HDs, nur die Anbindung des Promise-Modules an den PC ist Fibre Channel, iSCSI geht aber wenn ich mich recht erinnere auch.

 

[ProphetCHRIS]

Ähm von wegen Performance, du willst doch nur Daten archivieren oder? Da wird doch nur kurz immer ne Datei abgespeichert und mal aufgerufen oder hängen da 2000 Leute dran?

 

[Gast29012019_2]

Aber Achtung, die neueren Netzteile sind mehr auf 12V ausgelegt als auf 3,3V oder 5V. Wenn die 5V Schien zu stark belastet wird, könnte man ebenfalls Probleme bekommen. Wäre daher wichtig zu wissen, wie die max Belastung der 5V Schiene ausfallen wird, um eine gewisse Reserve zu haben.

 

[blaundblub]

@ProphetCHRIS:
Nein da hängen keine 2000 Leute dran, im schlimmsten fall vielleicht mal 10 gleichzeitig und das wäre schon fast wie ein 6er im Lotto .
Die Datensätze umfassen ca. 30 bis 1000 dateien die dann am Stpck geschrieben oder gelesen werden.

@Zidane: gute und wichtige Frage !
Die 3v Schiene wird nicht mehr als 10A haben und für die 5V habe ich knapp 30 oder 31A errechnet.

Ähnlich wichtig ist aber auch die Frage welches verflixte redundante Netzteil denn überhaupt in das PC-343B Gehäuse passt!? Bisher habe ich immer nur die Angabe ATX oder 2x PS/2 gefunden.
Über einen sog. "faceplate adapter" soll es möglich sein redundante PSUs einzubauen, leider steht nirgendwo welche Baugröße das betrifft 1U 2U 3U oder 4U - das wäre mal wichtig zu wissen.
Redundante PSUs mit 1200W oder mehr habe ich nur in der Baugrösse 3U und 4U gefunden. (z.B. : http://www.tc-istar.com/product/TC-1350RVN3.htm )
Any ideas?

 

[ghostadmin]

Was passieren kann ist Datenkorruption, der Controller schreibt Mist auf die Platten oder der Bus geht nicht mehr vernünftig, Überspannung vom Netzteil, kann viel vorkommen und ich habe auch schon einiges erlebt in der Richtung

Eigentlich wären soviel PCI-X oder PCI Express Controller wie möglich am besten aber da muss man schauen was das Board hergibt, ob es mit den Interrupts klar kommt.

Wenn man die Platten über 4er Platten NAS verteilt wäre es bestimmt auch nicht langsamer wenn die Dateien nicht grad winzig klein sind. So eine Box kostet aber auch wieder 400€ dafür wären die Daten etwas sicherer.

Die billigste Lösung wäre wohl ein paar trägerlose Wechselrahmen, dann kann man unendlich Platten reinstopfen und diese im Safe lagern.

 

[blaundblub]

OK also so wichtig das man Platten in den Safe legt sind unsere daten nun auch wieder nicht das kann man sich sparen.
Boards mit drei PCI-X Steckplätzen habe ich glaube ich schon gesehen, muss ich mal nachsehen, dann könnte man das auch auf 3 Controller verteilen.
Aber dann fehlt mir immernoch ein passendes Netzteil

 

[ghostadmin]

PCI-X ist veraltet aber teilweise günstig zu haben und auch recht flott mit 64Bit. Würde aber wenn möglich auf PCI Express setzen.

Bei den Platten würde ich energiesparende nehmen z.b. die WD RE GP Serie, allerdings sollte man da die ständigen Load/Unload Cycles disablen.

Selbst bei normalen Platten würde ich nicht mehr als 15W pro Platte ansetzen, wobei glaube ich sehr viel auf die 12V Leitung fällt. Die GP hat sogar nur 8W. Die max. Leistung wird nur beim Spinup erreicht und da die Platten nacheinander hochgefahren werden, wird das nie bei allen Platten erreicht.

http://www.storagereview.com/1000.sr?page=0,6

Für was eigentlich die 4 SAS Platten?

Vom Netzteil her:
http://www.hartware.de/review_699_2.html
Braucht natürlich auch ein entsprechendes Board für 2 Netzteile.

Rahmen dafür:
http://www.pc-cooling.de/Gehaeuse-Z...Montageblende+f%FCr+redundante+Netzteile.html
http://www.pc-cooling.de/Gehaeuse-Z...3+Montageblende+f%FCr+zwei+ATX+Netzteile.html

Das sollte passen:
http://www.zippy.com.tw/P_PRODUCT_LIST.asp?pcp_rfnbr=5&pcp_name=PS2*2 Redundant&lv_rfnbr=2
http://www.zippy.com.tw/P_product_d...*2 Redundant&pcpw_rfnbr=5&pp_code=RGD-5700P8V

Und nicht vergessen vernünftig schnelle 120er Lüfter einzubauen, die Platten heizen ganz schön ein.

 

[blaundblub]

@ghostadmin:

1) gut, PCIe hatte ich mir auch als grundlage für die zwei Controller ausgesucht. Für den Fall das es Sinn macht einen dritten einzubauen müsste ich mir einanderes board aussuchen welches drei PCIe x8 hat - aus dem stehgreif fällt mir jetzt keine ein, muss man halt suchen.
Bisher stzten wir auf das Asus DSBF-DE.

2) Ich hatte meine Ursprünglichen Leistungsangaben auch von Storagereview, habe mir aber dann für den "Extremfall" zur Berechnung die maximalwerte genommen.
Bisher hatte ich im 24/7 Betrieb nur mit Seagate gute Erfahrungen gemacht, taugen denn die WD GPs etwas im Server? (bisher habe ich mich dazu nur eher wenig Kundig gemacht)
Als Alternative hatte ich die Samsung F1 mit 1TB ins Auge gefasst.

3) Die SAS Platte bilden einmal im RAID 1 mit 147GB die System Disc mit der Serverapplikation und einmal mit wohl 300GB auch im RAID 1 die Datenbank.

4) Die Zippys habe ich auch schon beliebäugelt, die bieten ja einiges an, das dauerte bis ich mich da durchgewühlt hatte .
Die redundanten PS/2 haben max 700W - das denke ich könnte schon knapp werden, vor allem wenn später eventuell noch ein zweiter Quad core dazukommen sollte.
Daher würde ich zur Not lieber dieses iStar Nezteil vorziehen wenn stärkere nicht passen sollten da es immerhin 800W hat.


Über diesen Adapter (den Du auch verlinkt hast) sollen in das Gehäuse redundante PSU eingebaut werden können, allerdings gibt es keine genauen Angaben was LianLi darunter versteht 3U 4U etc - ich weiss bisher das es wohl gehen sollte, werde da aber nochmal nachforschen.
Denn wenn das klappen sollte ist das alles kein so großes Problem mehr da dann entweder von TC iStar dieses 1350W Netzteil passt oder auch größere mit 1800W .


Bist Du wirklich der Ansicht das es sinnvoll wäre die 26 datenplatten auf 3 Controller zu verteilen?

greetz

 

[ghostadmin]

Ja stimmt, meistens wird im Serverbereich Seagate oder Hitachi verwendet. Allerdings gibts bei Hitachi nur bis 500gb im energiesparendem Bereich die P7K500. Die RE2 hat immerhin eine Garantie von 5 Jahren und ist geeignet für Dauerbetrieb. Und spätestens nach 3-4 Jahren werden dir ohnehin ein paar Platten abrauchen.
Bei der WD würde ich aber unbedingt per Tool den Intellipark ausmachen.

Diese ganzen 2U,3U usw. Netzteile passen nicht, die sind für spezielle 19" Gehäuse und 2U gibt die Höhe dessen an. Du brauchst diese 2xPS/2 Dinger.

Controller können auch 2 reichen, ich habe nur nicht all zu gute Erfahrungen mit vielen Platten unter SCSI. Mit 2 Controller sind Desktopboards aber bestimmt auch gut beschäftigt. Würde mir das Board mit SAS Onboard holen und dann so viel wie möglich onboard anschließen dann könnte das schon klappen mit 2 Controllern. Darauf achten das die Interrupts nicht shared mit anderen Geräten sind und alles was nicht benötigt wird, im Bios ausschalten.

http://geizhals.at/deutschland/a203548.html

 

[blaundblub]

@ghostadmin

Das Board ist schon mit SAS onaord gedacht, noch nen Controller wolte ich mir nicht reinhägnen zumal ja eh noch die Batterien (BBUs) für die RAIDs dazukommen (glaube die laufen als PCI Steckkarte wenn ich mich richtg entsinne).
Ich weiss dass Server NTs "U" in Höhen gerechnet werden und teile daher Deine Skeptik das dies passen sollte.
Fakt ist nun mal leider dass ich dennoch insgesamt mindestens ca. 300w für MB, CPU etc und nochmal ca. 450W für Hds benötige also 750W - und wennman es großzügig rechnet kommen da ca 1100W heraus (aus Datenblättern und dem extreme outervision psu calculator).
Ich habe leider noch kein redundantes PS/2 NT mit mehr als 700W gefunden...argh..Ich hoffe ja immernoch irgendein "mini redundant oder N+1" zu finden wie das istar cp 19080 nur mit eben ein wenig mehr power !
gruß

 

[OwenBurnett]

Naja, du kanst im grunde jeded NT reinbauen, wen du bereit bist etwas am gehäuse herum zu moden, dh, einfach ein loch reinschneiden und einpaar schrauben löcher bohren, ist alles nciht so schwierig.

 

[blaundblub]

Heheh
klar das geht auch, Loch rein und irgendwie festschrauben oder wenns zu lang ist einfach hinten rausgucken lassen - ok zur Not würde ich das wohlauch machen ... aber eben nur wenns nicht anders geht!