redundantes Datengrab + Netzwerkstream
- Ersteller Yasch
- Erstellt am
Moin, ich möchte mir in nächster Zeit ein größeres, streamendes Datengrab (~5 Platten) zulegen, welches auch den Ausfall einer Platte verkraften soll. Preislich dachte ich da an nen hohen 3 stelligen Bereich.
1) Dann gibts ja erstmal die Entscheidung NAS oder nicht. Da diese Dinger vorgefertigt sind, eher wenig Speicherplatz bieten und das P/L Verhältnis bescheiden ist, fällt das für meine Zwecke raus, oder gibts auch NAS Systeme mit mehreren freien Einschüben, so das ich +Festplatten unter 1000€ bleibe?
2) Meine Theorie: nen 5faches ext. Gehäuse mit USB 3.0 als Sammelstelle und dann noch nen kleinen Rechner (Intel Atom oder so), evt. schaffts mein neuer Raspberry Pi + PS3 Mediaserver (gibts nen besseren DLNA Clienten?), als Schnittstelle mit der Außenwelt.
2a) Würde es Probleme bei der Netzwerkkommunikation (besonders Ordner freigeben etc.) von Linux und Windows Systemen geben? Im Moment Windows only Nutzer...
3) Welcher RAID bietet sich an? Bei Raid 1 geht ja die Hälfte des Speicherplatzes flöten --> ist raus und Raid 5 hört sich gut an (nur 20% "Verschwendung") und verkraftet einen Plattenausfall. Nur was mir absolut sauer aufstößt ist die Tatsache das ja immer alle Platten rotieren --> hoher Verschleiß --> eher nicht so toll. Gibts dazu Alternativen? FlexRAID - Wikipedia, the free encyclopedia hört sich ja toll an, das Verfahren erst eine Platte vollschreiben wäre das was ich suche, nur leider ist das ja Softwarebasiert und steckt auch noch ein wenig in den Kinderschuhen... Gibts da ne adequate Hardwarelösung?
4) Doch lieber nen richtigen Server baun? Was ist denn der Stromverbrauch dabei? Braucht denn son DLNA Streamingclient wirklich viel Rechenpower?
Vielen Dank und evt. sonst irgendwelche Tipps&Tricks oder Anregungen?
1) Dann gibts ja erstmal die Entscheidung NAS oder nicht. Da diese Dinger vorgefertigt sind, eher wenig Speicherplatz bieten und das P/L Verhältnis bescheiden ist, fällt das für meine Zwecke raus, oder gibts auch NAS Systeme mit mehreren freien Einschüben, so das ich +Festplatten unter 1000€ bleibe?
2) Meine Theorie: nen 5faches ext. Gehäuse mit USB 3.0 als Sammelstelle und dann noch nen kleinen Rechner (Intel Atom oder so), evt. schaffts mein neuer Raspberry Pi + PS3 Mediaserver (gibts nen besseren DLNA Clienten?), als Schnittstelle mit der Außenwelt.
2a) Würde es Probleme bei der Netzwerkkommunikation (besonders Ordner freigeben etc.) von Linux und Windows Systemen geben? Im Moment Windows only Nutzer...
3) Welcher RAID bietet sich an? Bei Raid 1 geht ja die Hälfte des Speicherplatzes flöten --> ist raus und Raid 5 hört sich gut an (nur 20% "Verschwendung") und verkraftet einen Plattenausfall. Nur was mir absolut sauer aufstößt ist die Tatsache das ja immer alle Platten rotieren --> hoher Verschleiß --> eher nicht so toll. Gibts dazu Alternativen? FlexRAID - Wikipedia, the free encyclopedia hört sich ja toll an, das Verfahren erst eine Platte vollschreiben wäre das was ich suche, nur leider ist das ja Softwarebasiert und steckt auch noch ein wenig in den Kinderschuhen... Gibts da ne adequate Hardwarelösung?
4) Doch lieber nen richtigen Server baun? Was ist denn der Stromverbrauch dabei? Braucht denn son DLNA Streamingclient wirklich viel Rechenpower?
Vielen Dank und evt. sonst irgendwelche Tipps&Tricks oder Anregungen?
"Hoher 3 stelliger Betrag" und Raspberry Pi passen nicht so zusammen... 
Bei dem Budget würde ich wohl einen sparsamen PC hinstellen (von HP gibts da recht gute Barebone-Server, such hier mal im Forum danach).
Ein DLNA-Server und ein Samba-Server (= Dateifreigabe) braucht keine sonderliche Leistung um zu funktionieren. Allerdings hat ein "ausgewachsener" PC meist deutlich mehr Anschlußmöglichkeiten, wie SATA-Ports, USB 3 usw usf.
RAID 5 ist ansich eine gute Lösung. Wenn aber eine Festplatte kaputt geht, musst du schnell sein. Während du sie auswechselst und die Wiederherstellung läuft (das kann dauern..) bist du nicht gegen einen weiteren Ausfall abgesichert. RAID 6 wäre hier besser, das verkraftet den Ausfall von 2 Platten.
Ist aber eh egal, da kein RAID der Welt ein richtiges Backup ersetzt. Wenn Hochverfügbarkeit also keine Rolle spielt (was im privaten Umfeld wohl der Fall sein dürfte) könntest du sogar komplett auf ein RAID verzichten und alle verfügbaren Platten zu einem LVM zusammenfassen. So kannst du flexibel reagieren und Platten hinzufügen, wenn der Platz ausgeht.
Das alle Platten immer laufen ist natürlich ärgerlich. Allerdings solltest du dich ernsthaft fragen, ob der Server wirklich 24/7 laufen muss. Das ist ökonomisch und ökologisch alles andere als optimal.
Ansonsten würde ich dir empfehlen einfach mal nach Stichworten wie "Selbstbau NAS" zu suchen. Das Thema ist in letzter Zeit sehr aktuell und dementsprechend viele Artikel und Foren-Threads gibt es dazu.
Gruß,
Max
EDIT: Noch eine Ergänzung zum DLNA-Server (NICHT Client!): Das reine Streaming ist nichts anderes als wenn du die Datei übers Netzwerk freigibst. Rechenpower brauchst du nur, wenn das Format in Echtzeit umgewandelt werden muss. Das ist der Fall, wenn z.B. dein Fernseher mit deinen Filmen nichts anfangen kann und deshalb ein anderes Format benötigt.
Bei dem Budget würde ich wohl einen sparsamen PC hinstellen (von HP gibts da recht gute Barebone-Server, such hier mal im Forum danach).Ein DLNA-Server und ein Samba-Server (= Dateifreigabe) braucht keine sonderliche Leistung um zu funktionieren. Allerdings hat ein "ausgewachsener" PC meist deutlich mehr Anschlußmöglichkeiten, wie SATA-Ports, USB 3 usw usf.
RAID 5 ist ansich eine gute Lösung. Wenn aber eine Festplatte kaputt geht, musst du schnell sein. Während du sie auswechselst und die Wiederherstellung läuft (das kann dauern..) bist du nicht gegen einen weiteren Ausfall abgesichert. RAID 6 wäre hier besser, das verkraftet den Ausfall von 2 Platten.
Ist aber eh egal, da kein RAID der Welt ein richtiges Backup ersetzt. Wenn Hochverfügbarkeit also keine Rolle spielt (was im privaten Umfeld wohl der Fall sein dürfte) könntest du sogar komplett auf ein RAID verzichten und alle verfügbaren Platten zu einem LVM zusammenfassen. So kannst du flexibel reagieren und Platten hinzufügen, wenn der Platz ausgeht.
Das alle Platten immer laufen ist natürlich ärgerlich. Allerdings solltest du dich ernsthaft fragen, ob der Server wirklich 24/7 laufen muss. Das ist ökonomisch und ökologisch alles andere als optimal.
Ansonsten würde ich dir empfehlen einfach mal nach Stichworten wie "Selbstbau NAS" zu suchen. Das Thema ist in letzter Zeit sehr aktuell und dementsprechend viele Artikel und Foren-Threads gibt es dazu.
Gruß,
Max
EDIT: Noch eine Ergänzung zum DLNA-Server (NICHT Client!): Das reine Streaming ist nichts anderes als wenn du die Datei übers Netzwerk freigibst. Rechenpower brauchst du nur, wenn das Format in Echtzeit umgewandelt werden muss. Das ist der Fall, wenn z.B. dein Fernseher mit deinen Filmen nichts anfangen kann und deshalb ein anderes Format benötigt.
Zuletzt bearbeitet:
tspoon
Grand Admiral Special
Wenn du wirklich einen Homeserver haben willst, plane mal so 500 Euro ein.
Ob Software oder HardareRaid spielt eigentlich keine Rolle beides läuft zuverlässig.
FLexraod haben einige hier auch mal ausprobiert. Ich bevorzuge aber SoftwareRaid5, einfach weil es einfach zu handhaben ist und man keinen teuren Kontroller benötigt.
Was Stromverbrauch angeht: AMD E-350 mit 6x1,5 TB und 32GB USB-Stick für Ubuntu 64bit Server = 52 Watt. Mit WD Green Festplatten könnte man sogar unter 50 Watt kommen.
DLNA könntest du unter Ubuntu mit miniDLNA realiseren, Auch könntest du nen Desktop installieren oder gleich den Desktop-Edition nehmen und per VNC draufzugeifen oder direkt am Fernseher anschließen. Dann gibts ja noch XMBC für Linux.
Neben Samba gibt es auch noch NFS, was sich auch unter Windows 7 ab Premium normal mounten lässt und weniger Bandbreite benötigt , auch die Freigaben sind einfacher über die Datei /etc/export.
Ob Software oder HardareRaid spielt eigentlich keine Rolle beides läuft zuverlässig.
FLexraod haben einige hier auch mal ausprobiert. Ich bevorzuge aber SoftwareRaid5, einfach weil es einfach zu handhaben ist und man keinen teuren Kontroller benötigt.
Was Stromverbrauch angeht: AMD E-350 mit 6x1,5 TB und 32GB USB-Stick für Ubuntu 64bit Server = 52 Watt. Mit WD Green Festplatten könnte man sogar unter 50 Watt kommen.
DLNA könntest du unter Ubuntu mit miniDLNA realiseren, Auch könntest du nen Desktop installieren oder gleich den Desktop-Edition nehmen und per VNC draufzugeifen oder direkt am Fernseher anschließen. Dann gibts ja noch XMBC für Linux.
Neben Samba gibt es auch noch NFS, was sich auch unter Windows 7 ab Premium normal mounten lässt und weniger Bandbreite benötigt , auch die Freigaben sind einfacher über die Datei /etc/export.
"Hoher 3 stelliger Betrag" und Raspberry Pi passen nicht so zusammen...
Ein DLNA-Server und ein Samba-Server (= Dateifreigabe) braucht keine sonderliche Leistung um zu funktionieren. Allerdings hat ein "ausgewachsener" PC meist deutlich mehr Anschlußmöglichkeiten, wie SATA-Ports, USB 3 usw usf.
Naja habe halt vor ein paar Tagen nen Raspberry zum "spielen" bekommen, fehlt nochn Adapter dann wird er mal ausgetestet --> dachte er könnte evt. gleich als Server fungieren --> keine Probleme (ist halt fraglich ob die Leistung passt), aber da er ja nur streamen soll (Abnehmer sind entweder Mediaplayer oder PC), könnte das passen
Wielange ca. dauert der Syncprozess, sagen wir mal bei 2TB?
LVM (Logical Volume Manager) ist doch quasi Softwareraid, bzw. will ich zwar kein 1:1 Backup, aber Redundanz ist großes muss, weil eine Platte kann immermal ausfallen, oder hab ich was falsch verstanden?
Ist da nicht die Gefahr eines Schadens durch Fehlkonfiguration/Malware/crazy Verhalten (hab was gelesen von wegen eine Platte ist ausgefallen und Linux hat den Raid zerbombt) ziemlich "groß", oder zu vernachlässigen?
Gibts ne Möglichkeit Stomausfälle abzufangen? Passiert hier durchaus 2-3mal im Jahr und wenn's das System beim Schreiben erwischt, sollte das ja nicht gut für die Daten sein...
tspoon
Grand Admiral Special
Gegen Stromausfall hilft nur ne USV. Ich hab zum Bsp eine UPS 350 unter Ubuntu gibts da auch die richtige Software. Beschädigen kann man das Raid nur per Hand. Sonst läuft es. Wenn eine Platte ausfällt muss man von Hand, die neue hinzufügen.
Ein SoftwareRaid 5 kann man eigentlich nur mutwillig zerstören, wenn man die Raid-Blocks auf den Platten manipuliert oder wenn man es vergrößert und dann den Rechner auschaltet. Filesystemfehler können immer auftreten ext3 bzw ext4 sind aber sehr stabil. ext4 ist vorzuziehen, da es um einiges schneller ist als ext3.
Bei einem LVM fügst du nur die Platten hintereinander zusammen. Wenn also eine Platte ausfällt sind die Daten welche darauf waren weg.
Alle wichtigen Befehle zu mdadm:
Ein SoftwareRaid 5 kann man eigentlich nur mutwillig zerstören, wenn man die Raid-Blocks auf den Platten manipuliert oder wenn man es vergrößert und dann den Rechner auschaltet. Filesystemfehler können immer auftreten ext3 bzw ext4 sind aber sehr stabil. ext4 ist vorzuziehen, da es um einiges schneller ist als ext3.
Bei einem LVM fügst du nur die Platten hintereinander zusammen. Wenn also eine Platte ausfällt sind die Daten welche darauf waren weg.
Alle wichtigen Befehle zu mdadm:
Zuletzt bearbeitet:
Cherry
Grand Admiral Special
Alles schön und gut, was du schreibst, geht aber am Thema vorbei. Klar ist Hochverfügbarkeit im privaten Bereich üblicherweise kein Thema, daß ich auf RAID5 im Heimbereich setze hat aber ganz andere Gründe:
Wodurch verliert man denn als Heimanwender die meisten Daten? Nach meiner Erfahrung durch Plattendefekte. Ich habe in den letzten 13 Jahren mehrfach dagesessen und mit diversen Recovery-Tools und obskuren Methoden (Eisfach läßt grüßen) versucht, soviel wie möglich an noch lesbaren Daten von gestorbenen HDDs zu kratzen.
Heute dank RAID5 ist das kein Thema. Platte tot -> RAID wird offline genommen (um eben die Zeit ohne Redundanz so kurz wie möglich zu halten), neue Platte gekauft, reingesteckt, und 12-24 Stunden später läuft wieder alles, ohne Verluste.
Ein Vollbackup des kompletten Datengrabs (aktuell 4*1,5 TB, ziemlich voll) macht für mich finanziell keinen Sinn, so wichtig sind die Daten darauf nicht, daß ich nochmal für x-hundert Euro die gleiche Datenkapazität vorhalten will, die dann die meiste Zeit nur stillsteht.
Ach so am Thema vorbei ist das m.E. gar nicht. Es macht doch immer Sinn nochmal zu hinterfragen ob etwas nötig ist oder ob eine einfachere und günstigere Lösung für einen persönlich nicht auch ausreicht. Vielen hören halt einfach das RAID toll ist oder wollen einfach nur das Beste vom Besten, ohne genau zu wissen warum. Darum eben meine Frage an den Threadersteller (ich habe ja nicht gesagt das er auf ein RAID verzichten soll, sondern eben nur das er es kann).
Gruß,
Max
Es macht doch immer Sinn nochmal zu hinterfragen ob etwas nötig ist oder ob eine einfachere und günstigere Lösung für einen persönlich nicht auch ausreicht. Vielen hören halt einfach das RAID toll ist oder wollen einfach nur das Beste vom Besten, ohne genau zu wissen warum. Darum eben meine Frage an den Threadersteller (ich habe ja nicht gesagt das er auf ein RAID verzichten soll, sondern eben nur das er es kann).Gruß,
Max
Ja so wie cherry es beschreibt hab ich es mir auch ca. gedacht, und Raid halt wegen der redundanten Absicherung, weil ne 1:1 Kopie zu aufwendig wäre..., mal gucken was das Raspberry so leistet und dann weiterschauen ob ein richtiger Server hermuss, oder nicht.
Bzgl. USV, wollte ichgentlich was, was ich zwischen die Steckdose und meine Steckleiste klemmen kann, nur finde ich z.B. bei dem (pirkpigiau.lt/shop/images/shop/product_images-1263/1263937/200088753_bk350ei.jpg) garkeine Stromanschlüsse :O -> der ist dann wirklich nur für den Server gedacht und ich brauch ne "USV-Steckleiste"?
Bzgl. USV, wollte ichgentlich was, was ich zwischen die Steckdose und meine Steckleiste klemmen kann, nur finde ich z.B. bei dem (pirkpigiau.lt/shop/images/shop/product_images-1263/1263937/200088753_bk350ei.jpg) garkeine Stromanschlüsse :O -> der ist dann wirklich nur für den Server gedacht und ich brauch ne "USV-Steckleiste"?
tspoon
Grand Admiral Special
Nimm was anständiges in Sachen USV. APC ist sehr gut und man bekommt ne Versicherung dazu, wenn was durch einen "fehler" bei der USV kaputt geht. Desweiteren wird Windows sowie Linux vollständig supportet (USV mit USB-Anchluss).
http://www.apc.com/products/family/index.cfm?id=29
http://www.apc.com/products/family/index.cfm?id=29
