WebCache soll Filesharing revolutionieren

Nero24

Administrator
Teammitglied
★ Themenstarter ★
Mitglied seit
01.07.2000
Beiträge
24.058
Renomée
10.440
  • BOINC Pentathlon 2019
  • BOINC Pentathlon 2020
  • BOINC Pentathlon 2018
  • BOINC Pentathlon 2021
Unsere treuen Leser wissen es: Planet 3DNow! nutzt das Filesharing-Netzwerk eDonkey (beinhaltet eDonkey, eMule, Shareaza und MlDonkey), um bei Veröffentlichungen großer Dateien wie etwa <a href="http://www.planet3dnow.de/cgi-bin/newspub/viewnews.cgi?category=2&id=1092009143">XP Service Pack 2</a>, 3DMark oder <a href="http://www.planet3dnow.de/cgi-bin/newspub/viewnews.cgi?category=2&id=1095706765">Nero 6</a> eine Alternative zu den Server-Downloads bieten zu können, die meistens bereits ein paar Minuten nach der Freigabe der Releases dicht sind. Während andere User an den "User-Limit Exceeded" Meldungen der FTP-Server verzweifeln, können unsere Leser das File ganz einfach und legal über das Filesharing-Netzwerk eDonkey herunterladen. Weitere Hintergründe dazu findet Ihr <a href="http://www.planet3dnow.de/artikel/diverses/edonkey/index.shtml">hier</A>.

Das ganze hat meist nur einen Haken: beim Filesharing liegen die Dateien verteilt bei den Usern des Netzes, die sich die verfügbaren Teile der Datei gegenseitig "zuladen", und bekanntlich sind Breitband Internet-Zugänge in Deutschland asynchron. Beispiel T-DSL: maximaler Download 1000 Kbit/s, maximaler Upload 128 Kbit/s. So kommt es, dass die Dateien, die über eDonkey heruntergeladen werden, im Gegensatz zu den überlasteten FTP-Server zwar wenigstens verfügbar sind, meistens aber so langsam auf den eigenen PC kriechen, dass man es auch hätte abwarten können, bis der Ansturm auf die FTP-Server nachgelassen hat. Die Upload-Geschwindigkeit deutscher DSL-Zugänge ist einfach zu langsam, um nennenswerte Transferraten zu erzielen und die unzähligen Anwender in der Upload-Queue in einer vernünftigen Zeit bedienen zu können.

Die Lösung für dieses Problem soll "WebCache" sein. "Cache" ist dem geneigten Hardware-Freak aus dem Storage-Bereich natürlich ein Begriff. Festplatten sind mechanische Bauteile, ergo relativ langsam im Verhältnis zu den elektronischen Komponenten des PC. Um nicht dauernd auf die langsame Festplatte zugreifen zu müssen, speichert man jene Daten, die bereits einmal geladen wurden, in einem Puffer im Arbeitsspeicher zwischen. Beim nächsten Aufruf müssen die Daten nicht mehr von der Festplatte gelesen werden, sondern können aus dem rasend schnellen RAM geladen werden.

Ähnlich funktioniert das auch mit WebCache. Teile einer Datei, die bereits einmal über den schleppend langsamen Upload-Pfad hochgeladen wurden, müssen im Idealfall nicht nochmal und nochmal und nochmal... hochgeladen werden, sondern werden auf dem Proxy-Server des ISP gepuffert. Alle weiteren Download-Anfragen für diese Parts müssen also nicht mehr den Weg über den Upload-Pfad nehmen, sondern werden direkt vom ISP-Proxy geladen. Und das geht mit voller DSL-Geschwindigkeit vonstatten!

Notwendig dazu ist ein Filesharing-Client, der dieses WebCaching beherrscht. Derzeit ist eine eMule-Testversion mit dieser Technologie in Umlauf:

<b>Download:</b>
<li><a href="http://www.planet3dnow.de/cgi-bin/file/get.pl?20041002111027">eMule 0.44b WebCache 1.2d [ED2K-Link]</a></li><li><a href="http://www.planet3dnow.de/cgi-bin/file/get.pl?20041002111028">eMule 0.44b WebCache 1.2d Sources[ED2K-Link]</a></li>

Anwender, die bereits eine andere eMule-Version installiert haben, müssen lediglich die Datei eMule.exe mit der aus dem Archiv ersetzen und die Datei webcaches.csv in den Unterordner "Config" extrahieren. Neueinsteiger entpacken einfach den ganzen Ordner. Beim nächsten Start von eMule muss die Option "Webcache" in den Einstellungen aktiviert und der Proxy des ISP eingestellt werden. Am einfachsten funktioniert dies über die Autodetect-Funktion. Ab sofort werden Dateien über den ISP-Proxy hochgeladen und gecached, sofern der Uploader ebenfalls einen WebCache-Client besitzt. Die Parts werden in 180 KB kleinen, verschlüsselten Paketen auf dem Proxy gepuffert. Alle weiteren Sharer können die hochgeladenen Parts von dort beziehen - natürlich ebenfalls nur dann, wenn sie einen WebCache-Client besitzen.

Der Anwender bekommt von der neuen Technologie nur wenig mit. Wenn ein anderer WebCache-Client vom eigenen PC hochlädt, wird "Übertrage via Proxy" angezeigt statt nur "Übertrage". Das ist das Zeichen dafür, dass dieser Transfer gecached wird. Beim Downloaden von gecacheten Parts taucht in der Download-Queue der HTTP-Proxy als Quelle auf. Tests der Programmierer in der vergangenen Woche sollen gezeigt haben, dass Dateien, die hauptsächlich von WebCache-Clients verteilt werden, unglaubliche Download-Raten erreichen können, wie man sie von Filesharing-Tools nicht gewohnt ist. Berichten zu Folge war es Teilnehmern dieses Tests möglich, eine 500 MB große Datei in nur 2 Stunden zu laden, was einer durchschnittlichen DL-Rate von 70 KB/s entspricht. Das dürfte natürlich nur der Idealfall sein, wenn alle beteiligten Clients WebCache unterstützen. Ganz nebenbei sparen die ISPs dadurch auch noch ordentlich Geld, wenn sie Transfers durch den Proxy im eigenen Netz halten können und Daten nicht von fremden Netzen geladen werden müssen. In der Praxis dürfte der Vorteil von WebCache derzeit noch marginal sein, da sich der Client gegenüber herkömmlichen nicht WebCache-fähigen Teilnehmern wie ein ganz normaler eMule-Client verhält und somit auch nichts gecached wird. Erst wenn WebCache größere Verbreitung findet, sollten die Download-Geschwindigkeiten spürbar anziehen.

Dennoch: sollte in nächster Zeit wieder ein größerer Download anstehen, bei dem abzusehen ist, dass der Hersteller-FTP dem Ansturm nicht annähernd gewachsen sein wird, werden wir wieder über eDonkey verteilen und uns dann auch auf WebCache und die Hintergründe aus dieser Meldung beziehen. Womöglich können wir dann doch eine echte Alternative zum Server-Download anbieten...
THX boogie & stormit-fan für den Hinweis
 
soweit ich aber weiss, ist das nicht ganz legal... wenn filesharing clients häufig angefragte teile von dateien im cache des servers halten...
und obs was bringt halte ich für zweifelhaft.
ich bin dafür, dass sich einfach mehr leute von t-offline verabschieden und zu qsc wechseln *g*
da gibts nen halben mbit up ;-)

achja. ausserdem find ichs super, dass hier immer ein filesharing-link mit angegeben ist, bei sachen wie 3dmark hat man anders einfach keine chance !!!
es ist mitlerweile einfach nicht mehr nur eine alternative...
 
Original geschrieben von KairoCowboy
soweit ich aber weiss, ist das nicht ganz legal... wenn filesharing clients häufig angefragte teile von dateien im cache des servers halten...

Ich denke das ist nur dann illegal wenn die Dateien die man shared es ebenfalls sind ;)



Ich bin dafür, dass sich einfach mehr leute von t-offline verabschieden und zu qsc wechseln *g*
da gibts nen halben mbit up ;-)

Ja du Schlingel, leider is QSC bei weitem nicht flächendeckend verfügbar, Arcor gibts bei mir ebenfalls nicht. Meine einzige Hoffnung ist da Kabel-BW die bauen momentan das kabelnetz um, ich hoffe dass es anfang 2005 soweit ist, dann kann man hier bei uns in BW für pauschal 59,90€ mit 2048/512 surfen.
 
Ich glaube es wäre wirklich Zeit, dass Planet3DNow auf Bittorrent umsteigt. Dieses Netzwerk ist genau auf diese Anforderungen ausgelegt. Ein Tracker ist für wenige Wochen online, also nur so lange ein File noch sehr begehrt ist. Dadurch dass nich hunderte Terrabyte an alten Daten zur Verfügung stehen bleibt das Netzwerk äußerst schnell. Wenn hier von "Traumdownloadraten" von 70 KB/sec geredet werde dann finde ich das schon fast amüsant. Wenn bei Bittorrent weniger als 100KB/sec gehen dann bin ich schon angefressen
;)
Und schließlich ist Bittorrent mittlerweile auch die Wahl vieler anderer, wie etwa Knoppix.
 
Dem kann ich mich anschliessen.

Mit Bittorrent waren die letzten Downloads letztendlich schneller, als von einem durchschnittlichen FTP-Server.

INMO ist Torrent naeher an der urspruenglichen Idee von der dezentralen Verbreitung legaler Files geblieben, als die anderen ueblichen P2P-Netze (welche zu >90% aus illegalen Inhalten bestehen, und IMHO auf serioesen Webseiten gar nicht mehr beworben werden sollten)
 
Original geschrieben von Morieris
Ich glaube es wäre wirklich Zeit, dass Planet3DNow auf Bittorrent umsteigt. Dieses Netzwerk ist genau auf diese Anforderungen ausgelegt. Ein Tracker ist für wenige Wochen online, also nur so lange ein File noch sehr begehrt ist. Dadurch dass nich hunderte Terrabyte an alten Daten zur Verfügung stehen bleibt das Netzwerk äußerst schnell. Wenn hier von "Traumdownloadraten" von 70 KB/sec geredet werde dann finde ich das schon fast amüsant. Wenn bei Bittorrent weniger als 100KB/sec gehen dann bin ich schon angefressen
;)
Und schließlich ist Bittorrent mittlerweile auch die Wahl vieler anderer, wie etwa Knoppix.

Stimme dir voll zu!
E-Mule war gestern... ;)
 
Allerdings ist der Rechner internet-technisch fast unbrauchbar, wenn torrent läuft :]
Selbst wenn nur mit 20k gezogen wird, gibts Lags ohne Ende.
 
da hat er allerdings recht. wenn man sich im direkten schlagabtausch mal ansieht, wie die downloadraten einer sogar schlecht verbreiteten datei sind, die dennoch sehr begehrt sind, sieht das donkey-netzwerk ziemlich alt aus. mit azureus (der einzige client den ich bisher ausprobiert habe, der aber sehr gut ist und einer der besten sein soll - auf java basis) schaffe ich es mit jeder datei meine leitung voll auszulasten. im downstream wohlgemerkt. ab 5 k upload gibts für den download keine grenze mehr. abgesehen davon müllt azureus die leitung nicht immer so derbe zu, dass mit browsen gar nix mehr geht, im gegenteil, man merkt es kaum.

Original geschrieben von Alex21
Allerdings ist der Rechner internet-technisch fast unbrauchbar, wenn torrent läuft :]
Selbst wenn nur mit 20k gezogen wird, gibts Lags ohne Ende.

-> musste mal deine einstellungen checken, ich kenn keinen sonst, der da meckert ;-)
 
Original geschrieben von Alex21
Allerdings ist der Rechner internet-technisch fast unbrauchbar, wenn torrent läuft :]
Selbst wenn nur mit 20k gezogen wird, gibts Lags ohne Ende.

Also das klingt etwas unglaubwürdig, ich würde dir mal empfehlen den upload auf ca 80% des maximal möglichen zu beschränken. Des weiteren könntest du mal überprüfen welches Limit du für halboffene TCP/IP Verbindungen hast. (Dieses ist zb. bei WinXP SP2 auf 10 gesetzt). Bittorrent benötigt üblicherweise um die 40 Verbindungen um korrekt und schnell zu arbeiten. Hinaufsetzen ist mit der neuesten Version von XP Antispy möglich. Aber du solltest dir bewusst sein, dass das niedrige Limit als "Wurmdrossel" von Microsoft gesetzt wurde. Wenn du es nach oben korrigierst solltest du auf jeden Fall mit Firewall und Antivirensoftware vorsorgen.

Sonst kann es noch am Treiber deiner Netzwerkkarte liegen, ich habe zb. mit der Netgear Karte öfter Bluescreens bekommen, mit dem VIA onboard (KT600) ist das kein Problem.
Habe gestern mal ein paar kleine Videos vom SpaceShipOne über Torrent gesaugt und das ist mit 600 KB/sec gegangen ohne lags wohlgemerkt.
 
ihr könnt ruhig auf http://ispcachingforemule.de.vu verlinken, da sind auch paar webcache unterstützende Mods aufgelistet (eM-fan, Pawcio und neuere Pawcio-basierende Mods tun es z.B.). Auch hättet ihr die ed2k-Links von dort direkt kopieren können (die haben jeweils zusätzlich eine HTTP Quelle, damit geht das Saugen des Mods deutlich schneller).

Wobei sich BT aufgrund seiner Struktur besser fürs Releasen eignet (User haben kaum andere Files im Share und Leecher haben schlechte Karten), doch das Releasen an sich ist dort wesentlich komplizierter ;).

Na, hat wer Lust, Webcache für BT zu schreiben? *buck*
 
hat schonmal jemand nen torrent erstellt? dazu nen tracker ?
ich habs mit dem tracker nicht gebacken bekommen.
das ist auf jeden fall n nachteil...
 
also cih habe torrent nur paar mal ausprobiert und hatte nie halbwegs gute download geschwindigkeiten (3-4kb) weiss nicht warum (hatte den original client)
 
also webcache hört sich gut an, aber witzlos wenn es nur als mod bestehen bleibt. bringt nur was, wenn es auch im eigentlichen emule-client integriert wird und später somit alle nutzen.

Ist von den eMule-Developern geplant WebCache irgendwann zu integrieren? Also wenns ausgereifter ist?

edit: könnte man eigentlich in jedes p2p-netzwerk einbauen, würde bei jedem die Geschwindigkeit erhöhen.
 
Also, ich finde ja daß beide Netzwerke durchaus ihre Daseinsberechtigung haben.
Eben weil das Edonkey-Netz mit Terabytes an altem Schrott zugemüllt ist ist es möglich, auch ältere und seltenere Dateien, die auf keiner Webpage mehr zu finden sind, aufzutreiben!
Und für 'nen Grafikkartentreiber z.B. ist BitTorrent ein leichter Overkill...
ok, die werden auch immer größer :(
Außerdem- wenn WebCache-Mulis sich langsam als Standard etablieren, wirds auch mit diesem "veralteten" Netzwerk (wie oft wurde es bis jetzt überhaupt totgesagt *LoL* ) deutlich schneller, da es nicht mehr so vom Upload der Nutzer abhängig ist. Im Idealfall auf Torrent-Niveau.Wie schnell wäre Torrent ohne die fetten Server? Na? *g*
Außerdem ist für mich als ISDN-User Torrent eh nahezu unbrauchbar- wenn ich es so einbremse daß es vernünftig funzt, kann ich gleich den Muli nehmen- schon getestet.

Also, meiner Meinung nach sollte man- wenn torrent zum einsatz kommen sollte auf P3d- etwas differenzieren.
Die fetten Files- XP SP2 Größe aufwärts- über torrent (evtl. zus. ED2K-Link), Treiber & co über http-ED2K-Links, da torrent da IMO nicht viel Sinn macht.
 
das ist ja der witz an torrents... es braucht keine server. du verbindest direkt zu andern clients...
 
Original geschrieben von KairoCowboy
das ist ja der witz an torrents... es braucht keine server. du verbindest direkt zu andern clients...
Jein, ich denke das meint er nicht! Wenn Knoppix ein neues ISO per Torrent released, dann buttern die die Daten über ihre Server-Verbindung ins BT-Netz! Client-to-Client ist schon richtig in der Folge, aber irgendwie müssen die Daten ja auch erst einmal ins Netz kommen! Und das geschieht im Falle von Knoppix oder anderen großen Releasern über die selbe High-Speed Anbindung, an der auch ihre Server hängen! Und da ist es kein Wunder, wenn die Transferrate super ist. Meistens läuft auf diesen Servern dann auch noch der Tracker, der das Source-Routing übernimmt, weil der ebenfalls eine Menge Bandbreite benötigt, wenn da hunderte von Usern daranhängen.

Aus diesem Grund releasen wir auf P3D auch nicht per Bittorrent! Der Aufwand mit dem Tracker ist einfach zu hoch, während man bei ED2K das File in den Share wirft, den Link publiziert und das war's.

Wenn bereits ein Tracker für eine Datei existiert, wie z.B. damals beim Service-Pack 2, spricht nichts dagegen, auch Bittorrent-DLs auf P3D zu verlinken. Aber selbst über BT releasen - nein Danke :P
 
Hmm, dann stell ich jetzt nen illegales FIle in den Share und lasse den ISP nen Tag später von Gravenreuth abmahnen weil er illegales in seinem Webcache hat.

Ich glaube ich sattle doch noch schnell auf Jura um...
*lol*
 
Die Idee finde ich ja an sich sehr gut, aber was nützt es, wenn kein grosser ISP einen Webcache anbietet? Oder hat z.B. T-Offline angekündigt, Webcache zu unterstützen? Das würde mich doch arg wundern...
 
Original geschrieben von nv0
Die Idee finde ich ja an sich sehr gut, aber was nützt es, wenn kein grosser ISP einen Webcache anbietet? Oder hat z.B. T-Offline angekündigt, Webcache zu unterstützen? Das würde mich doch arg wundern...

www-proxy.t-online.de:80

/edit: Adresse korrigiert, Dank an superlexx
 
Zuletzt bearbeitet:
Original geschrieben von nv0
Die Idee finde ich ja an sich sehr gut, aber was nützt es, wenn kein grosser ISP einen Webcache anbietet? Oder hat z.B. T-Offline angekündigt, Webcache zu unterstützen? Das würde mich doch arg wundern...
Praktisch jeder große ISP hat einen Proxy. T-Online, Arcor, Freenet, AOL. Bitte nicht mit <a href="http://www.joltid.com/index.php/peercache/" TARGET="B">Peercache</A> verwechseln! Das ist eine andere Technologie, mit der es möglich wäre, sämtliche P2P-Transfers zu cachen und der Client kriegt davon weder etwas mit, noch muss er das Caching unterstützen! Peercaches müssten die ISPs aber explizit einrichten, was bisher keiner getan hat!

Die in der Meldung beschriebene WebCache-Technik ist etwas anderes. Hier wird der normale HTTP-Proxy für das Caching verwendet, indem die Daten einfach mit Umweg über den Proxy transferiert werden (was diesen zum Cachen veranlasst) statt direkt Client <-> Client!
 
wenn ich nun sachen per t-online cache, kann ein qsc oder acor kunde diese daten dann vom cache ziehen, oder direkt von mir?
also gilt der ache für alle oder nur für die, die mit dem gleichen proxy verbunden sind?
 
Original geschrieben von Nero24
Praktisch jeder große ISP hat einen Proxy. T-Online, Arcor, Freenet, AOL. Bitte nicht mit <a href="http://www.joltid.com/index.php/peercache/" TARGET="B">Peercache</A> verwechseln! Das ist eine andere Technologie, mit der es möglich wäre, sämtliche P2P-Transfers zu cachen und der Client kriegt davon weder etwas mit, noch muss er das Caching unterstützen! Peercaches müssten die ISPs aber explizit einrichten, was bisher keiner getan hat!

Die in der Meldung beschriebene WebCache-Technik ist etwas anderes. Hier wird der normale HTTP-Proxy für das Caching verwendet, indem die Daten einfach mit Umweg über den Proxy transferiert werden (was diesen zum Cachen veranlasst) statt direkt Client <-> Client!
Jo das habe ich in der Tat verwechselt. Sehe ich es richtig, dass mit einem entsprechenden Client ALLES gecached wird, was dieser hochlädt? Dann müssten die ISP-Proxies ja bald aus allen Nähten platzen...
 
keine sorge, die proxies passen schon auf sich auf ;)
Der L2-Cache des Prozessors platzt ja auch nicht, obwohl der Arbeitsspeicher deutlich größer ist...
Aber zugegeben, evtl. hätten sie sehr bald Geschwindigkeitseinbußen, wenn dieses Feature zum quasi-Standard wird.
Die ISPs würden aber trotzdem noch sparen, selbst wenn sie die Proxies aufrüsten würden, da der Traffic deutlich geringer werden würde.
Immerhin wäre für viele Dateiteile der Weg deutlich kürzer, sie müßten nicht erst- evtl. aus Quellen von anderen ISPs- geuploaded werden.
 
Original geschrieben von MikeHammer
keine sorge, die proxies passen schon auf sich auf ;)
Der L2-Cache des Prozessors platzt ja auch nicht, obwohl der Arbeitsspeicher deutlich größer ist...
Schon klar...ich meinte damit eigentlich auch nur, dass die Clients dermassen viel unterschiedlichen Content uploaden, dass die Halbwertszeit eines Pakets im Proxy sehr gering sein dürfte. Bei grossen Releases, die gleichzeitig tausend- oder millionenfach abgerufen werden, bleiben diese natürlich länger im Webcache.

Bei solchen Mega-Releases wie SP2 oder 3dmurx05 frage ich mich allerdings, wieso nicht jeder diese files direkt per Browser über den HTTP-Proxy des ISP herunterlädt...dazu braucht man doch das ed2k-Netzwerk gar nicht! Bei Content, der nur im ed2k-Netz, nicht aber auf Webservern liegt, sieht die Sache natürlich etwas anders aus...aber laut Nero geht es ja nur um grosse File-Releases, bei denen die Webserver überlastet sind.
 
Zurück
Oben Unten