Neues deutsches Projekt Free-HAL@home

Hallo "FreeHAL"

willkommen auf P3D, vielen dank das du mir ein paar Informationen über euren Projektstart geben konntest, somit kann ich mir ein Bild über die momentane Lage verschaffen.

Zurzeit waren wir alle sehr am Rätselraten, was das Projekt mit seinen WUs wirklich bei uns auf den Rechner wollte.

Zusätzlich lut er neben den eigentlichen WUs auch immer die komplette App. mit runter, was einen erheblichen DSL Stau verursachte. Also pro WU mit der App.

Das machten dann jedes mal über 14 MB aus.

Hinzu kommen auch immer die Checksum Errors, also fehlgeschlagene Downloads.
Ich gehe aber mal davon aus, dass ich unter Linux keine großen Probleme erwarte, denke auch das die zukünftigen WUs ordentlich durch gerechnet werden können.

Zudem besitzen meine Platten genug Speicherplatz, also mich persönlich kann die Festplatte arbeiten oder auch nicht, da diese für eine Belastung standhalten.

Auf jeden fall ein sehr Interessantes Projekt, wo ich auch mitmachen werde. :)
 
Seit eben gerade haben wir unter Linux funktionierende Workunits, aber ich weiß nicht, wie lange, da uns der RAM des Servers ständig ausgeht...
Schön, dass sich direkt ein Verantwortlicher hier meldet *great* in wie weit ist absehbar, dass genug Arbeit nach den Server Problemen vorhanden ist? Wovon ist die WU Verfügbarkeit bei euch abhängig?
 
Schön, dass sich direkt ein Verantwortlicher hier meldet *great* in wie weit ist absehbar, dass genug Arbeit nach den Server Problemen vorhanden ist? Wovon ist die WU Verfügbarkeit bei euch abhängig?

Hallo,

Es gibt für lange Zeit genug zu tun, siehe
rechenkraft.net/wiki/index.php?title=FreeHAL@home

(Links darf ich hier noch nicht angeben)

Konkret handelt es sich um Semantische Netze, die weniger Tage später im offiziellen Download enthalten sind. Da diese Arbeit verteilt durchgeführt wird, kann FreeHAL die bisher 4 Millionen Fakten in das richtige Format konvertieren, neue suchen und ebenfalls parsen und konvertieren. Sobald dies geschehen ist, werden Daten aus anderen freien Projekten wie ConceptNet und OpenCyc genommen aber auch kurze News-Meldungen in Sätze aufgeteilt und per BOINC geparst und in das semantische Netz eingespeist. Ebenso werden freie Thesauri-Datenbanken mit in das FreeHAL-eigene Format konvertiert.

Wenn du mit Verfügbarkeit die Verfügbarkeit zum Download meinst: Das ist erst gewährleistet, wenn die neue Hardware endlich da ist...

Gruß
Tobias
 
Es gibt für lange Zeit genug zu tun
Genau das meinte ich mit Verfügbarkeit. Mir war noch nicht ganz klar, wie ihr immer an neue Daten kommen wollt. Schön, dass die Freunde von Rechenkraft da schon einiges Dokumentiert haben!
 
Kann es sein das es im Moment recht viele Serverausfälle gibt ? (ausgenommen den WU Server)
Damit mein ich auch den Webseitenserver.
 
Boah, is das nervich. Dieses Perl-Script döngelt alle paar minuten oder waren es Sekunden? Komme gar nicht mehr nach mit dem klicken. Solange das nicht aufhört war´s das. Ich werd es nochmal in 2 Wochen probieren. Solange adieu FreeHAL :P

Lachhaft sind ja die Zeiten:
CPU time (sec) claimed credit granted credit
0.02 0.0001 0.0027
0.05 0.0003 0.0010
0.06 0.0005 0.0010
0.03 0.0002 0.0010

Ob ich das mal in die Liste eintrag?
Edit: Von grossen Downloads oder Rambelastung hab ich nix gemerkt! Geil is ja auch das man 199999 WUs pro Core Pro Tag abrufen kann kopfschüttel
 
Zuletzt bearbeitet:
Ich kann eure Probleme nicht nachvollziehen. FreeHAL läuft bei mir als "Nebenbeiprojekt" auf 3 Rechnern und ich bekomme von den Aktivitäten absolut gar nichts mit. Haltet einfach mal ne Zeit lang die Füße still, bis die anfänglichen Schwierigkeiten beseitigt sind. Ich denk die Projektbetreiber sind auf einen guten Weg (siehe Aktivität hier im Forum!!).
 
Habe es zwar hier schon mal angesprochen: http://forum.freehal.org/forum/viewtopic.php?f=5&t=75&sid=73dc2080a76929505b57a4229a2d46bb

Habe auch dieses Problem (wenn mal eine WU downgeloadet wird) ebenfalls. Die WUs blockieren dann quasi einen Kern (stehen von Anfang an auf 100% und 0:00 Prozessorzeit), werden aber i.d.R. nach 1-2 Minuten fertig (fast ohne CPU Auslastung) und bekommen dementsprechend Cr. Am Speicher kann es nicht liegen, habe noch 40% frei. Das System ist WinXP 32 SP2, AMD X²4800+, 2GB RAM...

Ist das Verhalten normal?
 
Zuletzt bearbeitet:
Also ich denke schon, dass euer Projekt etwas wird. Bei einem Alphaprojekt sollte auch keiner Meckern. Ich habe das jetzt als Nebenprojekt laufen und wenn was kommt, dann kommt was und ansonsten muss ich warten. ;) Ansonsten haben meine Computer genug zu tun. BOINC mäßig wird es denen so schnell nicht langweilig. :D
 
Sehe und handhabe ich genauso! Bin auf die nächsten Wochen gespannt!
 
Klingt vielversprechend. Bin sehr froh, dass es endlich ein Projekt aus meinem Fachbereich gibt. ;D
 
Ich habe doch schon gesagt, dass wir für den einwandfreien Betrieb den neuen Server benötigen, der leider erst in 2/3/4 Tagen zur Verfügung steht. ;)
Ich hoffe das klappt ;) Ich halte auf jeden Fall mal die Stange hoch. ;D
 
Aha ohne MICH wüsstet ihr garnichts davon xD

@FreeHAL
Gibt es denn schon einige zusätzliche Sprachbibliotheken zum runterladen für FreeHAL ?
 
Aha ohne MICH wüsstet ihr garnichts davon xD

@FreeHAL
Gibt es denn schon einige zusätzliche Sprachbibliotheken zum runterladen für FreeHAL ?
Hallo,

FreeHAL unterstützt bis jetzt nur die Sprachen Deutsch und Englisch, und die sind bereits fest eingebaut; weitere Sprachen könnte man hinzufügen, aber keiner aus dem Team kann eine andere Sprache so gut, dass er einen Parser und Wortart-Tagger dazu schreiben könnte. Sollte sich jemand (ernsthaft) finden, kann man FH relativ leicht erweitern...
 
Moin,

Hallo,

FreeHAL unterstützt bis jetzt nur die Sprachen Deutsch und Englisch, und die sind bereits fest eingebaut; weitere Sprachen könnte man hinzufügen, aber keiner aus dem Team kann eine andere Sprache so gut, dass er einen Parser und Wortart-Tagger dazu schreiben könnte. Sollte sich jemand (ernsthaft) finden, kann man FH relativ leicht erweitern...

Jetzt wird es interessant.
Wie würde das denn ablaufen?
Meine Freundin lebt und studiert in den Niederlanden und wäre grundsätzlich auch bereit das ganze zu Unterstützen. (Sie hat Niederländisch auch "nur" gelernt, kann die Sprache jedoch sehr gut, und wird von den Holländern nicht als Ausländerin erkannt.( Was eigentlich sehr selten ist))

Jedoch ist keiner von uns in der Lage einen Parser oder Wortart-Tagger zu schreiben..*noahnung*

Grüße
 
Ich meinte ob es schon berechnete Bibliotheken gibt.
(also aus FreeHAL@home)

Es werden keine Bibliotheken, sondern semantische Netze berechnet; mit dem neuen Server werden wir wieder neue Versionen hochladen, da ist das dann enthalten (in welcher Form, schreibe ich noch ausführlich auf die Homepage ins Entwicklertagebuch).
Moin,



Jetzt wird es interessant.
Wie würde das denn ablaufen?
Meine Freundin lebt und studiert in den Niederlanden und wäre grundsätzlich auch bereit das ganze zu Unterstützen. (Sie hat Niederländisch auch "nur" gelernt, kann die Sprache jedoch sehr gut, und wird von den Holländern nicht als Ausländerin erkannt.( Was eigentlich sehr selten ist))

Jedoch ist keiner von uns in der Lage einen Parser oder Wortart-Tagger zu schreiben..*noahnung*

Grüße

Das ist dann natürlich schwierig... Du müsstest uns ein paar einfache Sätze und die Unterschiede zur deutschen oder englischen Grammatik erklären. Wenn der Parser geschrieben ist, kann man ja schon Wissen eingeben; ein Tagger muss ja nicht zwingend gegeben sein (der User gibt dann die unbekannten Wortarten in der GUI an, wie früher, wo es noch keinen Tagger für FreeHAL gab).

Angenommen, man will FreeHAL auf Niederländisch mit einer deutschen Grammatik benutzen, deaktiviert man einfach den Tagger in der Konfigurationsdatei und gibt die Sätze ein.
 
Zuletzt bearbeitet:
Um mal den aktuellen Status zu erklären:

http://forum.freehal.org/forum/viewtopic.php?f=4&t=78&p=333

Aber es wird mit dem neuen Server möglich sein, vor allem per BOINC Daten aus anderen Projekten mit kompatiblen Lizenzen effizient zu parsen (dabei handelte es sich eigentlich erstmal um den verbleibenden Rest aus ConceptNet, dann OpenCyc; Auszüge aus Wikipedia können wir aber ebenfalls konvertieren lassen). Diese Daten lassen sich dann per Update an ältere Versionen verteilen und kommen auch gleich in die Downloads. Das ist das eine...

Das andere Ziel in dieser HInsicht ist, dass FreeHAL auch selbstständig eine Suchmachine verwendet, um Seiten zu bestimmten Themen zu finden, die zu parsen sind. Das ist im Prinzip das selbe, nur wird es dann nicht verteilt durchgeführt.

Wir haben einen (noch recht simplen) Algorithmus entwickelt, um aus Webseiten die wichtigsten Informationen herauszufiltern. Dieser vermeidet fast immer Navigationsbereiche und erkennt den Informationsgehalt anhand des Satzaufbaus. Mit dem neuen Server werden wir das benutzen, um für beide "Teile" die Daten zu filtern (Ausnahme OpenCyc, dort sind bereits nur sinnvolle Daten).

Wir wissen bereits recht genau, wie das alles umzusetzen ist, doch momentan fehlt es noch zu sehr an den Resourcen (Server), "dank" Strato.
 
Beim Projekt fehlen nun sämtliche Teams, es gibt nur noch das Team Team Sambuca *suspect*

So, mit meinen 0.15 trillion floating-point operations und 0 Cr. bin ich auf Rank 17 *buck*
 
Bei mir kamen gerade auf ein paar PCs min 10 neue WUs an. Sieht nach nem neuen Server aus. Auf der Seite ist noch nichts zu sehen...
 
Sieht ja richtig gut aus für uns. Platz 1 und der zweite hat gradmal halb soviele Punkte wie wir.*chatt*
 
Der Zeit wird wohl wirklich noch fleißig gewerkelt. Auf der Page funktioniert einiges noch nicht und ab und zu treten auch Fehlermeldungen auf. Wenigstens sind die Teams schon wieder da und die bereits erreichen Credits. Bekomme aktuell noch folgende Meldungen:
Fr 19 Sep 2008 21:11:58 CEST|FreeHAL@home|Scheduler request completed: got 26 new tasks
Fr 19 Sep 2008 21:11:58 CEST|FreeHAL@home|Message from server: No work can be sent for the applications you have selected
Fr 19 Sep 2008 21:11:58 CEST|FreeHAL@home|Message from server: You have selected to receive work from other applications if no work is available for the applications you selected
Fr 19 Sep 2008 21:11:58 CEST|FreeHAL@home|Message from server: Sending work from other applications
Fr 19 Sep 2008 21:11:58 CEST|FreeHAL@home|[error] Already have task ConvertDatabases_35795894225_2
 
Zurück
Oben Unten