Bots

[fax]

Musterschutz ist halt nicht das gleiche wie Patente und Russland ist doch sowieso pure Anarchie. Aber egal, wir haben sowieso so gut wie alle Russen ausgesperrt, weil die nur mit Bots im Forum rumschnüffeln. Die letzten paar Wochen war ich damit beschäftigt, die Chinesen auch rauszuhalten. Seufz.

[Catl]

Aber egal, wir haben sowieso so gut wie alle Russen ausgesperrt, weil die nur mit Bots im Forum rumschnüffeln. Die letzten paar Wochen war ich damit beschäftigt, die Chinesen auch rauszuhalten. Seufz.

Wie ist das eigentlich mit dem yahoo Bot, der ist hier ja fast ständig auf der Suche... Was spricht dagegen, den auch auszusperren?

[fax]

Beiträge abgetrennt von: http://www.saksalaiset.fi/forum/viewtop ... =21&t=2515

Bot ist ein ziemlich weitgefasster Begriff: http://de.wikipedia.org/wiki/Bot

Wir versuchen Bots auszusperren, die versuchen private Daten auszuspähen oder Spam im Forum zu verbreiten. Die Webcrawler von Suchmaschinen wie Yahoo sind durchaus erwünscht, weil dadurch Leute das Forum finden können, die noch nichts davon wissen. Auf die Benutzerprofile haben die Webcrawler keinen Zugrif. Wir hatten am Anfang Probleme mit Webcrawlern, weil zu viel Bandbreite beansprucht wurde. Das haben wir aber inzwischen im Griff.

[Catl]

Achso. Hab mich nur gewundert, weil ich den Yahoo [Bot] hier fast immer sehe.

[Georg]

Gerade war im "Wer ist online" u.a. folgender Eintrag zu lesen:

Dotbot [Crawler] Mi 4. Mär 2009, 11:56 Beantwortet eine Nachricht in Kinder und Familie.

Klingt ein bischen seltsam - gehört das so? Offensichtlich kam dann ja keine Nachricht, aber trotzdem wollte ich mal fragen.

[Micha]

Ich nehme an, er hat beim Stöbern die Seite geöffnet, auf der man einen Beitrag erstellt. Unsere Statistik hat dann ausgewiesen, dass er eine Nachricht verfasst.
Beide Systeme waren also ziemlich dumm!

[fax]

Eigentlich sollten die Bots nicht auf die Beitrag erstellen Seiten gelangen, weil wir die in der robots.txt ausgeschlossen haben. Dotbot sagt mir jetzt spontan sowieso nichts, der scheint schlampig implementiert zu sein, wenn er sich nicht an die robots.txt hält.

[Micha]

Muß der gewesen sein...

[fax]

Jetzt ist mir klar, warum Dotbot in der Benutzerregistrierung gelandet war. Bei der Joomla Installation wurde die robots.txt mit der Version von Joomla überschrieben. Jetzt ist wieder alles im Lot.

[Micha]

Aha! Mir war der erhoehte Bot-Betrieb auch aufgefallen - und fake-Registrierungen gab es auch wesentlich oefter als sonst. Allerdings ging das einher mit "echten" Registrierungen.

[Georg]

Da fiel mir gerade dass auf:

Baidu [Spider] Liest Themen in Turku Mo 23. Nov 2009, 15:53

Ist das ok? Eigentlich ist der Bereich doch nur für Mitglieder.

[Micha]

Hmm, eigentlich sollte er das nicht können.
Ob er da tatsächlich Inhalte zu Gesicht bekommt, weiß ich nicht. Evt. stimmt das textbot-file nicht, ich schau's mir mal an.

[fax]

Ich glaube nicht, dass Baidu an die Beiträge rankommt. Dazu müsste er sich automatisch registriert und eingeloggt haben. Vermutlich ist er einem Link gefolgt und bekommt den Inhalt nicht zu sehen.

[fax]

IIRC enthält PHPBB2 neben anderen Funktionen auch die Möglichkeit, daß Suchmaschinen Beiträge indizieren können, für die man sonst angemeldet sein muß.

Die mir bekannte Dokumentation zu phpBB 3.0.x erwähnt davon nichts.

Grad Suchmaschinen, die uns nix bringen (China, Rußland, etc.) würde ich per .htaccess IP-mäßig blocken. Dann kriegen die schon vom Webserver selber nix mehr, egal, wie die Anwendung konfiguriert ist.

Wäre eine Möglichkeit. Wir blocken schon sehr viele russische und chinesische Netze durch eine phpBB Funktion. .htaccess hätte natürlich den Vorteil, dass man das nicht für Joomla duplizieren muss.

[fax]

Grad Suchmaschinen, die uns nix bringen (China, Rußland, etc.) würde ich per .htaccess IP-mäßig blocken. Dann kriegen die schon vom Webserver selber nix mehr, egal, wie die Anwendung konfiguriert ist.

Wäre eine Möglichkeit. Wir blocken schon sehr viele russische und chinesische Netze durch eine phpBB Funktion. .htaccess hätte natürlich den Vorteil, dass man das nicht für Joomla duplizieren muss.

Muss mir wohl doch die htaccess mal zu Gemüte führen, wenn man sich anhört, was da in China so abgeht. Russland ist zwar nicht in der Diskussion, aber meiner Erfahrung nach kein Stück besser. Seufz.