Wir haben den Yahoo-Suchroboter für netzpolitik.org ausgeschlossen. Grund ist die riesige Last, die dieser auf dem Server verbraucht. Der Robot erzeugt das 2-3-fache an Last gegenüber dem Google-Robot. Für die 50 Anfragen via Yahoo im Monat war uns das einfach und zuviel sorgte für einige Lastprobleme. Nerviger Nebeneffekt ist jetzt leider, dass auch Yahoo-Pipes ausgeschlossen ist. Haben noch keine Lösung gefunden, das voneinander zu trennen.
Update: Dank einem Hinweis haben wir die Einstellungen etwas geändert. Klappt jetzt Yahoo Pipes wieder?
Was besonders nervig ist: Yahoo scannt von verschiedensten IPs und verfälscht so die Nutzungsstatistik.
Mit einem speziellen Eintrag in die Robots.txt konnte ich den Yahoo-Ansturm ausbremsen. Man gibt dem Robot einen hohen enorm hohen Pausenwert vor und dann kann man mit der Last leben.
Hier steht wie es geht:
http://help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-03.html
Danke Torsten, das delay steht jetzt auf 20 (mal rantasten), außerdem sind dem gierigen slurp sachen wie /tag/ und /category/ verboten.
Kann jemand testen, wie gut yahoo pipes noch klappt?
Also ich bekomme hier leider immer noch einen 403-Fehler.
Danke, probieren wir mal.
Sagt mir bitte, dass ich das falsch verstanden hab. 50 Anfragen im Monat, also nicht mal 2 pro Tag, sind eine riesige Last?
Falsch verstanden: Es kommen im Monat ca. 50 Menschen über eine Yahoo-suchanfrage auf dieses Blog. Der Yahoo-Suchroboter kommt aber 180.000x vorbei. Das ist keine Relation zum Ergebnis.
Pipes stirbt den 403er-Datentod.