Wir haben den Yahoo-Suchroboter für netzpolitik.org ausgeschlossen. Grund ist die riesige Last, die dieser auf dem Server verbraucht. Der Robot erzeugt das 2–3‑fache an Last gegenüber dem Google-Robot. Für die 50 Anfragen via Yahoo im Monat war uns das einfach und zuviel sorgte für einige Lastprobleme. Nerviger Nebeneffekt ist jetzt leider, dass auch Yahoo-Pipes ausgeschlossen ist. Haben noch keine Lösung gefunden, das voneinander zu trennen.
Update: Dank einem Hinweis haben wir die Einstellungen etwas geändert. Klappt jetzt Yahoo Pipes wieder?
Ergänzungen
Wir freuen uns auf Deine Anmerkungen, Fragen, Korrekturen und inhaltlichen Ergänzungen zum Artikel. Bitte keine reinen Meinungsbeiträge. Unsere Regeln zur Veröffentlichung von Ergänzungen findest Du unter netzpolitik.org/kommentare. Deine E-Mail-Adresse wird nicht veröffentlicht.
8 Kommentare zu „Yahoo ausgeschlossen“
,
Was besonders nervig ist: Yahoo scannt von verschiedensten IPs und verfälscht so die Nutzungsstatistik.
Mit einem speziellen Eintrag in die Robots.txt konnte ich den Yahoo-Ansturm ausbremsen. Man gibt dem Robot einen hohen enorm hohen Pausenwert vor und dann kann man mit der Last leben.
,
Hier steht wie es geht:
http://help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-03.html
,
Danke Torsten, das delay steht jetzt auf 20 (mal rantasten), außerdem sind dem gierigen slurp sachen wie /tag/ und /category/ verboten.
Kann jemand testen, wie gut yahoo pipes noch klappt?
,
Also ich bekomme hier leider immer noch einen 403-Fehler.
,
Danke, probieren wir mal.
,
Sagt mir bitte, dass ich das falsch verstanden hab. 50 Anfragen im Monat, also nicht mal 2 pro Tag, sind eine riesige Last?
,
Falsch verstanden: Es kommen im Monat ca. 50 Menschen über eine Yahoo-suchanfrage auf dieses Blog. Der Yahoo-Suchroboter kommt aber 180.000x vorbei. Das ist keine Relation zum Ergebnis.
,
Pipes stirbt den 403er-Datentod.
Dieser Artikel ist älter als 17 Jahre, daher sind die Ergänzungen geschlossen.