Yahoo ausgeschlossen

Wir haben den Yahoo-Suchroboter für netzpolitik.org ausgeschlossen. Grund ist die riesige Last, die dieser auf dem Server verbraucht. Der Robot erzeugt das 2-3-fache an Last gegenüber dem Google-Robot. Für die 50 Anfragen via Yahoo im Monat war uns das einfach und zuviel sorgte für einige Lastprobleme. Nerviger Nebeneffekt ist jetzt leider, dass auch Yahoo-Pipes ausgeschlossen ist. Haben noch keine Lösung gefunden, das voneinander zu trennen.

Wir finanzieren uns fast vollständig aus Spenden von Leserinnen und Lesern. Unterstütze unsere Arbeit mit einer Spende oder einem Dauerauftrag.

Update: Dank einem Hinweis haben wir die Einstellungen etwas geändert. Klappt jetzt Yahoo Pipes wieder?

Weitersagen und Unterstützen. Danke!
8 Kommentare
  1. Was besonders nervig ist: Yahoo scannt von verschiedensten IPs und verfälscht so die Nutzungsstatistik.

    Mit einem speziellen Eintrag in die Robots.txt konnte ich den Yahoo-Ansturm ausbremsen. Man gibt dem Robot einen hohen enorm hohen Pausenwert vor und dann kann man mit der Last leben.

    1. Danke Torsten, das delay steht jetzt auf 20 (mal rantasten), außerdem sind dem gierigen slurp sachen wie /tag/ und /category/ verboten.

      Kann jemand testen, wie gut yahoo pipes noch klappt?

    1. Falsch verstanden: Es kommen im Monat ca. 50 Menschen über eine Yahoo-suchanfrage auf dieses Blog. Der Yahoo-Suchroboter kommt aber 180.000x vorbei. Das ist keine Relation zum Ergebnis.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.