Yahoo ausgeschlossen
von markus um 17:27 am Freitag, 19. September 2008
Wir haben den Yahoo-Suchroboter für netzpolitik.org ausgeschlossen. Grund ist die riesige Last, die dieser auf dem Server verbraucht. Der Robot erzeugt das 2-3-fache an Last gegenüber dem Google-Robot. Für die 50 Anfragen via Yahoo im Monat war uns das einfach und zuviel sorgte für einige Lastprobleme. Nerviger Nebeneffekt ist jetzt leider, dass auch Yahoo-Pipes ausgeschlossen ist. Haben noch keine Lösung gefunden, das voneinander zu trennen.
Update: Dank einem Hinweis haben wir die Einstellungen etwas geändert. Klappt jetzt Yahoo Pipes wieder?
getaggt mit: yahoo
Trackback URL | Incoming links
bookmarken bei | del.icio.us
| Digg it
| Furl
| StumbleUpon
| Mister Wong
| yigg it
Kommentare
8 Kommentare zu “Yahoo ausgeschlossen”
Schreibe einen Kommentar
Beachte bitte: Wir behalten uns eine Moderation der Kommentare vor und filtern zusätzlich nach Spam. Halte Dich bitte an die üblichen Benimmregeln!
Feed
Tags
Überwachung Aus der Reihe berlin Blogs Bundesregierung Bundestag Bundestrojaner Campaigning ccc China creative commons Datenschutz Deutschland Digitalkultur Digital Rights drm e-Democracy EU Events Freie Netze Freie Software Informationstechnologie Interview Medien meinungsfreiheit Menschenrechte Musik im Netz Netzpolitik Offene Standards open-source Podcast Politiker radio Softwarepatente tv uk Urheberrecht USA video-2.0 Vorratsdatenspeicherung web-2.0 Wikipedia Wissenschaft WSIS ZensurKategorien
- Aus der Reihe (567)
- Biometrie (69)
- Blogs (263)
- Campaigning (411)
- China (149)
- creative commons (484)
- Datenschutz (1610)
- Deutschland (2387)
- Digital Rights (1899)
- Digitalkultur (2143)
- e-Democracy (208)
- ePass (57)
- EU (343)
- Events (694)
- Freie Netze (134)
- Freie Software (788)
- General (4085)
- IGF (23)
- Informationstechnologie (567)
- Jugendschutz? (108)
- Menschenrechte (315)
- Musik im Netz (528)
- Netzpolitik (700)
- Netzpolitik-Podcast (59)
- netzpolitikTV (95)
- Offene Standards (130)
- Österreich (66)
- Podcast (333)
- RFID (17)
- Schweiz (78)
- Softwarepatente (137)
- UN (69)
- Urheberrecht (1144)
- USA (498)
- Wikipedia (138)
- WSIS (148)
- Zensur (312)
Links
Sitemap
Archiv
- Januar 2009 (34)
- Dezember 2008 (108)
- November 2008 (105)
- Oktober 2008 (114)
- September 2008 (114)
- August 2008 (115)
- Juli 2008 (119)
- Juni 2008 (110)
- Mai 2008 (117)
- April 2008 (117)
- März 2008 (96)
- Februar 2008 (107)
- Januar 2008 (172)
- Dezember 2007 (99)
- November 2007 (145)
- Oktober 2007 (158)
- September 2007 (134)
- August 2007 (113)
- Juli 2007 (134)
- Juni 2007 (117)
- Mai 2007 (129)
- April 2007 (144)
- März 2007 (142)
- Februar 2007 (129)
- Januar 2007 (177)
- Dezember 2006 (151)
- November 2006 (174)
- Oktober 2006 (193)
- September 2006 (171)
- August 2006 (156)
- Juli 2006 (107)
- Juni 2006 (114)
- Mai 2006 (146)
- April 2006 (139)
- März 2006 (178)
- Februar 2006 (124)
- Januar 2006 (175)
- Dezember 2005 (87)
- November 2005 (142)
- Oktober 2005 (82)
- September 2005 (105)
- August 2005 (112)
- Juli 2005 (94)
- Juni 2005 (104)
- Mai 2005 (103)
- April 2005 (139)
- März 2005 (110)
- Februar 2005 (78)
- Januar 2005 (84)
- Dezember 2004 (53)
- November 2004 (70)
- Oktober 2004 (45)
- September 2004 (38)
- August 2004 (49)
Unsere Podcasts
Disclaimer
Letzte Kommentare
- Ξ LINKLOAD vom 08.01.2009 Ξ UPLOAD - Magazin für digitales Publizieren Ξ bei Flip Mino im Test
- Björn bei 10 Most Innovative Concert Visuals ‘08
- Lehrerzimmer » Blog Archive » Freunde der klingonischen Oper bei Klingonische Oper im Radio
- Fahrverbote fürs Internet gibt’s doch schon : netzpolitik.org bei Nichtöffentliches Spitzengespräch im Justizministerium
- markus bei Obama stellt Musikindustrie-Lobbyisten ein
- Thomas bei Änderungsentwurf zum BSI-Errichtungsgesetz im Volltext
- Ralf Bendrath bei Änderungsentwurf zum BSI-Errichtungsgesetz im Volltext
- John bei Obama stellt Musikindustrie-Lobbyisten ein
- Interessantes woanders am 8. January 2009 › Immersion I/O bei 10 Most Innovative Concert Visuals ‘08
- Interessantes woanders am 8. January 2009 › Immersion I/O bei Mehr Gebäude-Verschönerung
Letze Artikel
- USA: Top 50 Political Blogs
- Fahrverbote fürs Internet gibt’s doch schon
- Netzpolitik-Podcast 071: Wikileaks
- Willkommen im Medienwandel
- Änderungsentwurf zum BSI-Errichtungsgesetz im Volltext
- Klingonische Oper im Radio
- Mehr Gebäude-Verschönerung
- Obama stellt Musikindustrie-Lobbyisten ein
- Twitter unter dem Mikroskop
- Mobiles DJ-Tool: Pacemaker
- iTunes - Musik ohne Kopierschutz
- 3. Kurzstudie: Politik im Web 2.0
- 10 Most Innovative Concert Visuals ‘08
- Der VDSL-Netzausbau und die Kabelkonkurrenz
- Bundeswehr: Vernetzte Operationsführung
- 
Sep 19th, 2008 @ 18:02
Was besonders nervig ist: Yahoo scannt von verschiedensten IPs und verfälscht so die Nutzungsstatistik.
Mit einem speziellen Eintrag in die Robots.txt konnte ich den Yahoo-Ansturm ausbremsen. Man gibt dem Robot einen hohen enorm hohen Pausenwert vor und dann kann man mit der Last leben.
Sep 19th, 2008 @ 18:07
Hier steht wie es geht:
http://help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-03.html
Sep 19th, 2008 @ 18:17
Danke, probieren wir mal.
Sep 19th, 2008 @ 19:15
Danke Torsten, das delay steht jetzt auf 20 (mal rantasten), außerdem sind dem gierigen slurp sachen wie /tag/ und /category/ verboten.
Kann jemand testen, wie gut yahoo pipes noch klappt?
Sep 19th, 2008 @ 19:30
Also ich bekomme hier leider immer noch einen 403-Fehler.
Sep 19th, 2008 @ 21:54
Sagt mir bitte, dass ich das falsch verstanden hab. 50 Anfragen im Monat, also nicht mal 2 pro Tag, sind eine riesige Last?
Sep 20th, 2008 @ 10:19
Falsch verstanden: Es kommen im Monat ca. 50 Menschen über eine Yahoo-suchanfrage auf dieses Blog. Der Yahoo-Suchroboter kommt aber 180.000x vorbei. Das ist keine Relation zum Ergebnis.
Sep 20th, 2008 @ 23:37
Pipes stirbt den 403er-Datentod.