Frage an die Techniker

27. February 2009 by Sven Dietrich

Hallo Internet. Du weißt doch immer alles – Ich habe eine Frage an dich.

Mein Blog leidet an übermässigen Zugriffen aus Firmennetzwerken.

Aus den Netzwerken von Sony UK, BMW, Bayer, Dresdner Kleinwort und anderen gibt es übermässig bis viel zu viele Zugriffe auf meinen kleinen Webspace mit diesem Blog.

Mein Provider hat deren IPs erstmal gesperrt, leider können die Angestellten von den genannten Firmen jetzt mein Blog nicht mehr lesen.

Von bekannten höre ich öfter die Geschichte von komischen Firmenproxies, die bei Besuchen aus dem Firmennetzwerk die Seite erstmal “komplett” abgrasen (alle Seiten aufrufen um sie bei sich im Proxy zu speichern). Da Firmen wie BMW oder Sony an richtig dicken Leitungen sitzen wird beim abgrasen meines Blogs leider erstmal alles lahmgelegt.

Nix geht mehr, dauert in der Regel 10 Minuten und danach ist der Spuk vorbei.

Liebes Internet, weißt du da einen Trick? Es ist bestimmt ganz einfach, ich finde nur nicht den richtigen Begriff für Google um die Lösung selbst zu finden.

6 comments on ‘Frage an die Techniker’

Daniel Große 27 February 2009 10:02

Was für eine Lösung brauchst Du denn genau? Einen bessren Provider? Eine Möglichkeit, IP-Adressen zu sperren (das hat Dein Provider ja schon) oder was?

Sven Dietrich 27 February 2009 10:16

Eine Möglichkeit übermässige Zugriffe einzudämmen.

Nur sehr ungerne sperre ich ganze Firmennetzwerke aus.

micha_s 27 February 2009 10:17

http://de.wikipedia.org/wiki/Robots_Exclusion_Standard

vielleicht halten sich Sony UK, BMW, Bayer, Dresdner Kleinwort ja an die norm, dann kannst du sie ausschließen

Jens 27 February 2009 10:35

Wenns nur um die Performance geht: Robots.txt mit crawl-delay ausstatten.

Sven Dietrich 27 February 2009 11:09

Aha. Das habe ich gesucht. Mal testen und schauen ob es etwas bringt.

Dennis Ring 02 March 2009 07:51

Moin Moin,

wie du im Artikel bereits vermutet hast, tippe ich auf einen Proxy innerhalb der Firmennetzwerke. Mal eben ganze Websites zu Cachen ist dabei nichts ungewöhnliches. Mit eigenen Projekten habe ich ähnliche Erfahrungen bereits gemacht.

Ein Ansatz ist:

Zumindest jeder ordentliche Proxy sollte sich daran halten. Alternativ (oder zusätzlich) geht auch:

Damit ist die Seite nach dem Laden bereits veraltet, in der Hoffnung, dass ein Proxy wenig “Lust” hat, die Seite dann zu Cachen.

Mehr zum Thema: