Google liebt meine robots.txt

So oder so ähnlich muss ich wohl die letzten Tage verstehen. Googles Verhalten ist einfach sonderbar.

Was mich wirklich verwundert, ist überhaupt der Umstand, dass die robots.txt-Datei gern auch ein paar Mal hintereinander (zwar mit zeitlichem Abstand) abgerufen wird und sonst nix. Verwunderlich deswegen, da diese Datei den GoogleBot freie Hand lässt, er darf alles indizieren, was ihm zwischen die digitalen Finger kommt. Also könnte der Bot die Datei theoretisch komplett ignorieren. Na gut, den Sitemap-Verweis könnte er noch auswerten, aber auch da hab ich Google bereits das Futter schon mehrfach hingelegt.

Ergo: der Bot ist doof!

Zur Erklärung des Screenshots: Obige 3 Zeilen teilen nur mit, dass erstens alle Bots alles durchsuchen dürfen und zweitens es eine (komprimierte) Sitemap gibt. Billig und einfach. Achja, die ersten zwei Zeilen sollte einfach jeder haben, auch wenn er darauf keinen Wert legt, was die dummen Viecher der Suchmaschinen so anstellen. Aber eine robots.txt im Stammverzeichnis vermeidet schon mal viele sinnfreie 404-Fehler, da fast jeder SuMa-Bot — sofern nach Empfehlung eingestellt — sich an die Regeln und daher auch nach dieser Datei Ausschau hält.

Was Google aber so dolle an diesen paar Bytes hier findet, weiß ich nicht. Hat sich wohl verliebt …