Tag 6: Von Crawlern und Robotern

Crawler, auch Robots oder Spider genannt, sind Programme (User-agents), die automatisch Dokumente im www durchsuchen und einen Index aufbauen. Damit sind diese Suchroboter die Basis für die Arbeit von Suchmaschinen. Sie durchforsten also das Internet und machen ihre Ergebnisse für den Benutzer sichtbar.

Robots Exclusion Standard
Mit robots.txt gibt es die Möglichkeit bestimmte Unterseiten und Verzeichnisse einer Website von der Indexierung auszuschließen. Die Seiten können demnach nicht mehr von den Suchmaschinen gefunden werden. Unterseiten werden dann ausgeschlossen, wenn sie sich noch im Aufbau befinden oder sich der Inhalt ständig ändert.Die Datei liegt im Hauptverzeichnis einer Domain und gibt Verzeichnisse an, deren Inhalte nicht ausgelesen werden dürfen. (z.B. Auslesen von Zugangsdaten oder Email-Adressen)

User-agent: * -> alle Roborter dürfen ab dem Stammverzeichnis nicht auslesen
Disallow: /     -> die komplette Website darf nicht ausgelesen werden


Die Robots lesen nach folgender Reihenfolge aus:

1. .htaccess
2. robots.txt
3. sitemap.xml

Fünf Kriterien für die on-Page-Optimierung: (für Klausur)

• Keyword im Titel der Domain einfügen
• meta-description
• h1 & h2-Überschriften
• Hohe density des Keywords
• alt-Attribute zu Bildern
• Keyword in Listen und Tabellen
• Keyword im Ankertext 

white,- grey,- und black-hat-tricks -> Tricks zur Suchmaschinenoptimierung

• white-hat: Erlaubte Maßnahmen der Suchmaschinenoptimierung
• grey-hat: Grauzone des Erlaubten
• black-hat: Nicht erlaubte Maßnahmen, die vermieden werden sollten (Cloaking, Spamming, Keywordstuffing).Diese Tricks werden dann eingesetzt, wenn enormens Konkurrenzverhalten herrscht. Black-hat-seo wird in der Regel abgestraft.