Das Robots Exclusion Protocol (REP) soll, wenn es nach Googles Plänen geht, ein offizieller Internetstandard bei der IETF (Internet Engineering Task Force) werden. Google hat neben der auf dem Webmaster Central Blog angekündigten Einreichung der REP-Vorschläge bei der Organisation auch seine eigene Software zum Parsen von "robots.txt" quelloffen zur Verfügung gestellt.

Von dem niederländischen Softwareentwickler Martijn Koster stammt die grundsätzliche Idee, Informationen beziehungsweise Regeln für Webcrawler in einer separaten Datei auf dem Webserver abzulegen. Davor hatte er Aliweb entwickelt, die als erste echte Search-Engine im Web gilt. Vor 25 Jahren entstand das Robots Exclusion Protocol, das auch als Robots Exclusion Standard oder schlicht nach dem Dateinamen als robots.txt bezeichnet wird.

Das Protokoll hat eine unabhängige Gruppierung seit 1994 zum De-facto-Standard entwickelt. Bisher ist das Protokoll kein offizieller Standard, auch wenn sich inzwischen Microsoft, Google und Yahoo über gemeinsame Regeln darüber geeinigt haben. Nach Googles Wünschen soll sich ebendieses nun ändern, wie das Unternehmen in einem Beitrag auf seinem Webmaster Central Blog ankündigt.

(hv, hannover)

(siehe auch Heise News-Ticker:)

Hannover · EDV-Beratung · Linux · Novell · Microsoft · Seminar · IT-Consult · Netzwerk · LPIC · CLE