# robots.txt fuer http://www.dsd.net/
User-agent: *            # Wildchar * schließt alle Crawler aus.

# Mit den einzelnen Disallow-Einträgen bestimmt man Dateien und Verzeichnisse, die nicht indexiert werden sollen.
# 'Disallow: /' verbietet die komplette Site
# 'Disallow: ' erlaubt die ganze Site

Disallow: /_udo_open_source/

Disallow: /bugs/       # BugTracker
Disallow: /cgi-bin/    # CGI-Ausgaben nicht indexieren
Disallow: /css/
Disallow: /img/        
Disallow: /includes/
Disallow: /js/

Disallow: /logfiles/   # Die ändern sich jeden Tag
Disallow: /temp/       # Die Dateien sind sehr kurzlebig