Einzelnen Beitrag anzeigen
  #5  (Permalink
Alt 28.06.2007, 14:53
[BB]Angel [BB]Angel ist offline
Senior Mitglied
 
Registriert seit: 12.08.2002
Ort: Region Hannover
Alter: 37
Beiträge: 500
Provider: Telekom
Bandbreite: 100.000
Standard AW: domain name mit www. ohne htaccess mit DNS Eintrag?

Habe ich auch schon ... mit folgendem Eintrag

Code:
User-agent: * 
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

User-Agent Slurp
Crawl-Delay 18000
Da meine Seite auf Joomla basiert ist der erste Teil vorhanden.
Den Crawl hab ich eingetragen...
Mit Zitat antworten