Hallo nina,
es gibt einige Suchmaschinen, die sich nicht für Schlüsselwörter interessieren (z.B. Google),
sondern nur für den Ihnhalt von <TITLE> und <BODY>
Wenn nur die index.html (Startseite) von den Suchmaschinen in den Index aufgenommen werden soll,
dann kannst Du mit der robots.txt alle anderen Dateien und Verzeichnisse auschließen.
Beispiel:
User-agent: *
Disallow: /gehweg/
Alle HTML-Dateien die sich in
http://www.example.com/gehweg/ befinden, werden nicht in den Index aufgenommen.
Gruß Sabine
