robots.txt

Seite 1 von 1 - Forum: Coding Stuff auf overclockers.at

URL: https://www.overclockers.at/coding-stuff/robots_txt_188583/page_1 - zur Vollversion wechseln!

Visitor schrieb am 02.12.2007 um 00:08

Hallo!

Die Forumsuche und auch googl konnten mich nicht zufriedenstellend informieren.

Vielleicht kennt sich von euch ja wer aus.

Auf meiner HP möchte ich folgende Ordner vor search bots schützen.

/konstanze
/forum/admin
/mysqldumper

Joomla hat schon eine robots.txt dabei.

Kann ich da jetzt die Pfade im gleichen stil einfach eintragen, oder ist eine Reihenfolge zu beachten.

zb. Disallow: /forum/admin/

Hier die vorhandene robots.txt

Code:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Disallow: /konstanze/
Disallow: /forum/admin/
Disallow: /mysqldumper/

EDIT:
Hab geade die Fomatierung gerichtetn

fatmike182 schrieb am 02.12.2007 um 00:17

du kannst auch ein disallow für googlebots generell machen, falls du das willst.
http://www.javascriptkit.com/howto/robots.shtml

Bzgl Reihenfolge wüsste ich nix, kanns mir auch nicht vorstellen

Visitor schrieb am 02.12.2007 um 00:21

Okay, dann probier ichs mal einfach
Werds dann schon merken
Danke.

fatmike182 schrieb am 02.12.2007 um 00:24

Moment:
http://www.webmasterworld.com/google/3044757.htm behauptet was andees bzgl Order, aber habs nur überflogen
"no. Some bots have worked in the past in increasing order of importance. What comes last in the robots.txt trumps what comes first. A sequential reading of robots.txt is how Infoseek and Scooter used to work."

btw: http://www.askapache.com/seo/seo-with-robotstxt.html
da findest du noch paar Bsp-Konfigs

Visitor schrieb am 02.12.2007 um 00:51

Muss ich mir nochmal ganz genau anschauen.

Im Zweifelsfall werde ich es einfach alphabetisch sortieren.

mfg
Visitor

mat schrieb am 02.12.2007 um 17:52

Zitat von Visitor
Kann ich da jetzt die Pfade im gleichen stil einfach eintragen, oder ist eine Reihenfolge zu beachten.

zb. Disallow: /forum/admin/

ohne bedenken kannst du das so machen.

Zitat von fatmike182
du kannst auch ein disallow für googlebots generell machen, falls du das willst.
http://www.javascriptkit.com/howto/robots.shtml

Zitat von fatmike182
Moment:
http://www.webmasterworld.com/google/3044757.htm behauptet was andees bzgl Order, aber habs nur überflogen
"no. Some bots have worked in the past in increasing order of importance. What comes last in the robots.txt trumps what comes first. A sequential reading of robots.txt is how Infoseek and Scooter used to work."

fatmike, verwirrst du dich eigentlich machnmal selbst? :confused:

wer seine robots.txt speziell auf gewisse bots anpasst, der darf im falle des google-bots nicht die instruktionen vererben. so ignoriert der bot nur die einträge, die unter seiner kategorie stehen und nimmt die der kategorie "*" nicht mit. dadurch muss bei so einer unterscheidung jeder eintrag für * nochmal unter der kategorie für den google-bot aufscheinen.

fatmike182 schrieb am 02.12.2007 um 20:42

habs ja dann eh revidiert...
bzgl generell & google hätt ich mir gedacht, dass die Vererbung wie bei CSS abläuft.