http-crawler

kA ob das der richtige name für das is, bessere beschreibung fiel mir net ein..


ich such ein programm, dass eine reihe von URLs abfragt und loggt ob die anforderung erfolgreich waren (= ob eine seite oder n 404-fehler zurückgekommen is).
praktisch wärs auch noch, wenn in der liste der abzufragenden URLs wildcards erlaubt wären..


kennt wer sowas?

so dass bei "http://blau[0-9]rot.com" (afaik ist das die gebräuchliche syntax)

zB nach

http://blau1rot.com
http://blau2rot.com
http://blau3rot.com
.
.
http://blau9rot.com
http://blau0rot.com gesucht wird.

hab mal sowas in der art bein nem ferialjob gecodet (Perl)... habs aber leider nimma ,-(

Zitat von rettich

http://www.relsoftware.com/wlv/

ganz nett. auch per command line möglich. keine freeware.

scheint das (und noch weit mehr) zu können was ich brauch..
kennt irgendwer noch ne freeware-alternative?


edit: thx rettich, das prog funzt wunderprächtig!

ich glaub es gab sowas mal aufm download server von chip.de
vielleicht solltest du da mal suchen