S: Aus vielen html Files einen Link graph / Abhängigkeitsdiagramm erstellen

„Ja eh“ worauf ich hinaus wollte:
Wenn er bei /home anfängt und dann immer weiter crawlt auf link basis (<a href=„/foo“> clickme…), bleiben die natürlich ignoriert

Was du dir eher (coden ^^) erprompten solltest wäre eben der graph + eine liste an besuchten filehandles. in schritt 2 gehst du dann nochmal das dir durch und gibst alle files aus die negativ/positiv egal wie herum, aber vom crawler nicht besucht worden sind.

Spannend wirds natürlich wenn du auch einen bidirektionalen Graph möchtest für die backlinks

Der screaming frog kann das schon, du musst nur statt Spider-Modus List-Modus nehmen und ihm eine textdatei mit allen URLs geben.