programm, das webserver nach dateien durchsucht

lolaB

hi,
es gibt doch software-tools, die auf einem angegebenen server nach beliebigen dateien suchen (d.h. einfach einen request starten und schauen, ob ein 404-error zurückkommt). zb probiert er bei suche nach index*.htm für * 0-9, a-z od. A-Z ein und schaut, was passiert.
man kann mit diesen eine liste aller dateien auf dem server bekommen (theoretisch).

ich wurde kürzlich "opfer" eines solchen tools: jedes mal, wenn eine fehlerhafte url aufgerufen wird, krieg ich ein mail - und in diesem fall halt sehr sehr viele mails. folglich hab ich in das php-script, das diese mails verschickt, eine entsprechende abfrage eingebaut (wenn sich der vorige 404-error nur durch ein zeichen unterscheidet, kein mail schicken u.Ä.).

aber: um es zu testen, bräucht ich so ein programm. hab herumgegoogelt, aber nichts gefunden. hat jemand von euch vielleicht ein tipp?

danke,
lola

lj_scampo

da du eh schon php laufen hast, versuchs mal so:

Code

for ($i=0; $i<10; $i++)
{
  $url = "www.blabla.at/index".$i.".html";
  $phpnet = fsockopen($url, 80, &$errno, &$errstr, 30); 
  if(!$phpnet) {
    # datei nicht gefunden
  } else {
    #datei gefunden
  } 
}

allerdings hab ich das grad frei hingeschrieben und nicht selbst getestet, obs geht...
zu fsockopen siehe auch http://www.php.net/manual/de/function.fsockopen.php
vielleicht hilfts ja

lolaB

das hab ich mir auch schon überlegt, das wäre eine möglichkeit.
aber ich glaub, diese programme können mehr als das ...

thx für den input jedenfalls!

lg,
lola

Usher

mein Tipp: weiter rumgoogeln ;o) --> Stichwörter: Agent, Robot
Aber, wenn Du's nur brauchst, um zu testen...da kann ich Dir ja persönlich auch weiterhelfen: Du brauchst nur die Domain sagen und ich tippe irgendwelche erfundenen html Dateien in den Browser...

lolaB

@ usher

danke für das angebot, aber das script soll ja erkennen, wann diese abfrage automatisch geschieht - einen "normalen" 404er möcht ich weiterhin per mail mitgeteilt bekommen.
hab noch weiter gesucht, aber leider nichts gefunden ... nur massenhaft erklärungen über die funktionsweise von suchmaschinen

lg,
lola

Usher

ich glaube wenn man bei paar suchmaschinen drinnen ist, wird man von solchen Agenten dauernd gefunden *g* - da ist man im Dauertest (auch wenn man das gar nicht möchte)...ist jedenfalls bei mir so....ständig irgendwelche pseudo-hack-Seitenaufrufe - und immer von denselben IPs...;o)

Jetzt mitmachen!