Webcrawler

[blackodemx]

Hallo,

mir stellt sich aktuell die Frage, wie ein Suchmaschinencrawler Seiten zum scannen findet.

Läuft dieser einfach alle Kombinationen von z.B. a.de bis zzzzzzzzzzzzzzzzzzzzzzz.de durch?

Oder werden da anderes Strategien verfolgt?

Und wie würde man das obere Beispiel anwenden, es würde ja nicht reichen die Potenzmenge des Alphabets zu beziehen, man müsste ja auch beachten das Buchstaben mehrfach vorkommen können etc. Sehe ich das richtig?

[grueni]

Was hat das jetzt konkret mit .NET zu tun?

[blackodemx]

Tut mir leid, ist wohl eine Angewohnheit hier zu posten

Wäre es möglich das Thema zu verschieben?

[flashpixx]

Nein, Google z.B. verfolgt den Webgraphen, sowohl in normaler, wie auch inverser Richtung

[blackodemx]

Worum genau handelt es sich bei dem Webgraphen? Google liefert da kaum vernünftige Ergebnisse

[flashpixx]

http://de.wikipedia.org/wiki/Graph_(Graphentheorie)

z.b. http://de.wikipedia.org/wiki/Skalenfreies_Netz