Rausfinden wann von Suchmaschine durchsucht!

[Guenny0815]

Guten Morgen,

wie kann man rausfinden wann die geünschte Website das letzte mal durchsucht wurde?

Würde mich mal interessieren.

[Bubble]

Logfiles erzeugen lassen und auswerten. Viele Suchmaschinen geben sich mit einem eigenen Browser-ID-String zu erkennen.

[Guenny0815]

Und wie stelle ich das an?

[Amstelchen]

vorzugsweise mit dem von dir favorisierten logfile-analysetool (analog, webalizer, webstats, awstats, webtrends, webmill, ...), alternativ mittels grep die einzelnen suchclient-strings aus dem logfille rausgreppen, welche z.b. so aussehen:

msnbot/1.0 (+http://search.msn.com/msnbot.htm)

Yahoo-MMCrawler/3.x

s'Amstel

[geloescht_JesterDay]

Und wie stelle ich das an?

Normalerweise hat der Webserver standardmäßig ein Log aktiviert. Je nach Server und Umgebung liegt das aber woanders, steht aber in der Config Datei, wo das ist.

Bsp (Linux):

vi /var/log/apache2/access-log

dann in vi:

/ (Shift + 7) und googlebot eingeben. Dann zeigt er das erste vorkommen von "googlebot" in der Logdatei. Mit "n" springst du zum nächsten.

Normalerweise werden die Logs auch automatisch umbenannt und neu erstellt, jeden Tag, oder jede Woche. Das Log sollte also nicht zuuu groß sein.

EDIT:

Analyse-Tools zeigen nicht unbedingt das Datum an, wann der Bot zuletzt kam (oder überhaupt kam). Sie zeigen eigentlich nur an das und wieoft er kam. (Zumindest die, die ich kenne)

[Jaraz]

EDIT:

Analyse-Tools zeigen nicht unbedingt das Datum an, wann der Bot zuletzt kam (oder überhaupt kam). Sie zeigen eigentlich nur an das und wieoft er kam. (Zumindest die, die ich kenne)

awstats zeigt Seitenaufrufe, Trafik und letzen Zugriff eines Bots an.

http://awstats.sourceforge.net/

Mit anderen Tools arbeite ich nicht.

Gruß Jaraz

[geloescht_JesterDay]

awstats zeigt Seitenaufrufe, Trafik und letzen Zugriff eines Bots an.

http://awstats.sourceforge.net/

Mit anderen Tools arbeite ich nicht.

awstats benutze ich seit neuestem auch, aber wo zeigt der da den letzten Zugriff eines Bots an? Oder ist das ein PlugIn? Ich hab nur awstats + GeoIP bei mir, aber den letzten Zugriff hab ich entweder übersehen oder der ist bei mir nicht da.

Ansonsten ist auf unserem Webserver standarmäßig Webalyzer drauf (auch privat bei meinem Webspace), und der zeigt es auch nicht an.

Wenn man aber regelmäßig die Logdatei ansieht (mit awstats z.B.), merkt man auch, wie oft ein Bot vorbeikommt

[Jaraz]

awstats benutze ich seit neuestem auch, aber wo zeigt der da den letzten Zugriff eines Bots an? Oder ist das ein PlugIn?

Nicht das ich wüsste. Sollte in der normalen Installationsversion schon aktiviert sein.

http://ns3744.ovh.net/awstats/awstats.pl?config=destailleur.fr

Dann Links auf auf: Robots/Spiders (Suchmaschinen)

Gruß Jaraz

[geloescht_JesterDay]

Nicht das ich wüsste. Sollte in der normalen Installationsversion schon aktiviert sein.

Stimmt, jetz wo ich es seh... bin diese Woche nich im Büro.