Vaderfone Geschrieben 18. Januar 2011 Geschrieben 18. Januar 2011 Hay liebe Com, ich habe das Problem das ich mit bash ein kleines Programm scripte wo man einen Suchbegriff eingibt und dann alle Links die Google dazu ausspucken würde ausgespuckt werden. (Nur die Links ohne den ganzen anderen Schnickschnack) Jetzt habe ich mit folgendem Bashcode bereits den jeweiligen Quelltext der Googlesuche heruntergeladen. Das funktioniert auch prima, wenn ich den jetzt öffne sehe ich die ersten Links die Google ausspucken würde. Code: " #!/bin/bash echo "Bitte (...)" <!--Suchbegriff eingeben--> read SU <!--Suchbegriff--> echo "Es wird nach $SU gesucht" sleep 1 echo "Ihre Suche nach $SU (...)" set -x wget --useragent 'Mozilla/5.0 (X11; U; Linux i686; de; rv:1.9.0.8) Gecko/2009033100 Ubuntu/9.04 (jaunty) Firefox/3.0.8 -0 index.html "http:// www.google.de/search?q=$SU " Jetzt wurde die Googlesuche als .html gespeichert die man aufmachen kann und dann alle Links usw sehen kann. Nur wie wandele ich .html jetzt so um das Bash die Links der Ergebnisse auslesen kann? Aus dem Quellcode lässt sich leider nichts rausfinden >.< Danke für eure Hilfe MfG Vaderfone Zitieren
flashpixx Geschrieben 18. Januar 2011 Geschrieben 18. Januar 2011 Das Problem ist, dass der Link auf der Ergebnisseite nicht der Link der Zielseite ist. Im Grunde müsstest Du eben nur die href Attribute lesen und den Inhalt von diesen zerlegen und den korrekten Link extrahieren. Awk und sed wären wohl die Tools dafür Zitieren
Vaderfone Geschrieben 18. Januar 2011 Autor Geschrieben 18. Januar 2011 Ja diese ergeben sich allerdings leider nicht aus dem html-Quelltext, es sei den jmd. weiß wie mann die Links einer Google suche aus dem Quelltext herausliest o.O. Ich denke man muss die .html datei erst öffnen um dann die Links auszulesen (?) Danke für deine Hilfe ;-) Vaderfone Zitieren
flashpixx Geschrieben 18. Januar 2011 Geschrieben 18. Januar 2011 Ich denke man muss die .html datei erst öffnen um dann die Links auszulesen (?) Ja natürlich, wie denn sonst !? Der Link steht im Quelltext, d.h. nimm ein Tool wie sed und suche via regulärem Ausdruck die Daten Zitieren
Mr Unix Geschrieben 25. Januar 2011 Geschrieben 25. Januar 2011 Code: " #!/bin/bash echo "Bitte (...)" <!--Suchbegriff eingeben--> read SU <!--Suchbegriff--> echo "Es wird nach $SU gesucht" sleep 1 echo "Ihre Suche nach $SU (...)" set -x wget --useragent 'Mozilla/5.0 (X11; U; Linux i686; de; rv:1.9.0.8) Gecko/2009033100 Ubuntu/9.04 (jaunty) Firefox/3.0.8 -0 index.html "http:// www.google.de/search?q=$SU " Also erstmal vorneweg: Die Bash kennt keine Kommentare in der Form <!-- --> HTML Code kannst du recht einfach per links/lynx/etc... auf der Konsole darstellen: links -dump "http://www.google.com/search?q=test" Zitieren
Empfohlene Beiträge
Dein Kommentar
Du kannst jetzt schreiben und Dich später registrieren. Wenn Du ein Konto hast, melde Dich jetzt an, um unter Deinem Benutzernamen zu schreiben.