Hallo, ich würde gern eine Art Bot programmieren

[simonbloy]

Vorgang 1

Auf einer Webseite, wo immer wieder neue Produkte eingestellt werden, möchte ich diese Produkte automatisch auswählen lassen. Nach der Auswahl soll der Wert dieses Produktes in einer Berechnung mit einem Betrag von einer anderen Webseite abgeglichen werden, indem eine Berechnung durchgeführt wird. Nachdem festgestellt wurde, ob dieser Handel am Ende ein Plus oder Minus ergibt, soll das Produkt entweder erworben oder ignoriert werden.

Vorgang 2

Jetzt ist das Produkt in meinem Warenkorb und ich warte darauf das mir der Verkäufer eine Kaufbestätigung schickt. Diese Kaufbestätigung muss von mir akzeptiert werden, sonst erhalte ich das Produkt nicht. Wenn diese Kaufbestätigung angekommen möchte ich diese automatisch annehmen lassen.
Ich möchte euch fragen welche Programmiersprache sich am besten für so etwas eignet.

Mit freundlichen Grüßen
 

[simonbloy]

Außerdem möchte ich fragen, wie ich diesen Vorgang am besten angehen kann.

Ich bin auch auf der Suche nach Unterstützung bei dem Projekt und wäre auch bereit Geld zu investieren.

[logu]

Für die UI-Automation eignet sich Puppeteer sehr gut. Dann benötigst du noch eine Hintergrundtask, die ungelesene Nachrichten im Postfach überprüft. Wenn eine Nachricht vorhanden ist, klickt sie auf den Bestätigungslink.Das hört sich zwar einfach an, ist aber tatsächlich komplex. Du benötigst umfangreiche Erfahrung in JavaScript, Datenbanken sowie HTML/CSS.Meiner Meinung nach würde ich das Projekt nicht umsetzen, da es nach automatisierten Prozessen aussieht und möglicherweise die AGB des Unternehmens verletzt.

[pr0gg3r]

Wenn du nicht programmieren kannst, ist das ein zu komplexes Projekt. Natürlich kannst du das alles lernen, aber dann bist du erst ein mal ein paar Jahre beschäftigt. Deshalb rate ich dir nicht dazu.

vor 2 Stunden schrieb simonbloy:

Ich bin auch auf der Suche nach Unterstützung bei dem Projekt und wäre auch bereit Geld zu investieren.

Wie hoch ist denn dein Budget? Wenn du eine Agentur beauftragst, musst du mit Tagessätzen von 800-1400€ rechnen. Wir reden hier von mehreren Wochen Arbeit.

Unabhängig davon sehe ich noch ein ganz anderes Problem:

vor 2 Stunden schrieb simonbloy:

mit einem Betrag von einer anderen Webseite abgeglichen werden,

Hat diese Webseite eine Schnittstelle, die du abgreifen kannst und darfst? Ansonsten kannst du deine Projektidee ganz schnell wieder vergraben.

[Nightmar]

Woran genau scheitert es denn bei dir?
Was für Schnittstellen sind das und was genau hast du bisher versucht?
Ich gehe davon aus, dass du auf beide Seiten vollen Zugriff hast?

[Wissenshungriger]

Was habt ihr immer mit euren Schnittstellen? 🧐

So wie ich OP verstehe, sucht er eine Software, die das Internet oder bestimmte Shops nach vorher definierten Produkten durchsucht.
Anschließend sollen diese Produkte nach bestimmten Eigenschaften gefiltert werden.
Ist ein entsprechendes Produkt gefunden, wird der Preis abgeglichen, ob es sich lohnt, dieses Produkt zu kaufen.
Falls diese Prüfung positiv ausfällt, soll das Produkt in den Warenkorb gelegt werden und der darauffolgende Bezahlvorgang automatisch durchgeführt werden.

Mir ist der Schritt mit der Kaufbestätigung durch den Verkäufer nicht klar, so wie es OP darstellt.
Vermutlich meint er damit, die Warenkorbansicht und er möchte dann den Kauf automatisch durchführen lassen.
Diesen Schritt habe ich oben schon dargestellt, falls dies so gemeint war.

Ich bin kein Programmierer.
Wenn ich aber sowas umsetzen müsste, würde ich mir als erstes Python ansehen.

Allerdings möchte ich noch erwähnen, dass sich OP mit seinem "Thema" in einem sehr kompetitiven Marktumfeld bewegt.
Sowohl was die Benutzer einer solchen Software betrifft, als auch was die Anbieter einer solchen Software angeht.
Bei solch einem Kaufvorgang entscheiden oft Millisekunden über Erfolg und Misserfolg.
Hier ist eine sehr gute Internetanbindung, mit minimalen Latenzen, für den Betrieb solch einer Software unabdingbar.
Wenn es dann noch darum geht, Warteschlangen von Shops zu umgehen, dann wird es nochmal deutlich komplexer.

Fazit:
Das Markt für solch eine Software ist sehr kompetitiv und solch eine Software ist alles andere als trivial zu programmieren.
An der Stelle von OP würde ich mir solch einen Buybot kaufen oder nach Möglichkeit eher mieten, damit ich im Falle von Misserfolgen nicht so viel Geld für die Entwicklung eines eigenen Softwareproduktes verbrenne.

 

[Whiz-zarD]

Klingt nach Scalping...

[allesweg]

vor 6 Stunden schrieb Nightmar:

Woran genau scheitert es denn bei dir?
Was für Schnittstellen sind das und was genau hast du bisher versucht?
Ich gehe davon aus, dass du auf beide Seiten vollen Zugriff hast?

Wenn voller Zugriff bestünde, könnte direkt in die Warenwirtschaft gegriffen werden.

Hier soll offensichtlich ein Webshop automatisch ausgewertet werden und unter definierten Bedingungen der Bestellvorgang vollständig automatisiert werden. 

Aufgrund solcher Vorhaben schalten viele Shops Captchas und ähnliches.

[Tratos]

Wenn keine API zum Shop besteht, müsste man ja für jeden abgleich den Shop Parsen und entsprechende Antwort Links für den Browser generieren, und dessen Ergebnis dann wieder auswerten. Selbst wenn das alles gebaut ist, würde nur ein Shop eine Zeile Code in seiner Page ändern, oder wegen Weihnachten andere Startseite schalten würde das Script schon nicht mehr funktionieren.

Es könnte auch sein das der Anbieter einen sperrt, da die Server Seite durchaus IP-Adressen und Zugriffszeit loggt, und entsprechend hier auch reagieren kann.

 

 

Bearbeitet 10. Oktober 2023 von Tratos

[simonbloy]

Ich danke euch allen, für die schnellen Antworten. Ich muss jetzt erstmal arbeite heute Abend geht's weiter.

Ich hatte gestern herausgefunden, dass sich Python Selenium dafür gut eignen soll? Scheint auch so also hatte direkt gestern begonnen und scheint der Prozess zu sein den ich mir wünsche.

 

 

[Wissenshungriger]

vor 11 Stunden schrieb Whiz-zarD:

Klingt nach Scalping...

Du meinst wohl eher Scraping... 

[Whiz-zarD]

Ich rede von Scalping.

Zitat

Neben der Anwendung im Aktienhandel wird der Begriff Scalping auch im Kontext des Kaufs und Verkaufs von Waren verwendet. In diesem Szenario wird versucht, von Preisunterschieden oder temporären Preisfehlern zu profitieren, indem Waren zu einem niedrigen Preis gekauft und dann später zu einem höheren Preis verkauft werden.

https://de.wikipedia.org/wiki/Scalping

[ZwennL]

Grundsätzlich sollte das mit Selenium funktionieren. Damit lassen sich Browser wie Chrome oder Edge automatisieren. Rein theoretisch geht das auch mit xhr (XML HTTP Request). Aber dafür muss man sich wesentlich besser auskennen und es ist bei so einem Vorhaben mit Sicherheit ein größerer Aufwand. Durch xhr gibt es vor allem einen Geschwindigkeitsvorteil, weil die Schnittstelle Browser wegfällt. Evtl. kann aber auch headless gearbeitet werden. Also ohne den Browser anzuzeigen und damit das Rendern der Seiten zu unterdrücken. Der Vorteil zahlt sich aber nur aus, wenn Daten von vielen Seiten nacheinander gescraped werden sollen.

Es gibt in der Tat Seiten, die sich gegen Bots wehren und es werden mehr. Selbst hatte ich es bisher aber nur mit einer einzigen Seite zu tun, die ich nicht austricksen konnte. Die arbeiten mit einem Unternehmen namens DataDome zusammen und die sind wirklich sehr gut. Allerdings war das eine Seite in Frankreich und ich weiß nicht, ob da auch Geoblocking gegriffen hat. (Vor der Zusammenarbeit wurden über mehrere Jahre ca. 5 Mio. Kleinanzeigen und 10 Mio. Bilder ausgelesen) Bei Geoblocking kann zwar ein Proxy zwischengeschaltet werden, aber wenn es mit der Abwehr wirklich ernst gemeint ist, braucht man einen Proxy Pool, der ins eigene Tool eingebunden werden muss. Das habe ich mangels Proxy Pool bisher noch nie gemacht.

Für die meisten Seiten braucht man sich aber nicht großartig zu verbiegen. Für WebShops international ist das meine Erfahrung. Amazon hat irgendwann angefangen Captchas nach mehreren 100 Zugriffen zu schalten. Ebay hingegen hat irgendwann die Captchas nach ca. 400 Zugriffen abgeschaltet. Wie es beide Plattformen heute machen weiß ich nicht, das ist nur ein Erfahrungswert zur Veranschaulichung. Captchas lassen sich aber relativ leicht umgehen, wenn zwischen den Zugriffen unregelmäßige Pausen eingelegt werden. Dann wird das Scraping allerdings ziemlich langsam. Zum Testen kannst Du mal versuchen die Suchergebnisse von Google auszulesen. Da bist Du nach 30 oder 35 Zugriffen auf den Captchaseiten und kannst Dich erstmal von der Suchmaschine verabschieden. Lustiger Effekt, wenn die Kollegen um einen herum anfangen zu murren, weil das Tor zur Welt plötzlich nervt 😉

Für Dein Vorhaben ist mir nicht klar, wie Vorgang 1 gemeint ist. Kennst Du die Produkte, nach denen Du Ausschau hältst kann in regelmäßigen Abständen geprüft werden, ob sie gelistet wurden. Kennst Du sie nicht, sondern willst bei neuen Produkten individuell entscheiden, dürfte das Ganze nicht funktionieren. Denn dann müsste jedesmal der ganze Shop ausgelesen werden oder zumindest bestimmte Kategorien.

Für Vorhaben 2 kannst Du auch Selenium verwenden, wenn Du einen Maildienst in Anspruch nimmst, den Du im Browser verwendest. Ansonsten müsstest Du auf den Mail Client zugreifen können. Da würde ich dann Outlook verwenden, weil MS Office mit der hauseigenen Sprache VBA automatisiert werden kann. Auch wenn ich in der Vergangenheit viel Web Scraping mit VBA für Excel realisiert habe, würde ich aktuell auch auf Python setzen.

Bearbeitet 10. Oktober 2023 von ZwennL