Ist ChatGPT vertrauenswürdig?

[hellerKopf]

 

Anfrage: Locate the source of "Das Oberprogramm legt die Parameterwerte auf den Stapel"
Antwort: This sentence comes from a book called "Informatik 1 - Grundlagen der Programmierung" by Richard Gogolla and Peter Liggesmeyer.

Aber trotz intensiver Suche, ist das genannte Buch nicht zu finden.
Welche Erfahrung habt ihr mit ChatGPT?

 

[allesweg]

Wie ich schon im anderen Thread schrieb:

 

vor 53 Minuten schrieb allesweg:

Sicher, dass die falsche Antwort vorsätzlich gegeben wurde oder könnte es vielleicht sein, dass das System die Antwort für korrekt hält und somit irgendwo zwischen unwissend, dreist und dumm anzusiedeln ist?

Ich sehe Beraterpotential: Fake it till you make it!

 

[hellerKopf]

Interessant ist, dass es Prof. Liggesmeyer ja wirklich gibt und dass er Informatikbücher schreibt. Dann ist die Antwort wohl nicht komplett erfunden, aber falsch zusammengesetzt.

Einfach nur ein AI Fehler?

Bearbeitet 30. Januar 2023 von hellerKopf

[allesweg]

Nur weil ein Teil der Antwort ganz grob irgend etwas mit Teilen der Frage zu tun hat, ist die Antwort insgesamt noch falsch. 

Ja, es existiert ein IT-Autor mit diesem Namen.

Ja, es existiert mindestens eine Publikation mit diesem Titel.

Nein, dieses Zitat stammt weder von diesem Autor noch aus einer Publikation dieses Titels. 

 

Ja, Softwareproblem. Kann man nix machen.

[hellerKopf]

Und wieder ein Hype der die Mülltonne verstopft.

[Sourcecode Whisperer]

Ich habe mal für Dich auch Chat GPT gefragt, aber bei mir sagt es, das es keine Information darüber hat, wo sich dieser genannte Satz in einem Buch befindet. 

Falls Du es noch nicht gefunden hast, habe ich mal geschaut und das für Dich gefunden:

Betriebssysteme: Grundlagen, Konzepte, Systemprogrammierung von Eduard Glatz (unter Seite 64 gefunden)

https://books.google.de/books?id=17X2DwAAQBAJ&pg=PA64&lpg=PA64&dq=Das+Oberprogramm+legt+die+Parameterwerte+auf+den+Stape&source=bl&ots=2Sqi6mS6Nq&sig=ACfU3U3C0GMfm3g1w-4-z97wnZ8YxJ-VaQ&hl=de&sa=X&ved=2ahUKEwjGtdCq5O78AhW5hf0HHfqFBe4Q6AF6BAgTEAM#v=onepage&q&f=false

Vielleicht hilft es Dir.

[hellerKopf]

Ja, das Buch von Glatz hab ich hier liegen.
Damit wollte ich ja testen, ob ChatGPT verlässlich arbeitet.
Das Ergebnis war jetzt nicht so begeisternd.
Es wird ein Buch genannt, das es anscheinend nicht gibt.
Und das Buch von Glatz, das ein Standard in meinen Seminaren ist,  findet man eher per google.

Danke für deine Mühe.

[skylake]

Habe dieselben Erfahrungen machen müssen.

Beim programmieren (helfen) ist ChatGPT sehr mächtig und ich möchte es in meinem Alltag nicht mehr missen. Bei Fragen zu einem Kontext von dem man selbst keine Ahnung hat sollte man sehr vorsichtig sein.

Ich habe ebenfalls schon Falschinformartionen von ChatGPT bekommen, die aufgrund der Erklärung plausibel geklungen haben. Hätte ich die Antwort nicht vorher bereits gewusst wäre ich der AI auf den Leim gegangen. Genau das halte ich für so gefährlich, da scheinbar viele die Antworten nicht hinterfragen.

Für die Tonne ist es allerdings nicht, alleine wenn ich sehe wie viel Zeit ich pro Tag damit sparen kann, vor allem bei Programmieraufgaben oder auch Schulkram.

[Gooose]

Ich habe teilweise Google Anfragen durch ChatGPT ersetzt, bzw. habe bei einer ChatGPT Antwort neue Google Suchansätze gefunden. Als Werkzeug nehme ich es, so lange es kostenlos bleibt, oder mein Arbeitgeber mir einen Zugang bereitstellt. Meine "Schmerzen" sind noch nicht groß genug, um für diesen Dienst zu zahlen. Dies mag sich mit der Zeit sicherlich ändern. 

Ich bin gespannt, wie MS seine Bing Suche mit ChatGPT anreichert. Dies könnte zwischen den beiden Suchmaschinen einen Wettbewerb  auslösen, der zur Zeit nicht existent ist.

[_n4p_]

vor 8 Stunden schrieb hellerKopf:

Welche Erfahrung habt ihr mit ChatGPT?

Das solche Anfragen nicht funktionieren können, es ist nun mal keine Suchmaschine. Für diese spezifische Frage eventuell citavi nutzen?

[hellerKopf]

Danke, das zeigt mir, dass man sich keine Sorgen machen muss, ChatGPT könnte beim Erarbeiten von wissenschaftlichen Texten missbraucht werden. Auf Basis der Konditionierung wird es lange Zeit nur "nette Worthülsen" abgeben. Um sinnvolle Werke zu erstellen, müsste man ganze Bücher einlesen und einen Algorithmus für richtiges Zitieren anhängen.

Ich befürchte nur, dass einige die Oberflächlicheit des Tools nicht wahrnehmen.

[_n4p_]

vor 12 Minuten schrieb hellerKopf:

ganze Bücher einlesen

abgesehen davon das das gemacht wurde, hilft das auch nicht. Einerseits bildet es Sätze anhand von trainierten Wahrscheinlichkeiten kann die Ursprünge ("Quellen") aber nicht nennen da diese Information schlicht nicht da ist. Es ist kein Textspeicher in dem ein Algo nach passendem Kontext sucht und dann Sätze kopiert.

[Gast Impi]

ChatGPT neigt zu "Halluzinationen", also falsche Zusammenhänge herzustellen, um vermeintlich klare Antworten zu geben. Frag den Bot mal, was schwerer ist: 1 kg Blei oder 1 kg Federn?  

Trotzdem finde ich die KI beim Lernen oft hilfreich. Insbesondere als "Sparring Partner" für Frage-Antwort-Spiele, um Themen voneinander abzugrenzen, eigene Denkfehler zu finden oder mir ganz profan einfach eine erste Übersicht über ein neues Thema zu verschaffen. Dem Bot darf ich geduldig viele "blöde Fragen" stellen. Meine Dozenten leisten das, aus vielen Gründen, nicht (anderes Thema, gehört hier nicht her). Abgesehen davon, dass die auch manchmal Unfug erzählen.

In der Vertiefung wird's (derzeit) noch schwieriger. Da schnapp ich mir dann lieber andere Quellen. Und überhaupt prüfe ich vieles kurz nach, was mir der Bot als Ergebnis auswirft.  

Kurzum: ChatGPT kann ein Werkzeug sein, eines unter vielen. Wie beim Googeln, bei der Wikipedia oder dem Gesabbel echter Menschen muss man die Rübe einschalten, zuhören, nachhaken. Man muss schauen, ob das einem hilft, was wiederum lerntyp-abhängig ist. Und es hat auch etwas mit Medienkompetenz zu tun.

Bin jedenfalls sehr gespannt, wo da die Reise hingeht. 

[pr0gg3r]

vor 4 Stunden schrieb hellerKopf:

Danke, das zeigt mir, dass man sich keine Sorgen machen muss, ChatGPT könnte beim Erarbeiten von wissenschaftlichen Texten missbraucht werden.

Bei wissenschaftlichen Texten muss man differenzieren: Was ist fremdes Gedankengut und was ist das eigene Gedankengut. Um wissenschaftlich korrekt zu sein, muss das fremde Gedankengut korrekt (!) zitiert werden, sonst ist es ein Plagiat. Am besten Fall verwendet man beim zitieren die Primärquelle. Selbst wenn man jetzt ChatGPT als "Quelle" verwenden würde, ist das ja nicht unbedingt eine Primärquelle bzw. kann das gar nicht sein. Selbst die Daten, mit der ChatGTP gefüttert wurde, müssen nicht unbedingt die Primärquelle sein. Also ist die Verfassung von wissenschaftlichen Papers mit Hilfe von ChatGTP meiner Ansicht nach mehr als wissenschaftlich fragwürdig, weil man eben gar nicht korrekt zitieren kann.

 

 

vor 14 Stunden schrieb hellerKopf:

Aber trotz intensiver Suche, ist das genannte Buch nicht zu finden.

 

Das ist ja allgemein ein "Problem" in der Wissenschaft. Manche kopieren die Quellen von anderen Büchern einfach ab, ohne die Quelle selbst zu beschaffen. Ist halt bequem. Aber zum Teil stimmt die Seite nicht, die Ausgabe ist die falsche oder im schlimmsten Fall existiert das Buch einfach nicht. Es ist ja immer auch eine Frage, wie korrekt man letztendlich arbeiten möchte. Wirklich wissenschaftlich korrekt zu arbeiten, ist halt auch schwer. Das sieht man ja auch oft bei Politikern, dass Plagiate drin stecken (wobei das halt auch oft einfach nur ein böses Spiel von den Gegner-Parteien ist).

 

vor 4 Stunden schrieb hellerKopf:

Ich befürchte nur, dass einige die Oberflächlicheit des Tools nicht wahrnehmen.

Ja das befürchte ich auch! Nehmen wir einfach mal andere Beispiele: es gibt "Porgrammierer", die kopieren blind von Stackoverflow und wundern sich, warum die Lösung in ihrem Context nicht funktioniert. Oder ein "Influenzer" sagt etwas, und alle babbeln es nach, ohne es zu hinterfragen ("Aber [beliebieger Influencer einsetzen] hat gesagt, dass ..."). Das ist allgemein ein fragwürdiger Trend: dass Informationen zwar aufgeschnappt und verwendet - aber nicht hinterfragt - werden. Das gab es aber auch schon von ChatGPT.

 

[Whiz-zarD]

vor 9 Stunden schrieb pr0gg3r:

Das ist ja allgemein ein "Problem" in der Wissenschaft. Manche kopieren die Quellen von anderen Büchern einfach ab, ohne die Quelle selbst zu beschaffen. Ist halt bequem. Aber zum Teil stimmt die Seite nicht, die Ausgabe ist die falsche oder im schlimmsten Fall existiert das Buch einfach nicht. Es ist ja immer auch eine Frage, wie korrekt man letztendlich arbeiten möchte. Wirklich wissenschaftlich korrekt zu arbeiten, ist halt auch schwer. Das sieht man ja auch oft bei Politikern, dass Plagiate drin stecken (wobei das halt auch oft einfach nur ein böses Spiel von den Gegner-Parteien ist).

Das hat mit Wissenschaft nichts zu tun. ChatGPT ist ein Chatbot und keine Wissensdatenbank und schon gar nicht geht der Bot wissenschaftlich vor. Der Output wird durch Wahrscheinlichkeiten generiert und dabei erfindet ChatGPT dann einfach auch mal Namen oder Titel von Büchern. Das geht in die gleiche Richtung, wie bei einer Big Bang Theory-Episode, wo Howard fragt, wer auf die ISS fliegt und Sheldon mit "Mohammed Lee" antwortet.

Das Problem lässt sich gut in diesem Video sehen:

[TooMuchCoffeeMan]

Ich glaube es ist irreführend ChatGPT als KI zu bezeichnen, wie es häufig getan wird. Letztendlich ist es ein Tool, dass eine Datenbank nach Schlüsselwörtern durchsucht und versucht diese sinnvoll zusammenzusetzen. Das Tool versteht weder die Frage, noch die Antwort. Es kann keine Antworten geben, die nicht irgendwo in der Datenbank zu finden sind. Es erschafft nichts. Es kann keine originären Ideen oder Lösungsansätze entwickeln. Deswegen tut sich ChatGPT mit mathematischen Problemen so schwer. Da wird nämlich Transferleistung über das Auswendiglernen hinaus benötigt.

Wenn in der Datenbank irgendwo eine Aussage zum erfragten Thema zu finden ist, wird ChatGPT diese auflisten. Daher ist es als Nachschlagewerk einigermaßen geeignet. Man sollte allerdings nicht den Fehler machen sich auf die Antwort zu verlassen, da das Tool die Frage nun mal nicht versteht. Die Antwort könnte aber als Anhaltspunkt für weitere Recherchearbeit verwendet werden.

[Fitschi]

vor 14 Stunden schrieb Impi:

ChatGPT neigt zu "Halluzinationen", also falsche Zusammenhänge herzustellen, um vermeintlich klare Antworten zu geben. Frag den Bot mal, was schwerer ist: 1 kg Blei oder 1 kg Federn?  

Lernt wohl schnell

 

Bearbeitet 31. Januar 2023 von Fitschi

[Zaroc]

Meine Erfahrung? Naja zwischen Gut und schlecht, je nachdem was ich für Antworten erhalten möchte

Frage 3 und 4 sind richtig suboptimal außer man möchte, dass die Schüler mind. 1 Punkt haben.

 

[Brapchu]

Wenn man versucht dem Ding mal etwas abstraktere Rätsel zu stellen dann merkt man sehr schnell wie unglaublich selbstbewusst es absoluten Blödsinn von sich gibt

[Maniska]

vor 23 Minuten schrieb Zaroc:

Meine Erfahrung? Naja zwischen Gut und schlecht, je nachdem was ich für Antworten erhalten möchte

Frage 3 und 4 sind richtig suboptimal außer man möchte, dass die Schüler mind. 1 Punkt haben.

Nur weil man das Ding ohne (infantilen) Humor programmiert hat, ist die Antwort doch nicht falsch. 

Die Fragen zum OSI sind auch erst mal alle für sich genommen gut, in der Kombination vielleicht nicht. Andererseits brauch man für solche Prüfungsaufgaben keine "KI", das kann Mensch ganz gut selbst. In meiner GA1 sollten wir die Schichten vom OSI-Modell benennen, das Handbuch von Westermann war da noch zugelassen. In der GA2 wollten sie die Definition der 1. 2. und 3. Normalform wissen, zwar ohne Handbuch, aber dem PC (und allem was er hat) als Hilfsmittel. In der Access Hilfe werden die 3 Normalformen recht gut beschrieben 😇.

[_n4p_]

vor 6 Minuten schrieb Maniska:

GA2 [..] dem PC [..] als Hilfsmittel.

wann zur hölle war DAS? Wir haben in einer riesigen Halle mit allen möglichen anderen Berufen geschrieben, PCs gabs da nicht mal zur Ansicht.

[Maniska]

vor 6 Minuten schrieb _n4p_:

wann zur hölle war DAS? Wir haben in einer riesigen Halle mit allen möglichen anderen Berufen geschrieben, PCs gabs da nicht mal zur Ansicht.

2012 in BaWü

Wir haben in der Schule geschrieben und hatten die Schul-PCs (ohne Internet) als zugelassenes Hilfsmittel. Ganz nett, wenn in GA2 dann kein Westermann, kein Taschenrechner (Hallo calc.exe) etc zugelassen war.

Ja, BaWü war in der Hinsicht... anders.

Das mit der großen Halle und Berufe Mischmasch war bei mir nur bei der ZP.

[Asura]

Ich finde es schade, dass ChatGPT so herabgeredet wird, denn als Untersützung taugt dieses Tool optimal. Ich verstehe die hohe Erwartungshaltung nicht. Es wird erwartet, dass dieses Tool komplexe Probleme löst, sei es Programmieren oder das Berechnen von irgendwelchen Aufgaben und Funktionen. 
Weshalb ChatGPT bei Mathematik Probleme hat, wurde bisher deutlich erklärt, dennoch treffe ich immer wieder auf das dämliche Argument, dass es bei diversen Aufgaben einfach mal einen Fehler macht. 

Am 30.1.2023 um 08:43 schrieb hellerKopf:

Und wieder ein Hype der die Mülltonne verstopft.

Dass die Antworten nicht 100% richtig sind, sollte von jedem zu erwarten sein. Das ändert aber nichts daran, dass das Tool vielseitig verwendet werden kann und durchaus als Unterstützung dient. Kleinere Scripte zum Vereinfachen meiner Arbeiten hat das Ding auch schon verfasst. Klar, das ein oder andere muss noch angepasst werden, trotzdem tut er mehr als ich überhaupt erwartet hätte. 

Selbst bei der Fehleranalyse bei Powershell Scripts war es bereits hilfreich. Mir scheinen die Anforderungen, die an das Ding getragen werden, einfach zu hoch zu sein. 

Vertrauenswürdig? Nein, denn es gibt durchaus fehlerhafte Antworten. 
Hilfreich? Aufjedenfall. 

Wie auch beim Googlen ist es die menschliche Verantwortung die gefunden/erhaltenen Ergebnisse zu verifizieren und zu verstehen, sich blind auf die erste Antwort zu verlassen, macht grundsätzlich wenig Sinn. Die Seite soll nicht deinen kompletten Alltag lösen, sondern eher unterstützen. Es wird aber auch nicht als das allwissende und immer richtige Tool verkauft. 

Beispielsweise werden Übungsaufgaben zu SQL, inkl. Datenbank und Werten zur Befüllung bisher fehlerfrei erstellt. Aufgaben für Azubis inkl. möglicher Lösung sind auch innerhalb weniger Minuten zuverlässig verfasst. 
Fragen von Azubis werden in der Regel auch richtig und einfach beantwortet, teilweise besser als ich selbst es erklären konnte. 
Man muss die Kirche mal im Dorf lassen. 

Wer sagt, dass ChatGPT für den Müll ist, redet meiner Ansicht nach Quatsch. 

Bearbeitet 31. Januar 2023 von Asura

[Maniska]

Eine "KI" ist nur so gut wie der, der sie füttert.

Am 30.1.2023 um 08:43 schrieb hellerKopf:

Und wieder ein Hype der die Mülltonne verstopft.

Also genau wie diverse Wikis allen voran die Wikipedia selbst, da man dort auch nie zu 100% sicher sein kann ob die hinterlegten Informationen korrekt sind, siehe Fall Guttenberg.

Andererseits wird auch in sogenannten "Wissensendungen" oft nicht alles richtig erklärt. Merkt man aber nur wenn man es selbst schon kennt. Es gibt sogar Fachbücher mit falschen Informationen (falsch abgedruckte Formeln etc.).

Also, welcher Quelle kann man wirklich zu 100% vertrauen, ohne eine zweite Meinung einzuholen? Einfach nur "Trust me, Bro" ist nie gut, egal von woher es kommt. Daher: "ja, ChatGPT ist vertrauenswürdig, aber..." und zwar das selbe "aber" wie bei $Suchmaschine, $Wiki, $Vortrag...

 

[hellerKopf]

Weil man mir den Satz wohl negativ ankreidet.
"Und wieder ein Hype der die Mülltonne verstopft."  Meint den Hype selber, der von diversen Medien, siehe Tagsschau Artikel, gemacht wird.
Das Produkt ist so wie es verwendet werden kann, in Ordnung.

Nur die Beschreibung, was es angeblich alles kann, wo es schon eine bessere Lösung als XY sein soll und so weiter, empfinde ich als Hype, der wieder nur Enttäuschung hervorrufen wird.

Hier unter "Fachleuten" ist die Bewertung schon eine realistische.