Episode 2 | Der Chatbot ChatGPT

00:00:00: Music.

00:00:06: Hallo und herzlich willkommen hier bei Irgendwie ki wirklich schön dass ihr dabei seid.

00:00:13: Ein brandneuer Podcast bei dem sich alles um KI dreht und um Chatbots wechat JP unsere Mission ist KI einfach und verständlich zu erklären und alles einzuordnen.

00:00:26: Music.

00:00:35: Wie KI herzlich willkommen zur neuen Episode Episode 2 von unserem Podcast Irgendwie KI und diesmal beschäftigen wir uns vor allem mit dem Chat

00:00:45: bot Chat GET und Chatbots aber auch in allgemeinen darüber habe ich den Eindruck reden ja im Augenblick so ziemlich alle schreiben alle denken alle.

00:00:55: Und haben so ihre Meinung und ihre Sorgen ihre Freude also ein wirklich lohnenswertes Thema Warum ist Jet-Ski BT so faszinierend und erfolgreich diese Frage stellen wir uns heute und wollen euch

00:01:09: Liebe hören und Hörer da gerne Antworten liefern wir das bin ich ja JP am Mikrofon und aber auch Peter Pusch hi Peter hallo Jörg müsste ich.

00:01:19: Wir beide wir beiden Jungs hier haben ja zusammen Buch geschrieben der digitalstock im Blitz Tempo haben wir das geschrieben und uns vor allem mit ceci petit beschäftigt findest du Chat qui petit faszinierend.

00:01:34: Vielleicht eine Fangfrage zu Beginn also ich finds nicht so vorher nicht so faszinierend wie wie viele die zum ersten Mal mit diesen Modellen in Verbindung kamen

00:01:46: die Vorgängermodelle soji peta2 wie auch drei waren für Entwickler schon freigeschaltet also waren schon

00:01:56: in der Fach.

00:01:57: Community bekannt da war GPT 3,5 was sich dann auch Chat GPT nennt nicht so der große Schritt aber ich finde sehr sehr faszinierend

00:02:08: welches Echo das ganze gefunden hat und wie breit ist die Einsatzmöglichkeiten sind also davon bin ich schon überrascht.

00:02:16: Überrasch genau faszinierend ja und erfolgreich also auf alle Fälle und wir beschäftigen uns jetzt in dieser zweiten Ausgabe vor

00:02:22: alle mit Schütz IBC und vergleichbaren Chatbots wie auch in unserem Buch der digitalshop und das besondere an Fiji BT was ist das Besondere die Funktionsweise training noch mal so ein bisschen die Fähigkeiten

00:02:35: von so einem System was kann Gigi BT was kann es nicht und da liefern durch eine hoffentlich spannende und hilfreiche Einordnung und bieten auch ein bisschen Einblicke in die Konkurrenz und was.

00:02:48: Cici Betty und Co in naher Zukunft schon werden können tun werden können müssen sollen und so weiter wisst was ich meine jetzt geht's auch schon los.

00:02:57: Music.

00:03:07: Wie KI und ich glaube künstliche Intelligenz wenn hat sich hat sich gedacht wir müssen es gibt was es eben angedeutet schon künstliche Intelligenz schon so unglaublich lange aber bislang hat da eben vor allem die Fachwelt drüber gesprochen und seit November 2022

00:03:24: aber irgendwie die ganze Welt habe ich den Eindruck und.

00:03:30: Wahnsinnig viele Menschen probieren das auch aus weil vor allem nicht nur aber vor allem channel GP Team und draußen ist und Chat GP Team.

00:03:39: Diese Anwendung von Openair einer Firma dovo Microsoft investiert ist

00:03:45: wo in den Musk auch investiert hatte und einige andere die hatten sicher zum Ziel gesetzt wir wollen mal gucken was mit künstliche Intelligenz eigentlich geht wo die Chancen und wo die riesig

00:03:55: stecken und haben so einige ki-systeme entwickelt auch Dolly z.b. ein System mit dem man Bilder generieren kann da sagt man mache ich mir eine tanzende ert

00:04:05: wäre dann kommt mir tanzende Erdbeeren solche sinnvollen Sachen aber Jacky BT ist ganz klar der

00:04:12: der der denn der Bestseller na so aber dass das hat den Leuten wirklich den den den Kids aus den Zähnen gehauen und alle wurden unbedingt ausprobieren innerhalb von zwei Monaten mehr als 100 Millionen Anwenderin und Anwender weltweit das ist Rekord das hat noch nicht mal tiktok geschafft also Wahnsinn dieser Erfolg als erfolgreich kann man sagen was die was rein von

00:04:34: von der Verbreitung des Begriffs des Namens und von der Bereitschaft sich mal darauf einzulassen ja mal

00:04:40: auf alle Fälle was willst du sagen was ist das besondere an ZEIT warum dieses große Interesse.

00:04:46: Ich glaube es ist wirklich das erste große Chat Modell was.

00:04:51: Frei verfügbarer also ein ein Modell also man kann sie ja Chatbots schon von verschiedenen Webseiten hat die aber meist sehr ungern benutzt weil sie eigentlich sehr sehr dumm waren

00:05:00: GPT GPT selber ist nun trainiert auf einen sehr sehr großen Datensatz 750GB an Informationen sind in das training geflossen das training hat selber sehr sehr lange gedauert

00:05:14: das heißt das Ding ist schon relativ intelligent darin auf Fragen auf Sprache zu reagieren

00:05:24: daneben glaube ich auch ganz persönliche ob das natürlich Sprache und die Benutzung von Sprache auch etwas sehr menschliches ist natürlich generieren von Bildern hatten wir davor schon stable Diffusion kam ja schon Mitte letzten Jahres sage ich mal durch die Presse oder auch in der öffentlichen Anwendung

00:05:43: aber ich glaube Sprache zu generieren und dann in so einer Qualität das war das war neu das hat man so nicht gesehen und so kann man sich halt auch wirklich mit dem.

00:05:54: Der Maschine dort einigermaßen schön unterhalten.

00:05:57: Das ist der springende Punkt denke ich wenn dann künstliche Intelligenz langer mal Atommodelle darstellen kann oder und ausrechnen wie viele

00:06:08: Exoplaneten es vielleicht gibt oder oder oder da sagen die meisten ja danke schön das ist ja toll dass das System das kann aber

00:06:15: Mann ist das ist gimme nicht Alltag aber quatschen und uns zuhören das machen wir machen wir von Kindesbeinen an ist 101 Dinge die wir lernen ne wir wollen ja kommunizieren wir wollen reden

00:06:25: und ich erkenne das auch so dass das die

00:06:28: dass das so das ist das spannende das Erfolgsrezept ist von chi-ji wie die wir bedienen so ein Grundbedürfnis oder nicht wir Jacky BT bedient ein Grundbedürfnis nämlich die Kommunikation anzubieten

00:06:40: zuzuhören und was zu sagen und darauf zu antworten und das nicht sinnentleert oder nein in dem

00:06:47: erstaunlich guten Kontext so konnte man es glaube ich erklären oder absolut

00:06:53: also dass das ist dein erstes macht das ist das was es kann als große Sprachmodell LLM large language model ist die Klasse der Modelle unter die auch GPT Feld

00:07:03: und groß in dem Sinne ist auch wirklich tatsächlich ist es eins der größten sprachmodelle was wir haben

00:07:11: gemessen an Parametern Parameter sind sowas ähnliches wie die Synapsen einer Maschine also man kann es so ein bisschen in Verbindung damit setzen.

00:07:22: Und da ist GPT wirklich vorne mit dabei.

00:07:25: Wobei da werden wir in der späteren Episoden ja auch noch drüber sprechen und neuere Entwicklung zeigen so viel Parameter braucht man gar nicht um sehr sehr gute Modelle bauen zu können also auch da hat der Trend.

00:07:40: Man muss wirklich sagen der letzten Wochen und Tage gezeigt da geht noch mehr.

00:07:47: Durch du das gerade mal so den Begriff Synapsen fallenlassen den kennen wir noch aus dem Biologieunterricht das sind die

00:07:53: Verbindungs Verknüpfung Stelle waren in bei uns im Gehirn sozusagen ne jetzt habe ich mich gerade gefragt wie viele

00:07:59: Synapsen hat eigentlich ein Mensch weißt du dass ich gebe das mich jetzt hier gerade mal bei Cic ibidi einmal das sollte das ja wissen wie viele Synapsen.

00:08:08: Haben wir auch bei uns im Buch was ja ich bin hab ich natürlich löschen ne

00:08:14: euromillion.fr eine Billiarde Synapsen hat ein dreijähriges Kind wobei wir das natürlich so ganz genau auch nicht wissen weil man das natürlich schlecht zählen kann ich tanken

00:08:26: aber ich sag mal wenn man diesen Vergleich ziehen wollen würde

00:08:30: wären wir von der Synapsen zahlen also ein dreijähriger und wir in der Synapsen Zahl etwa 10 millionenfach

00:08:37: dem aktuellen GPT System überlegen.

00:08:41: Allerdings wenn man wiederum einen anderen Vergleich zieht wenn man sich anschaut naja wie lange hat denn die petit trainiert

00:08:50: an Rechenzeit dann entspreche das etwa 400 Menschenjahren und zwar

00:08:56: twentyfourseven also jeden Tag 7 Tage die Woche wäre das Ganze hätte das ganze Training gedauert

00:09:05: wenn wir es für den Energiebedarf umrechnen da sind wir Menschen sehr sehr effizient und es gibt einen ein medizinisches paper was sagt unser Gehirn verbraucht etwa 12 Watt und zwar

00:09:17: unabhängig davon ob wir nun schlafen über nichts nachdenken auf Facebook unterwegs sind oder komplizierte Matheaufgaben lösen das unterscheide gar nicht glauben Irgendwie

00:09:28: Jenny gar nicht glauben dass das durchdachte wenn man wenn man viel nachdenkt braucht man doch zu Glucose und und das wird dass man da irgendwie mehr verbraucht

00:09:35: aber gut ich will das jetzt nicht alt bin ja kein Biologe aber ja es ist ist das eklig so dass es.

00:09:42: Anscheinend so ist das wieder nicht wesentlich mehr verbrauchen weil die meiste Energie wirklich für Bewegung drauf geht aber unsere Gehirn ist sehr sehr effizient da drin

00:09:50: will man diese 12 Watt.

00:09:52: Zugrunde legen dann entspreche das Training von GPT etwa 12.000 Jahren also Ende der Steinzeit die an Energie da rein geflossen ist ja man es versucht

00:10:04: ja auf menschliche Dimension zurück zu brechen also es ist deshalb sehr faszinierend weil einfach sehr sehr sehr viel.

00:10:13: Aufwand in dieses Modell geschlossenes und das kann natürlich dann auch entsprechend spannen sein was es generiert.

00:10:21: Das stimmt und allen das überdacht es gibt noch Optimierungsbedarf ne ein bisschen weniger ein bisschen weniger Energie bisschen schneller lernen wer wäre sicher wünschenswert aber

00:10:31: wünschen kann man sich das ja die Computer müssen es ja auch können ja und das ist ja die Antwort das ist glaube ich wir leben in einer Zeit wo die

00:10:38: Ingenieure von künstlicher Intelligenz natürlich Anforderungen haben an Rechenkapazität wo die Hardware Industrie so schnell gar nicht nachkommen kann das ist das ist glaube ich mal

00:10:49: unbestreitbare Tatsache aber der Begriff Chatbot der ist ja nicht neu Chatbot den den kennen wir schon lange diesen Begriff und und ist nicht unbedingt positiv belegt bei den meisten wenn man so auf die Webseite von der Mobilfunkanbieter geht dann grinst ein da irgendwie so ein komischer avatar entgegen und sagte mal was hast du denn für ein Problem und.

00:11:09: Ich bin Chatbot

00:11:10: Und wenn man da was eingibt dann hat man das Gefühl im und man hat es mit einem geistesgestörten aber da zu tun weil er nichts verstehe da wenn man an Tarif eingibt dann kriegt man vielleicht eine Webseite angezeigt mit Tarifen und ich sage

00:11:25: Ich habe ein problem mit meiner mit meiner Verbindungen kriege ich f Akkus angezeigt aber mehr auch nicht ne also eine wirklich eine individuelle Antwort oder so Nudel

00:11:34: aber trotzdem wird das ja chat

00:11:35: Sportgymnasium ZIB die wird auch Chatbot genannt obwohl seine ganz andere Klasse ist kannst du mir folgen in meinem Gedankengang absolut absolut also GPT Chatbot zu nennen ist Äpfel Birnen zu vergleichen das ist deutlich deutlich intelligenter ist das was wir als Chatbots kennengelernt haben ich glaube aber warum Openair das Unternehmen hinter Cici pt

00:11:57: Wert auf diesen Chat auf diese Chat Komponente legt legt liegt daran dass es dafür gemacht wurde also das Modell hat gelernt

00:12:07: Wortfolgen einzuschätzen und das wahrscheinlichste nächste Wort eben zu ergänzen und so funktioniert das Ganze sein wahrscheinlichkeitsrechner.

00:12:18: Fürwörter darauf wurde das Ganze trainiert und das eignet sich eben für das Chatten also das

00:12:24: sprechen miteinander oder das Austauschen miteinander ganz hervorragend es eignet sich auch für viele andere Sachen eben.

00:12:32: Extrem schlecht also es ist ein Tool was natürlich durch diese Wahrscheinlichkeitsfunktion

00:12:38: auch Sachen wiedergibt die einfach nicht wahr sind weil es sich die einfach aus denkt mir sagen halluzinieren dazu

00:12:46: das ist eine Eigenschaft die wünsche ich nicht haben wollen und da muss man auch in der Anwendung tatsächlich darauf achten wofür das gemacht wurde also es ist ein Tool erstmal zum chatten

00:12:56: unglaublich gut da drin Computer code wiederzugeben der auch sehr einfach strukturiert ist also leicht gelernt werden kann es ist sicherlich

00:13:06: kein gutes Tool dafür Forschung zu betreiben von Dingen die noch nicht existent sind auch deshalb weil da Blundell.

00:13:15: Ja noch ganz kurz lassen so ganz kurz beim beim Thema Chatbot bleiben ja weil es ist mir gerade noch wichtig dass wir das noch einflechten auch wenn das spannend ist was die jetzt schon angedeutet hast aber

00:13:29: Chatbot an sich ist eigentlich auch nicht sowas ganz ganz ganz ganz neues muss man sagen also mit dem Computersystem reden zu können das ist.

00:13:39: Passbilder fast schon sagen Traum ne faszinierender Gedanke zumindestens für die Informatik schon sehr lange und zwar in den 60er Jahren hat das schon den ersten Chatbot gegeben Eliza hat der geheißen

00:13:53: Eliza Computerprogramm das von das von einem sehr geschätzten Informatiker Joseph Weizenbaum entwickelt wurde ein

00:14:06: ein Forscher der aus Deutschland imitieren musste

00:14:10: sie flüchten musste in die USA und dort am MRT gelehrt hat lange Zeit und einer der ersten großen Namen eigentlich bei ihnen computer science und der hat Eliza

00:14:21: entwickelt als Vorbote der künstlichen Intelligenz und gewissermaßen auch weil man auch damals schon sich mit der Frage beschäftigt hat wie konnte künstliche Intelligenz eigentlich aussehen

00:14:31: und Eliza.

00:14:34: Ist ein YUM Programm das also ein Chatbot in der Tat der der der stellte Frage wie geht es Dir und dann kann man darauf antworten

00:14:43: und Alben simuliert im Grunde genommen eine psychotherapeutische Sitzung

00:14:47: und es ist eigentlich ziemlich simpel gemacht kann man ja mal ruhig verraten dass es denen geht hin und guckt was was was verwendest du für ein Substantiv und spiegelt das einfach mehr oder weniger wie geht es dir mir geht's nicht so gut wieso geht's geht's dir nicht so gut ich habe Probleme mit meiner Frau ja welche Probleme hast du denn mit deiner Frau und so und also also im Grunde genommen fast schon eine

00:15:10: Persiflage auf eine psychotherapeutische Sitzung da hat sich also Weizenbaum Spaß draus gemacht aber dieses System hat tatsächlich viele Menschen fasziniert

00:15:21: Ja und fanden das wann das toll mit mit dem System zu sprechen und gefragt ob das jetzt noch Maschine ist oder

00:15:29: oder einen ein echter Psychotherapeut haben erstaunlich viele gesagt das ist nun das muss ein echter Psychotherapie der versteht mich ja richtig gut und stellt die richtigen Fragen

00:15:38: und das wiederum hat Weizenbaum so will es zumindestens die Erzählung

00:15:43: so sehr erschrocken dass er ab da so zum Kritiker geworden ist von von Künten von künstlicher Intelligenz oder von von Computertechnik an sich also hat zumindest einen kritischen Blick darauf gab.

00:15:55: Dem Moment das war so quasi der erste der erste Chatbot

00:16:00: und heute wenn Bedenken geahnt hätte was du was Chat IPT kann da hätte er wahrscheinlich richtig gestaunt was hat 66 war dass ich habe gerade noch mal nachgeguckt voce wollten alle leise angestarrt gegangen ist.

00:16:13: Bin in sehr schönes Beispiel und ich glaube das Wichtige hast du auch schon gesagt also seid ihr anfangen mit Computern zu kommunizieren

00:16:21: ist natürlich der Trauben der so wie bei Raumschiff Enterprise dass man vergeben mit dem Lampe genau dass man da mitreden kann und er halt wie ein Mensch Antworten gibt

00:16:34: da sind wir natürlich all weit von entfernt und ich sag mal so wenn Siri da das Maß aller Dinge ist dann wird noch eine Weile dauern noch nicht besser nichts dann nicht ne

00:16:43: aber aber aber der hat ja. Genau wenn wir bei mir auf uns auf Raumschiff Enterprise oder Star Trek und so beziehen Mobo warum nur sag Computer mache dies war wie sieht das aus man kann man wird verstanden und Krieg

00:16:56: gute Antworten das ist natürlich schon eine Idealvorstellung die die vielleicht auch.

00:17:03: Verbunden ist mit der Anforderung und mit denen die viele haben wenn sie mit Cici Bette sprechen dass sie denken nach kenn ich doch aus Star Trek kompetent da muss einfach alles stimmen was da rauskommt aber.

00:17:14: Wenn wir mit so einem Chat

00:17:16: Sport sprechen und nicht unterscheiden oder nicht mit Gewissheit sagen können ist das am anderen Ende hinter dem Bildschirm quasi ist das ein Mensch der mir jetzt antwortet.

00:17:27: Mann Frau egal Mensch menschliches Wesen oder ist es ein Computer ich kann das nicht beantworten dann hat so ein System den sogenannten Turing-Test bestanden benannt nach dem bekannten Mathematiker der 40er Jahre vor allem.

00:17:41: Mathematiker aus Großbritannien der diesen Test mehr oder weniger erfunden hat ne

00:17:48: dann bin ich mit einem künstlichen Systemspeicher und und und kann nicht sagen Mensch oder Maschine.

00:17:55: Dann ist das schon eine ziemliche Leistung und Cici PTA diesen Turing-Test bestanden.

00:18:02: Ja absolut also das war war schon Meilenstein kann man sagen für ein Modell du hattest eben ja die Chatbots angesprochen die man auf den Internetseiten sieht die ja

00:18:13: typischerweise der heuristisch funktionieren

00:18:16: genau da sind wir halt hier deutlich deutlich weiter auch weil der Aufwand der hier betrieben wurde deutlich größer ist also wenn man das in Euros ausdrücken möchte ist halt.

00:18:26: Programmieren 1 zu einfachen Chatbot

00:18:29: um Umwelten günstiger als der esstraining was auch mal in chat GPT reingesteckt hat.

00:18:39: Kann man wohl sagen und und die die dir die Möglichkeiten die man mit so einem System bicici PT hat die sind auch entsprechend

00:18:48: umfassend ist schon es ist schon genial na soll ich weiß nicht wie viel die hören und höre jetzt schon mit Choji pt ausprobiert haben immer wenn ich Vorträge halte sie frage ich jetzt mal wer hat denn schon mit Choji BT experimentierten erstaunlich viele Hände oben muss ich sagen aber kein Wunder bei 100 Millionen

00:19:05: an wenn dann in zwei Monaten weltweit

00:19:08: dann frage ich oft los was habt ihr denn so gefragt dass man dann also als erstes das sind auch Fragen so aus dem jeweiligen Berufsfeld nein weil mein Mann da damit kann man sich dann ja auch vergleichen aber dann nimmt man denkt da kennt man sich aus da frage ich mal und da stand ja schon das chi chi petite

00:19:23: doch in sehr vielen sehr sehr vielen Themenbereichen sich doch ziemlich gut auskennt na also ein Medizin Biologie Astronomie Wissenschaften ja sowieso also alles worüber auch viel geschrieben wurde könnte man sagen der Gefühlswelt nicht so gut oder

00:19:38: ja ich glaube das liegt wo wo bei teils teils aber es gibt auch schon die ersten Ansätze auch hier im Chat JP Tier als Therapeut einzusetzen

00:19:48: es gibt auch manche die das tatsächlich nutzen als als Gespräch

00:19:53: companion als gesprächstherapeut darin ist es gut weil Sprache ja genau so funktioniert also es ist einfach eine Wahrscheinlichkeit berechnen die wir Menschen auch implizit vornehmen und.

00:20:06: Das hat man hier sehr sehr gut übertragen auf eine Maschine und mit sehr sehr viel Daten gefüttert insofern ist kann sie mitreden bei ganz vielen Bereichen.

00:20:16: Ja Wahrscheinlichkeitsrechnung ist ein wichtiges Stichwort wie wir sind ja auch wenn wir wenn wir menschlich wenn mehr unter Menschen mehr mehr interagieren

00:20:24: vielleicht nicht mal ehrlich weil dann sagen wir was war wir in Zweck erfüllen und nichtmals die Wahrheit ist na hast du Hunger ja auf jeden Fall weil ich vielleicht mit der Kollegin den Kollegen essen gehen will

00:20:34: oder auch nicht sag nein weil ich es nicht möchte gebe eine falsche Antworten aber und ich auch nicht versuche mir zu überlegen was wird aber scheinlich von mir jetzt erwartet.

00:20:44: Und sage dass das macht Schicchi pity sozusagen per Definition ist berechnet.

00:20:49: Erkläre ich das auch immer ganz gerne Unfall Megane 1 Wort wenn ich das falsch erkläre Chat GPT berechnet Wahrscheinlichkeiten das ist und bleibt eben ein Computer und berechnet das was am wahrscheinlichsten.

00:21:03: Die passende Antwort auf die Frage ist und präsentiert das dann und das ist ihm weiß nicht.

00:21:11: Lernt in dem Sinne auch keine Erkenntnisse sondern berechnet eben nur aufgrund des gelernt

00:21:19: Gartenpools die Wahrscheinlichkeit dass das und dass die richtige Antwort ist oder die sollten diese Wortfolge die richtige Antwort ist ohne den Sinn zu verstehen

00:21:28: und präsentiert dass es ist alles beeindruckend genug aber es ist kein Wissen es ist ein berechnen von Wahrscheinlichkeiten ne.

00:21:35: Ganz genau also das ist der Unterschied zwischen Kausalität und Korrelation wir haben beobachtet dass die Geburt and abgenommen haben und die Anzahl der Störche auch abgenommen hat das ist Korrelation

00:21:47: wer jetzt glaubt dass das Kausalität ist weil der Klapperstorch eben die Babys bringt der ist eben auf dem Niveau von von chi-ji PTS ist basiert auf.

00:21:58: Korrelationen und es ist sogar noch perfider weil jeder

00:22:04: jedes Wort oder verschiedene Zeichenketten muss man sagen wir reden von Tokens diese Zeichenketten werden übersetzt.

00:22:13: In a in diesem System und dann wird die Wahrscheinlichkeit von

00:22:18: von der Abfolge einzelner Zeichenketten aufeinander berechnet also es kommt nicht mal sogar die ganze Antwort zurück und man sieht dass er auch wenn man.

00:22:26: GPT online nutzt dass das Modell ja immer wortweise oder Zeichenketten Weise diese Antwort ausspuckt

00:22:34: es wird wirklich gesagt was ist die wasch das wahrscheinlich nächste Wort oder die wahrscheinlich nächste Zeichenkette

00:22:41: und genau so funktioniert es und das ist wirklich essentiell und ich wiederhole mich da auch immer gerne in in meinen Vorträgen dazu weil es ganz wichtig ist zu verstehen wie das Ding funktioniert damit wir wissen was wir davon erwarten können

00:22:56: und was wir nicht davon erwarten können wir alles dass es liefern kann.

00:23:00: Das ist wirklich ganz ja entschuldige wollte nicht war ich bei ihr fertig bin also ich wollte nur sagen dieses halluzinieren da müssen wir uns wirklich vor vor wappnen

00:23:12: weil es ist.

00:23:13: Es ist nicht so sehr Bug des Modells also es ist kein Fehler des Modells sondern ist es eigentlich ein Feature des Modells also es sollte so passieren das ist das tut was es tut nur es ist dann für manche Einsatzzwecke eben nicht geil.

00:23:29: Ja stimmt und das ist das ist eine Einschränkung die man die man verstehen muss ich kann auch wenn Chat JP t weiß was du Goethe was Goethes Faust ist oder oder welche Stücke schickst du schickst mir geschrieben hat und so weiter

00:23:45: ich kann nicht sagen zieht ihr mir Faust oder schreib mir den runter warum ist das so.

00:23:52: Ja also grundsätzlich funktioniert er dazu müssen vielleicht uns erst mal anschauen was GPT eigentlich genau macht das ist ja eine Abkürzung für generated pretrained Transformer an.

00:24:05: Das hat drei Elemente das ganze wir haben generativ am Anfang also es ist ein generatives Modell ein erzeugendes Modell das kann man ganz gut an diesem Katzenbild Beispiel erklären wenn wir eine Maschine

00:24:20: trainieren wollen Katzen Bilder zu erzeugen

00:24:23: dann können wir das da drin machen dass wir der Maschine ganz viele Katzen Bilder vorzeigen und ganz viele nicht Katzenbilder vorzeigen und immer jeweils sagen ist Katze oder ist keine Katze

00:24:34: das nennt man angeleitetes training viel eleganter ist es jedoch weil dafür braucht man fürs eingeleitete training einen Menschen jemand der anleitet ist es wenn wir zwei Maschinen gegeneinander spielen lassen die einen die

00:24:48: Bilder erzeugt und die andere Maschine die sagt sieht aus wie eine Katze oder nicht und

00:24:54: nun hat man halt im Prinzip den Menschen der Vorhersagen musste ist Katze ist keine Katze ersetzt durch eine weitere Maschine

00:25:02: und kann die miteinander spielen lassen und das ist im Prinzip das was der die Idee bei einem Generator ist.

00:25:11: Dass wir hier jetzt keine Katzenbilder generieren lassen sondern eben Texte Texte genau.

00:25:18: Das ist das was das G in GPT ausmacht das P steht für pretrained vor trainiert davon hatten wir es eben schon es ist ein ganz ganz großer Trainingsdatensatz in dieses Modell rein gegangen

00:25:30: und deshalb eben auch ein großes Sprachmodell weil es halt so so viel Text gelernt hat auf dem es trainiert wurde eben.

00:25:41: Und das T am Ende der Transformer der steht für und da ist eigentlich die Weiterentwicklung des Systems zu sehen

00:25:50: Transformer ist mir Idee von Google und der Uni in Toronto aus 2017.

00:25:55: Und die hatten eine Idee einen Papier veröffentlicht also frei verfügbar gemacht was openai Aydan genutzt hat

00:26:05: und zwar ein Sprachmodell sehr sehr schnell trainieren zu können.

00:26:12: Und dadurch war man in der Lage also Informationen zum ersten Mal parallel zu verarbeiten und nicht hintereinander sequentiell zusammenarbeiten

00:26:21: Frontschweine die Sache natürlich enorm gigantisch genau und anders wäre das gar nicht möglich gewesen was wir hier haben.

00:26:29: Und GPT oder Openair arbeitet an die PC-Version auch schon eine ganze Weile die vor Version übersohn 2

00:26:37: war jetzt wenig beeindruckend 3 und war ganz nett aber sie hatte genau das Problem was du auch von Chatbots beschrieben hast auf höherem Maße es war

00:26:49: das generierte war ok und dann ist Gigi petit hingegangen hat gesagt na ja dann lassen wir doch noch mal einen Menschen drüberschauen oder ganz viele Menschen drüberschauen.

00:27:00: Aber diese Trainingsdaten und die klassifizieren was ist eine gute Antwort was ist eine schlechte Antwort.

00:27:05: Also am Ende noch mal nach trainieren das ganze Modell

00:27:11: und da ist etwas heben rausgekommen was halt recht gut funktioniert was Antworten generiert die Menschen gefallen was sich auch relativ anständig verhält man darf ja eins nicht vergessen.

00:27:23: Diese riesengroße Trainingsdatensatz der enthält natürlich auch eine Menge Schmutz die man im Internet findet und

00:27:31: das wollte man natürlich ja also das wurden ja alle Foren die man so finden konnte einfach gekrault also zusammengesucht und darauf wurde trainiert neben natürlich auch seriösen Quellen.

00:27:46: Aber die Maschine hätte natürlich auch gelernt sich so an zu maulen wie man das in den sogenannten sozialen Medien oftmals erlebt

00:27:56: und was einige ki-systeme auch schon gemacht haben dann die die die die die benutze angeraunzt und angeranzt und unhöflich geworden in den ersten.

00:28:06: Generation absolut die können beleidigend sein das ist halt was was man lernt ist das was man wiedergibt und da hat halt auch mehr wirkliches geschafft.

00:28:15: Zeit Geld zu investieren um mit einer Version auf den Markt zu kommen die.

00:28:21: Ja einigermaßen anständig funktioniert es gibt natürlich dann auch wieder ein paar Benutzer die es geschafft haben

00:28:27: das Modell da hinzugehen zu tunen dass das unanständige Antworten gibt aber das sind sage ich mal Spielereien von der sich keinen Modell befreien kann.

00:28:38: Ja also die auf die solche Details gebe einen späteren Episoden mal ein und auch spannend keine Frage aber meine Frage war ja wieso kann Chat JP und auch einen anderen anderes Chatbot System mir nicht Faust zitieren

00:28:52: es genau also es könnte sogar.

00:28:58: War also das Modell selber und deshalb kam ich über GPT lernt die Struktur der Wahrscheinlichkeiten von Zeichenfolgen.

00:29:07: Also welche.

00:29:09: Zeichenfolge kommt mit welcher Wahrscheinlichkeit auf welche andere und das ist das was ich das Modell am Ende merkt den Trainingsdatensatz hat das Modell erstmal nicht zu Verfügung.

00:29:18: Man kann dann über verschiedene Anpassung an dem Modell tatsächlich die Trainingsdaten auch wieder verfügbar machen

00:29:25: also wenn du heute die PT4 fragst die Thema den Anfang des Faust dann kriegst Du tatsächlich eine Antwort.

00:29:33: Aber gemacht zwei Seelen wohnen ach in meiner Brust die eine will sich von der anderen trennen die eine hält in derber Liebeslust sich an die Welt mit klammernden Organen oh Gott die andere hebt gewaltsam sich vom dust

00:29:46: zu den Gefilden hoher ahnen.

00:29:49: Da ist aber noch nicht dass er da ist schluss mir geht nicht erster Teil naja also es kann doch zitieren es kann doch City aber aber aber nicht alles oder.

00:29:58: Wer also das Modell selber hat hat wirklich diese Zeichenketten Wahrscheinlichkeiten gelernt hat aber nicht die Informationen behalten welche Zeichen in dem Faust unbedingt waren

00:30:10: aber man kann wie gesagt den Zugriff zu den Trainings Datensatz diesen Modellen ermöglichen.

00:30:15: Genauso wie man einen realen Zugang zu Informationen ermöglichen kann das hat ja auch Googles Bad also die.

00:30:23: Chatbot Variante von Google tatsächlich ermöglicht und auch in der neuen GPT Version ist dieser diese Möglichkeit wieder freigeschaltet

00:30:34: da geht das also ein an Frieda später er wird das auch erwartet da wird man das sowieso irgendwie kombinieren müssen dazwischen zwischen dem was die Chatsysteme jetzt.

00:30:46: Können

00:30:47: und und und das und das was sie noch nicht können also Fragen den Bezug zur Aktualität oder oder zu Fakten und so weiter die muss man dann halt noch dazu holen miteinander verbinden das sind wenn überhaupt ist das eine Frage der Zeit bis das alles gegen gehen wird.

00:31:01: Max hat einen absolut da arbeitet man dran und das ist der Schritt den wir gehen müssen um das Ganze wirklich sinnvoll nutzen zu können.

00:31:11: Für alle die die erste Episode nicht gehört haben was wir nicht hoffen dass es da viele gibt aber CEPT ist trainiert worden im Spätsommer 2021 also CTBT 3.54 glaube ich auch najjaci bt4 als auch im Sack

00:31:25: bis September 22 21

00:31:28: newborn alles was danach passiert ist davon weiß Cici BT nicht wieder vom Ukraine Krieg noch wer Fussballweltmeister ist.

00:31:37: Unkenntnis Blanco und Kenntnis.

00:31:40: Grundsätzlich ja gebe gebe ich dir Recht was oben rein macht ist oder es passt die Modelle regelmäßig an die man zur Verfügung hat

00:31:50: und es ist nicht immer ganz klar welche Version auf welchem Informationsstand ist also bis jetzt haben sie wohl kein neues Modell trainiert

00:31:58: aber sie haben möglicherweise tatsächlich Features freigeschaltet das halt reales wissen oder oder neueres wissen als dieser cut off Date im September 21

00:32:10: zu Verfügung steht also das ist wirklich eine Entwicklungen wo man Werktag genau schauen muss und welche Variante ist man gerade unterwegs

00:32:20: GPT 4 ist verfügbar in der Bezahlversion die pT3.

00:32:25: Punkt 5 Uhr das was man Chat GPT nennt ist frei verfügbar nach Registrierung

00:32:32: noch muss man sagen weil es da natürlich auch Ansätze gibt auch die freie Version Einsatz von OBI zu beschränken andererseits diskutieren ja unterschiedliche Regierungen auch

00:32:43: Regulierung dieser Modelle aber auch damit beschäftigen wir uns glaube ich in Zukunft noch mal ausführlicher.

00:32:50: Unbedingt aber wir wollen ja schon mal so ein bisschen Kaka machen wo wo die wo die das Ende der Fähigkeiten oder wozu misses

00:32:57: Erschwernisse dazu, das ist Aktualität kann man schon glaube ich sagen auch wenn nach nachgelegt wird durch nach Training Feintuning und so weiter durch die durch Plugins vielleicht auch die ist ja jetzt

00:33:08: gibt's dass man noch Wasser dazu Pfropfen kann und eine Verbindung zur Außenwelt hat so möchte ich das jetzt mal ein bisschen lapidar formulieren

00:33:18: dann da tut sich im Augenblick eine ganze Menge und dadurch bekommt das ganze natürlich noch mehr Dynamik noch mehr Möglichkeiten das sind alle möglichen Dienste einzubauen Apps einzubauen was ja im Augenblick auch wahnsinnig viel gemacht wird aber einen Punkt möchte ich ansprechen

00:33:31: dann der mit LG PT4 möglich ist

00:33:34: und der diese Beschränkung auf Text alleine springt das ist die multimodalität.

00:33:42: Die wir haben bye bye bye JP T4

00:33:45: möchtest du mal erklären was damit verbunden ist also Bilder erkennen verstehen also nicht Bilder generieren das macht Dolly nach wie vor und andere Systeme aber Bilder verstehen wie geht das.

00:33:58: Was kann das.

00:33:59: Genau also bis bis jetzt haben wir sehr viel Zeit da rein investiert gute unimodale Systeme zu entwickeln also sprachmodelle für Sprache in Text Modelle Bild Modelle für Bilder entweder Bilder klassifizieren was einen ganz langen großes Problem fürs maschinelle lernen war also

00:34:18: Computern im Bild zeigen und sagen ihr erklär mir was da drauf ist eine Sache die für uns Menschen sehr sehr einfach ist ist für den Computer sehr schwierig.

00:34:26: Das haben wir allerdings gelöst und die nächste Frage ist

00:34:31: und natürlich auch Audio generieren und Videos dann im Prinzip nur die Kombination von Audio und bewegten Bildern also insofern das ist trivial nur eine Frage von mehr Daten

00:34:42: multimodales Modell und das ist der nächste Schritt den wir brauchen versteht natürlich mehr das heißt es kann sowohl ein Bild klassifizieren

00:34:53: als auch letztlich im nächsten Schritt Bilder generieren es gibt tatsächlich auf der Entwicklung Seite andere

00:35:03: erforsche die solche multimodalen Modelle schon gebastelt haben die auch sehr sehr gut funktionieren also gibt natürlich deutlich deutlich mehr als open air

00:35:13: an dieser Stelle sei vielleicht doch angemerkt dass

00:35:15: Großzahl der Entwicklung in der sogenannten public-domain stattfindet also das sind Modelle die frei zu Verfügung stehen die Forscher teilen da ihre Ergebnisse sehr sehr gerne miteinander

00:35:28: Hotmail war da so eine recht unrühmliche Ausnahme die haben nämlich nicht darüber rausgelassen wie ihr Modell nun funktioniert obwohl sie eben auf Modellen anderer basieren.

00:35:39: Das scheint sich gerade so ein bisschen wieder aufzulösen also auch die wollen ein öffentlich verfügbares Modell

00:35:47: zur Verfügung stellen

00:35:49: aber im Prinzip kann jeder Entwickler weltweit diese Modelle nutzen die miteinander kombinieren verknüpfen

00:35:57: verbessern und sie hat z.b. einen Entwickler ein einzelner Mensch ein einzelner Entwickler aus ich glaube Bulgarien geschafft GPT auf das iPhone zu bekommen und immer

00:36:09: die ist generieren was auch viele Rechenkapazität braucht.

00:36:13: Auf einem handelsüblichen iPhone zum Laufen gebracht hat das sind natürlich ganz ganz spannende Entwicklungen in die auch helfen

00:36:22: hin zu diesem multimodalen Modell zu finden.

00:36:25: Warum nun wenn ich ein Modell habe was Text versteht und schon sehr sehr groß ist sehr kostenintensiv ist in der Generierung.

00:36:33: Und daneben ein Modell habe was Bilder verstehen kann was auch sehr groß ist was auch sehr kostenintensiv ist und ich verknüpft die einfach miteinander.

00:36:41: Dann habe ich halt ein riesengroßes Modell was sehr sehr kostenintensiv ist und das ist halt.

00:36:48: Wirtschaftlich noch nicht zu machen das heißt wir müssen einerseits sehen besser verstehen die Modelle kleiner zu bekommen bei gleichen.

00:36:55: Bei gleicher Leistung und zusehen dass wir daneben diese Modelle sinnvoll miteinander kombinieren können.

00:37:03: Ich möchte auch anschauliche Beispiele bringen weil das immer hilft zu verstehen was mit multimodalität zu versch was darunter zu verstehen ist was

00:37:11: GPT 4 kann das wurde gezeigt auf der Einführungs Präsentation als ob mir das gezeigt hat zwei Beispiele die ich sehr eindrucksvoll finde einmal

00:37:21: eine auf eine Serviette gemalt oder gezeichnet es kribbelt muss man sagen so eine Webseite oh, da ist das Logo da ist die ist da ist das und so weiter.

00:37:30: Abfotografiert JP T4 gegeben und das ist Tim erzeugt den nötigen HTML-Code um diese Webseite darzustellen das ist eine Wahnsinnsleistung und ein anderes Beispiel über sich aber auch sehr eindrucksvoll finde

00:37:43: und vielleicht noch ein bisschen mehr mit dem Alltag von von vielen oder von allen eigentlich hören und hören zu tun hat ein Bild auf dem man.

00:37:53: Kind sieht

00:37:54: das hat geschätzt 80 100 Ballons in der Hand also gasgefüllt die die so ein bisschen nach oben zieht alle mit einer Kordel verbunden alle zusammengebunden und dann in der Hand.

00:38:05: Und dieses Bild präsentiert man JP T4.

00:38:09: Und so wie man den Texten Märchen oder so Grimms Märchen wird gelesen von JP T4 oder gelesen ich jetzt den falschen Begriff trainiert und dann damit verstanden in dem Anführungszeichen da kann man auch Fragen stellen zum Wolf oder zur Rotkäppchen nur zum Wald

00:38:26: kriegt darauf antworten.

00:38:27: Hier zeigt man also ein Bild dieses Bild mit dem Mädchen mit den wahnsinnig vielen Luftballons und dann kann man JP T4 fragen was passiert wenn ich die Kordel durch Schneide.

00:38:40: So

00:38:40: das ist ja deutlich mehr als die Frage was ist auf dem Bild und du hast es ja eben erwähnt gehört das zu sagen dass das sind 80 Luftballons und Kind da sind auch noch sieben Bäume Hintergrund das ist draußen das Kind trägt kurze Hosen und und all diese Dinge dass das kann KI heute natürlich

00:38:55: Leistung ist es schon eine Leistung keine Frage aber die Frage was passiert wenn ich die Kordel durch Schneide

00:39:01: das ist schon das erfordert ja wirklich ein Verständnis von dem was da abgebildet ist nicht nur sächlich was was konkret sondern welche Situation ist da abgebildet das ist schon deutlich mehr und da antworte JP T4

00:39:14: die Ballons fliegen weg und das finde ich schon beeindruckend.

00:39:19: Absolut also da sind wir dann auf dem Weg was wir versuchen gerade Maschinen beizubringen nämlich physikalische Modelle also sprich Einverständnis von.

00:39:29: Kausalzusammenhänge wie wir die ja auch lernen na also

00:39:33: Kinder wenn sie anfangen also soll teilweise noch irgendwas anfassen müssen uns die Knie aufschlagen und dass das ist ja alles lernen absolut und und genauso versuchen wir eben Modelle zu entwickeln Text Modelle erstmal die halt physikalisches Verständnis haben

00:39:50: das wird der nächste große Schritt sein sicherlich weil wir daneben wegkommen von der reinen Korrelation hin.

00:39:56: Dahingehend dass es eine ja in gewisser Weise ein Verständnis über Kausalitäten geben kann also um um wirkliche Sachzusammenhänge.

00:40:07: Für die Beispiele schon mal ziemlich beeindrucken muss ich wirklich sagen und das.

00:40:12: Ist auch fast schon ein bisschen spooky oder also das und das ist ja auch erst damit das davon sich nie das darf man nie aus den Augen verlieren es ist alles noch.

00:40:20: Anfangs das alles noch Kinderschuhe und dafür finde ich sind die Fortschritte schon ziemlich beeindruckend ja also wir haben so ein bisschen jetzt gesprochen über über die Art und Weise wie so ein Chatbot trainiert wurde dass er den Turing-Test mühelos bestanden hat Gigi petite zumindest wie gut so ein Training funktioniert

00:40:38: Warum ist nicht alle.

00:40:41: Aus der Gegenwart kennt das System aber das daran auch gearbeitet wird das ist Konkurrenz Systeme gibt und vor allem das Thema multimodalität haben wir angesprochen das finde ich ist muss man erstmal jetzt auch verdauen und deswegen würde ich Episode 2

00:40:55: ganz gerne mal zu machen weil wir auf die Details in den einzelnen Folgen auch selbstverständlich noch.

00:41:02: Später zu sprechen kommen weil jeder eins jeder einzelne Aspekt verdient ist egal ob es zu Energieaufwand ist

00:41:09: die Kosten sind der der kommerzielle Aspekte oder was du angesprochen hast ist public domain besser als geschlossenes System und so weiter soll das ist alles sehr sehr interessant und kann man mühelos jeden einzelnen

00:41:21: der ganze Folge machen das werden wir auch tun so viel wollen wir versprechen

00:41:25: wenn man nicht zuhören möchte so ein auch lesen möchte wir haben wir beide wir haben ja einen ein sehr schönes Buch geschrieben ich finde hoffentlich kann man das so sagen das ist ja schön ist der digitalshop erschienen im Redline Verlag etwas über 220 Seiten und genau da bekommt ihr all das was ihr wissen müsst wie funktionieren chat

00:41:45: Sports 4 was ist eigentlich KI wie funktioniert das was ist Training was macht das aber auch alles mit unserem Alltag und unserem beruflichen alt

00:41:52: beruflichen Alltag und was können wir da noch in Zukunft erwarten richtig bedrucktes Papier Hardcover er gibt es aber auch als gibt's aber auch als Kindle Edition

00:42:03: unter www.digitalo.de konnte ja mal nachgucken da könnt ihr nämlich dann auch kostenlos eine Leseprobe bekommen ne Anleitung bekommen 20 Seiten die man Cici bitte bedient mit ein paar Hacks damit man bisschen mehr rausholt als man normalerweise rausholen kann und da könnt das Buch aber auch gerne bestellen

00:42:21: absolut muss Oma gesagt haben.

00:42:25: Und das ist das ist nicht von künstlicher Intelligenz geschrieben das ist von human intelligence geschrieben die sollte man ja auch nicht unterschätzen danke für die Aufmerksamkeit von meiner Seite.

00:42:35: Fürs Zuhören bis zur nächsten Episode den Podcast Irgendwie ki bekommt die überall dort wo ihr gute Podcasts bekommt natürlich bei Spotify bei Google.

00:42:45: Apple aber auch bei podigee da wo wir nämlich den Podcast hinterlegen und überall dort wo man gute Podcast normal laden kann und

00:42:52: auch abonnieren kann und das hoffe ich oder hoffen wir dass ihr das tut damit dir keine Folge verpasst bis zum nächsten Mal tschüss von mir tschüss.

00:43:00: Music.