KI-Modelle: GPT, xLSTM, Stable Diffusion, etc

charmin

Super Moderator

Registered: Dec 2002
Location: aut_sbg
Posts: 13896

24.03.2023 - 13:58

Zitat aus einem Post von Daeda
und das kann chatgpt mit dem "browser plugin" jetzt auch. bin gespannt, inwiefern sich das dann von bing unterscheidet. dort nervt die werbung ja schon a bissl.

nice. hach, what a time to be alive :cool:

KruzFX

8.10.2021

Registered: Aug 2005
Location: ZDR
Posts: 1815

24.03.2023 - 23:32

Ist mir wohl nicht allein so gegangen:

https://www.golem.de/news/ki-im-pro...303-172777.html

Jedimaster

Here to stay

Registered: Dec 2005
Location: Linz
Posts: 2543

24.03.2023 - 23:56

Ist leider hinter ner Paywall ... somit ... tldr ?

Edit: heute gehts, evtl. lags am Adblock ka ?

Bearbeitet von Jedimaster am 25.03.2023, 10:43

xtrm

social assassin

Registered: Jul 2002
Location:
Posts: 11913

25.03.2023 - 01:29

"Akzeptieren und weiter" klicken ist keine Paywall...

.

Bearbeitet von xtrm am 25.03.2023, 01:35

daisho

SHODAN

Registered: Nov 2002
Location: 4C4
Posts: 19592

25.03.2023 - 08:22

Da ist mMn nichts überraschendes dran, genau so funktioniert der ganze DeepLearning Stuff. Es wird probiert und probiert bis eine Lösung gefunden wird und validiert ob die Lösung gut oder besser ist als vorher. Bei ChatGPT machen das halt die User, wenn wir schreiben "das ist ein Schaas" dann sagt dass der Engine die Lösung war schlecht. Trial und Error.
Nur der Clou daran ist halt dass die Engine irgendwann halt gut bzw besser als ein Mensch wird. ABER, Kreativität hat sie halt nicht und neue Probleme werden sicherlich schneller von Menschen gelöst (heute), das ist aber auch nur eine Frage der Rechenleistung bzw wie schnell man Lösungen verifizieren kann.

Denke dass die Technologie trotzdem auf Dauer die Menschheit verändern wird.

In meinen Augen kann man das sicher mit der Revolution des Internets (Informationsaustausch) vergleichen.

charmin

Super Moderator

Registered: Dec 2002
Location: aut_sbg
Posts: 13896

25.03.2023 - 08:24

Ich bezweifle ganz stark dass auch nur irgendein Parameter im ChatGPT Modell gelernt wird durch unüberprüfte Eingaben von normalen Menschen.

Probiert wird auch nichts. Es werden vorne Sätze reingestopft und hinten Sätze die als richtige Antwort gelten platziert. Danach wird der Satz durchs Netz propagiert und anschließend ein Fehler berechnet. Danach passiert ein
Gradientenabstieg und der Fehler wird durchs Netz backpropagated bis alle Layer durch sind. Probiert wird da nix, sondern Parameter angepasst die den Fehler verringern. Halt immer nur stückchenweise.

Empfehle die Videos von 3Blue1Brown zu Neural Networks / Gradient Descent etc. Der erklärts echt gut

Bender

don`t jinx it

Registered: Apr 2001
Location: Here..
Posts: 4973

25.03.2023 - 08:38

ChatGPT hat mir gerade das empfohlen.. not sure if.. mal schaun

:ubeer: * -- dummes programm..

ok, now it get it .. es kennt mich mittlerweile recht gut oder doch nicht !

* 2 bierkrüge stoßen aneinander, aber trotzdem dumm, ich sauf schon lange kein Bier mehr, nur mehr Mineralwasser mit einem hauch von wein

Bearbeitet von Bender am 25.03.2023, 08:42

charmin

Super Moderator

Registered: Dec 2002
Location: aut_sbg
Posts: 13896

25.03.2023 - 08:43

Falls wem ganz fad is:

https://arxiv.org/abs/1706.03762

Das original Transformer Paper.

Hier einfacher erklärt:

https://jalammar.github.io/illustrated-transformer/

Hier ne playlist vom grant anderson über die Grundlagen von Neuronalen Netzen.

https://m.youtube.com/playlist?list...7000Dx_ZCJB-3pi

KruzFX

8.10.2021

Registered: Aug 2005
Location: ZDR
Posts: 1815

25.03.2023 - 10:32

Ein guter Artikel auf heise, wie man Llama selbst ausprobieren kann:

https://www.heise.de/hintergrund/Gr...he-7624131.html

Seit gestern kann ich auch Bing ausprobieren, dass ja auch schon auf GPT4 läuft. Es ist schon deutlich präziser als GPT3.5. Was auch gut gelaufen ist, man kann Bing einen Link zu einer PDF gehen, zb zu wissenschaftlichen Arbeiten und diese von Bing zusammenfassen lassen.

Hansmaulwurf

u wot m8?

Registered: Apr 2005
Location: VBG
Posts: 5639

25.03.2023 - 11:00

Zitat aus einem Post von charmin
Probiert wird da nix, sondern Parameter angepasst die den Fehler verringern.

Auch auf der technischen Seite wird probiert. Siehe dropout layer.
https://keras.io/api/layers/regular...layers/dropout/
Auch werden am Start die Weights per Zufall gesetzt.

charmin

Super Moderator

Registered: Dec 2002
Location: aut_sbg
Posts: 13896

25.03.2023 - 11:42

Zitat aus einem Post von Hansmaulwurf
Auch auf der technischen Seite wird probiert. Siehe dropout layer.
https://keras.io/api/layers/regular...layers/dropout/
Auch werden am Start die Weights per Zufall gesetzt.

Ja aber nicht während der Inferenz, sondern vorm Training.
Was du beschreibst ist hyperparameter Optimierung und Regularization. Dropout wird verwendet um Overfitting zu vermeiden.

Das mit den zufälligen weights und "Probieren" is so ne Sache. Es wird gemacht, aber wenn ein Netz auf Industrie Hardware mal ein paar Wochen trainiert, dann wirst alt mit Probieren und Dingen wie grid search bei hyperparametet Optimierung.

Hansmaulwurf

u wot m8?

Registered: Apr 2005
Location: VBG
Posts: 5639

25.03.2023 - 11:48

Zitat aus einem Post von charmin
Ja aber nicht während der Inferenz, sondern vorm Training.
Was du beschreibst ist hyperparameter Optimierung und Regularization. Dropout wird verwendet um Overfitting zu vermeiden.

Zitat
The Dropout layer randomly sets input units to 0 with a frequency of rate at each step during training time, which helps prevent overfitting

Aus dem Link. Der Dropout Layer agiert während dem Training.

Bender

don`t jinx it

Registered: Apr 2001
Location: Here..
Posts: 4973

25.03.2023 - 11:52

Siggi und Sheldon lachen immer noch über ChatGPT.. wie lange noch ?

charmin

Super Moderator

Registered: Dec 2002
Location: aut_sbg
Posts: 13896

25.03.2023 - 11:54

Zitat aus einem Post von Hansmaulwurf
Aus dem Link. Der Dropout Layer agiert während dem Training.

Ja, aber einstellen tust du den hyperparameter net während des trainings.Du definierst vorm Training das Verhalten und dann läuft das. Selbes mir temperature annealing bei softmax.
Da hab ich auch mehrere Verhaltensweisen probiert wie linear mit Epochenanzahl (ähnlich dropout in deinem link) runter oder exponentiell sinkend. Aber ändern musst das jedesmal vorm Start des Trainings.

Edit: um was es mir geht: wenn irgendein Hansl im Netz Chat gpt nutzt und dem als input irgend ein Wissen gibt. Dann wird das nicht einfach so übernommen.

edit: sieht man eh beim Nazi bot von Microsoft damals was passiert wenn ungefiltert zeugs gelernt wird

Bender

don`t jinx it

Registered: Apr 2001
Location: Here..
Posts: 4973

25.03.2023 - 11:57

charmin Super Moderator Registered: Dec 2002 Location: aut_sbg Posts: 13896	24.03.2023 - 13:58 Zitat aus einem Post von Daeda und das kann chatgpt mit dem "browser plugin" jetzt auch. bin gespannt, inwiefern sich das dann von bing unterscheidet. dort nervt die werbung ja schon a bissl. nice. hach, what a time to be alive
KruzFX 8.10.2021 Registered: Aug 2005 Location: ZDR Posts: 1815	24.03.2023 - 23:32 Ist mir wohl nicht allein so gegangen: https://www.golem.de/news/ki-im-pro...303-172777.html
Jedimaster Here to stay Registered: Dec 2005 Location: Linz Posts: 2543	24.03.2023 - 23:56 Ist leider hinter ner Paywall ... somit ... tldr ? Edit: heute gehts, evtl. lags am Adblock ka ? Bearbeitet von Jedimaster am 25.03.2023, 10:43
xtrm social assassin Registered: Jul 2002 Location: Posts: 11913	25.03.2023 - 01:29 "Akzeptieren und weiter" klicken ist keine Paywall... . Bearbeitet von xtrm am 25.03.2023, 01:35
daisho SHODAN Registered: Nov 2002 Location: 4C4 Posts: 19592	25.03.2023 - 08:22 Da ist mMn nichts überraschendes dran, genau so funktioniert der ganze DeepLearning Stuff. Es wird probiert und probiert bis eine Lösung gefunden wird und validiert ob die Lösung gut oder besser ist als vorher. Bei ChatGPT machen das halt die User, wenn wir schreiben "das ist ein Schaas" dann sagt dass der Engine die Lösung war schlecht. Trial und Error. Nur der Clou daran ist halt dass die Engine irgendwann halt gut bzw besser als ein Mensch wird. ABER, Kreativität hat sie halt nicht und neue Probleme werden sicherlich schneller von Menschen gelöst (heute), das ist aber auch nur eine Frage der Rechenleistung bzw wie schnell man Lösungen verifizieren kann. Denke dass die Technologie trotzdem auf Dauer die Menschheit verändern wird. In meinen Augen kann man das sicher mit der Revolution des Internets (Informationsaustausch) vergleichen.
charmin Super Moderator Registered: Dec 2002 Location: aut_sbg Posts: 13896	25.03.2023 - 08:24 Ich bezweifle ganz stark dass auch nur irgendein Parameter im ChatGPT Modell gelernt wird durch unüberprüfte Eingaben von normalen Menschen. Probiert wird auch nichts. Es werden vorne Sätze reingestopft und hinten Sätze die als richtige Antwort gelten platziert. Danach wird der Satz durchs Netz propagiert und anschließend ein Fehler berechnet. Danach passiert ein Gradientenabstieg und der Fehler wird durchs Netz backpropagated bis alle Layer durch sind. Probiert wird da nix, sondern Parameter angepasst die den Fehler verringern. Halt immer nur stückchenweise. Empfehle die Videos von 3Blue1Brown zu Neural Networks / Gradient Descent etc. Der erklärts echt gut
Bender don`t jinx it Registered: Apr 2001 Location: Here.. Posts: 4973	25.03.2023 - 08:38 ChatGPT hat mir gerade das empfohlen.. not sure if.. mal schaun :ubeer: * -- dummes programm.. ok, now it get it .. es kennt mich mittlerweile recht gut oder doch nicht ! * 2 bierkrüge stoßen aneinander, aber trotzdem dumm, ich sauf schon lange kein Bier mehr, nur mehr Mineralwasser mit einem hauch von wein Bearbeitet von Bender am 25.03.2023, 08:42
charmin Super Moderator Registered: Dec 2002 Location: aut_sbg Posts: 13896	25.03.2023 - 08:43 Falls wem ganz fad is: https://arxiv.org/abs/1706.03762 Das original Transformer Paper. Hier einfacher erklärt: https://jalammar.github.io/illustrated-transformer/ Hier ne playlist vom grant anderson über die Grundlagen von Neuronalen Netzen. https://m.youtube.com/playlist?list...7000Dx_ZCJB-3pi
KruzFX 8.10.2021 Registered: Aug 2005 Location: ZDR Posts: 1815	25.03.2023 - 10:32 Ein guter Artikel auf heise, wie man Llama selbst ausprobieren kann: https://www.heise.de/hintergrund/Gr...he-7624131.html Seit gestern kann ich auch Bing ausprobieren, dass ja auch schon auf GPT4 läuft. Es ist schon deutlich präziser als GPT3.5. Was auch gut gelaufen ist, man kann Bing einen Link zu einer PDF gehen, zb zu wissenschaftlichen Arbeiten und diese von Bing zusammenfassen lassen.
Hansmaulwurf u wot m8? Registered: Apr 2005 Location: VBG Posts: 5639	25.03.2023 - 11:00 Zitat aus einem Post von charmin Probiert wird da nix, sondern Parameter angepasst die den Fehler verringern. Auch auf der technischen Seite wird probiert. Siehe dropout layer. https://keras.io/api/layers/regular...layers/dropout/ Auch werden am Start die Weights per Zufall gesetzt.
charmin Super Moderator Registered: Dec 2002 Location: aut_sbg Posts: 13896	25.03.2023 - 11:42 Zitat aus einem Post von Hansmaulwurf Auch auf der technischen Seite wird probiert. Siehe dropout layer. https://keras.io/api/layers/regular...layers/dropout/ Auch werden am Start die Weights per Zufall gesetzt. Ja aber nicht während der Inferenz, sondern vorm Training. Was du beschreibst ist hyperparameter Optimierung und Regularization. Dropout wird verwendet um Overfitting zu vermeiden. Das mit den zufälligen weights und "Probieren" is so ne Sache. Es wird gemacht, aber wenn ein Netz auf Industrie Hardware mal ein paar Wochen trainiert, dann wirst alt mit Probieren und Dingen wie grid search bei hyperparametet Optimierung.
Hansmaulwurf u wot m8? Registered: Apr 2005 Location: VBG Posts: 5639	25.03.2023 - 11:48 Zitat aus einem Post von charmin Ja aber nicht während der Inferenz, sondern vorm Training. Was du beschreibst ist hyperparameter Optimierung und Regularization. Dropout wird verwendet um Overfitting zu vermeiden. Zitat The Dropout layer randomly sets input units to 0 with a frequency of rate at each step during training time, which helps prevent overfitting Aus dem Link. Der Dropout Layer agiert während dem Training.
Bender don`t jinx it Registered: Apr 2001 Location: Here.. Posts: 4973	25.03.2023 - 11:52 Siggi und Sheldon lachen immer noch über ChatGPT.. wie lange noch ?
charmin Super Moderator Registered: Dec 2002 Location: aut_sbg Posts: 13896	25.03.2023 - 11:54 Zitat aus einem Post von Hansmaulwurf Aus dem Link. Der Dropout Layer agiert während dem Training. Ja, aber einstellen tust du den hyperparameter net während des trainings.Du definierst vorm Training das Verhalten und dann läuft das. Selbes mir temperature annealing bei softmax. Da hab ich auch mehrere Verhaltensweisen probiert wie linear mit Epochenanzahl (ähnlich dropout in deinem link) runter oder exponentiell sinkend. Aber ändern musst das jedesmal vorm Start des Trainings. Edit: um was es mir geht: wenn irgendein Hansl im Netz Chat gpt nutzt und dem als input irgend ein Wissen gibt. Dann wird das nicht einfach so übernommen. edit: sieht man eh beim Nazi bot von Microsoft damals was passiert wenn ungefiltert zeugs gelernt wird
Bender don`t jinx it Registered: Apr 2001 Location: Here.. Posts: 4973	25.03.2023 - 11:57 you will love Siggi Bearbeitet von Bender am 25.03.2023, 12:44

KI-Modelle: GPT, xLSTM, Stable Diffusion, etc

Forum Index > Software > Applications, Apps & Drivers

charmin

KruzFX

Jedimaster

xtrm

daisho

charmin

Bender

charmin

KruzFX

Hansmaulwurf

charmin

Hansmaulwurf

Bender

charmin

Bender