KI-Modelle: GPT, xLSTM, Stable Diffusion, etc - Seite 15

Seite 15 von 36 - Forum: Applications, Apps & Drivers auf overclockers.at

URL: https://www.overclockers.at/applications/ki-modelle-gpt-xlstm-stable-diffusion-etc_261430/page_15 - zur Vollversion wechseln!

charmin schrieb am 24.03.2023 um 13:58

Zitat aus einem Post von Daeda
und das kann chatgpt mit dem "browser plugin" jetzt auch. bin gespannt, inwiefern sich das dann von bing unterscheidet. dort nervt die werbung ja schon a bissl.

nice. hach, what a time to be alive :cool:

KruzFX schrieb am 24.03.2023 um 23:32

Ist mir wohl nicht allein so gegangen:

https://www.golem.de/news/ki-im-pro...303-172777.html

Jedimaster schrieb am 24.03.2023 um 23:56

Ist leider hinter ner Paywall ... somit ... tldr ?

Edit: heute gehts, evtl. lags am Adblock ka ?

xtrm schrieb am 25.03.2023 um 01:29

"Akzeptieren und weiter" klicken ist keine Paywall... .

daisho schrieb am 25.03.2023 um 08:22

Da ist mMn nichts überraschendes dran, genau so funktioniert der ganze DeepLearning Stuff. Es wird probiert und probiert bis eine Lösung gefunden wird und validiert ob die Lösung gut oder besser ist als vorher. Bei ChatGPT machen das halt die User, wenn wir schreiben "das ist ein Schaas" dann sagt dass der Engine die Lösung war schlecht. Trial und Error.
Nur der Clou daran ist halt dass die Engine irgendwann halt gut bzw besser als ein Mensch wird. ABER, Kreativität hat sie halt nicht und neue Probleme werden sicherlich schneller von Menschen gelöst (heute), das ist aber auch nur eine Frage der Rechenleistung bzw wie schnell man Lösungen verifizieren kann.

Denke dass die Technologie trotzdem auf Dauer die Menschheit verändern wird.

In meinen Augen kann man das sicher mit der Revolution des Internets (Informationsaustausch) vergleichen.

charmin schrieb am 25.03.2023 um 08:24

Ich bezweifle ganz stark dass auch nur irgendein Parameter im ChatGPT Modell gelernt wird durch unüberprüfte Eingaben von normalen Menschen.

Probiert wird auch nichts. Es werden vorne Sätze reingestopft und hinten Sätze die als richtige Antwort gelten platziert. Danach wird der Satz durchs Netz propagiert und anschließend ein Fehler berechnet. Danach passiert ein
Gradientenabstieg und der Fehler wird durchs Netz backpropagated bis alle Layer durch sind. Probiert wird da nix, sondern Parameter angepasst die den Fehler verringern. Halt immer nur stückchenweise.

Empfehle die Videos von 3Blue1Brown zu Neural Networks / Gradient Descent etc. Der erklärts echt gut

Bender schrieb am 25.03.2023 um 08:38

ChatGPT hat mir gerade das empfohlen.. not sure if.. mal schaun

:ubeer: * -- dummes programm..

ok, now it get it .. es kennt mich mittlerweile recht gut oder doch nicht !

* 2 bierkrüge stoßen aneinander, aber trotzdem dumm, ich sauf schon lange kein Bier mehr, nur mehr Mineralwasser mit einem hauch von wein

charmin schrieb am 25.03.2023 um 08:43

Falls wem ganz fad is:

https://arxiv.org/abs/1706.03762

Das original Transformer Paper.

Hier einfacher erklärt:

https://jalammar.github.io/illustrated-transformer/

Hier ne playlist vom grant anderson über die Grundlagen von Neuronalen Netzen.

https://m.youtube.com/playlist?list...7000Dx_ZCJB-3pi

KruzFX schrieb am 25.03.2023 um 10:32

Ein guter Artikel auf heise, wie man Llama selbst ausprobieren kann:

https://www.heise.de/hintergrund/Gr...he-7624131.html

Seit gestern kann ich auch Bing ausprobieren, dass ja auch schon auf GPT4 läuft. Es ist schon deutlich präziser als GPT3.5. Was auch gut gelaufen ist, man kann Bing einen Link zu einer PDF gehen, zb zu wissenschaftlichen Arbeiten und diese von Bing zusammenfassen lassen.

Hansmaulwurf schrieb am 25.03.2023 um 11:00

Zitat aus einem Post von charmin
Probiert wird da nix, sondern Parameter angepasst die den Fehler verringern.

Auch auf der technischen Seite wird probiert. Siehe dropout layer.
https://keras.io/api/layers/regular...layers/dropout/
Auch werden am Start die Weights per Zufall gesetzt.

charmin schrieb am 25.03.2023 um 11:42

Zitat aus einem Post von Hansmaulwurf
Auch auf der technischen Seite wird probiert. Siehe dropout layer.
https://keras.io/api/layers/regular...layers/dropout/
Auch werden am Start die Weights per Zufall gesetzt.

Ja aber nicht während der Inferenz, sondern vorm Training.
Was du beschreibst ist hyperparameter Optimierung und Regularization. Dropout wird verwendet um Overfitting zu vermeiden.

Das mit den zufälligen weights und "Probieren" is so ne Sache. Es wird gemacht, aber wenn ein Netz auf Industrie Hardware mal ein paar Wochen trainiert, dann wirst alt mit Probieren und Dingen wie grid search bei hyperparametet Optimierung.

Hansmaulwurf schrieb am 25.03.2023 um 11:48

Zitat aus einem Post von charmin
Ja aber nicht während der Inferenz, sondern vorm Training.
Was du beschreibst ist hyperparameter Optimierung und Regularization. Dropout wird verwendet um Overfitting zu vermeiden.

Zitat
The Dropout layer randomly sets input units to 0 with a frequency of rate at each step during training time, which helps prevent overfitting

Aus dem Link. Der Dropout Layer agiert während dem Training.

Bender schrieb am 25.03.2023 um 11:52

Siggi und Sheldon lachen immer noch über ChatGPT.. wie lange noch ?

charmin schrieb am 25.03.2023 um 11:54

Zitat aus einem Post von Hansmaulwurf
Aus dem Link. Der Dropout Layer agiert während dem Training.

Ja, aber einstellen tust du den hyperparameter net während des trainings.Du definierst vorm Training das Verhalten und dann läuft das. Selbes mir temperature annealing bei softmax.
Da hab ich auch mehrere Verhaltensweisen probiert wie linear mit Epochenanzahl (ähnlich dropout in deinem link) runter oder exponentiell sinkend. Aber ändern musst das jedesmal vorm Start des Trainings.

Edit: um was es mir geht: wenn irgendein Hansl im Netz Chat gpt nutzt und dem als input irgend ein Wissen gibt. Dann wird das nicht einfach so übernommen.

edit: sieht man eh beim Nazi bot von Microsoft damals was passiert wenn ungefiltert zeugs gelernt wird

Bender schrieb am 25.03.2023 um 11:57