"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

KI-Modelle: GPT, xLSTM, Stable Diffusion, etc

phono 27.01.2023 - 13:10 65635 535
Posts

~PI-IOENIX~

Pappenschlosser
Avatar
Registered: Nov 2002
Location: mühl4tl / graz
Posts: 4676
Für mich als Voll Laie irgendwie das erste mal greifbar was KI bewerkstelligen kann auch wenn mein Wissen nicht reicht als Handwerker um die Ausmaße zu verstehen

h4de5

-
Avatar
Registered: Sep 2001
Location: bgld
Posts: 1112
Zitat aus einem Post von enjoy
optimal wäre natürlich, so eine KI auf dem eigenem Rechner - naja, träumen werd ich wohl noch dürfen ;)

noch in den kinderschuhen - aber das wollen wohl mehrere: https://open-assistant.io/de
Bearbeitet von h4de5 am 05.02.2023, 05:33 (gequoted ohne zu schauen..)

enjoy

Addicted
Registered: Sep 2000
Location: Tullnerfeld
Posts: 410
Danke für die Info

kannte bisher nur die Spracherkennung von Mozilla
https://commonvoice.mozilla.org/de

enjoy

Addicted
Registered: Sep 2000
Location: Tullnerfeld
Posts: 410

die Umsetzung als Suchmaschine kommt vielleicht schneller als gedacht ...

Edit: war offenbar bereits kurz online, die neue Suche mit ChatGPT 4
Bearbeitet von enjoy am 05.02.2023, 11:39

MightyMaz

hat nun auch einen Titel
Registered: Feb 2003
Location: .de
Posts: 585
Wäre interessant zu wissen wie hoch der Anteil der Leute ist, die Suchmaschinen im Alltag auf dieser Art bedienen (wollen), bzw. ab welchem Komplexitätsgrad ein Frage-Antwort-System einer klassischen Keywordsuche so weit überlegen ist, dass sich der Mehraufwand tatsächlich lohnt.

enjoy

Addicted
Registered: Sep 2000
Location: Tullnerfeld
Posts: 410
Imho alle

Ich bekomme auf meine Frage direkt eine Antwort, welche ich verwerten kann, ohne 5-10 (oder mehr) Hilfeseiten/FAQs/Foreneinträge/Blogs/Kommentare lesen zu müssen, bzw. ich kann die Frage sehr schnell (muss nicht darauf warten, bis im Forum wer dazu etwas schreibt) meine Frage verfeinern und erhalte eine entsprechende Antwort.

Das reicht meiner Erfahrung für 7 von 10 Leuten, wenn für die restlichen drei noch die Quellen dabei sind, um die Ergebnisse selbst verifizieren zu können - BINGO - dann hast du alle zufrieden gestellt

ok, Spracherkennung noch dazu, dass du die Frage nicht mal mehr eintippen musst, dann sind alle zufrieden ;)

enjoy

Addicted
Registered: Sep 2000
Location: Tullnerfeld
Posts: 410
bzw. warum meinst du, dass dieses "Frage-Antwort-System" aufwändiger sei, als ein Schlüsselwort?

Imho ist das Schlüsselwort das größte Problem derzeit bei der Suche im Internet für den Großteil der Leute. Die Antworten gibt es im Netz, nur den richtigen Suchbegriff, bzw. den richtigen Suchergebnissen zu folgen, dass ist das Problem für die Leute

dem gegenüber steht nun ein System, welches dir diese Arbeit abnimmt, du stellst eine Frage und bekommst eine Antwort, welche noch nachträglich sehr einfach verfeinert/ergänzt werden kann, du musst keinen Links folgen, unter jedem Link rund 1000 Zeichen (Hausnummer) lesen und dann aus diesem ähnlichen Problemen/Problemlösungen die für dich passende Lösung selbst anpassen

Genau DAS macht die KI für dich, du erhälst eine für dich passende Antwort mit sofortiger Rückfragemöglichkeit inkl. Erklärung und Quellenangabe, bequemer geht es imho nicht mehr

Ob dies die selbstständige Problemlösung verschlechtert (du bekommst alles vorgekaut) oder sogar verbessert (du bekommst eine passende Erklärung dazu), ich kann es nicht abschätzen.


Wichtig ist imho, allen zu lehren, prüft Ergebnisse nach, überlegt ob die Antwort so stimmen kann, ob die Antwort in eine Richtung verfälscht ist, oder dergleichen, nur dies unterscheidet sich nicht von den Suchen nach Antworten wie jetzt oder früher

Früher hast du den Inhalt von Büchern hinterfragen müssen, derzeit den Inhalt hinter Links und hoffentlich bald den Inhalt von Antworten einer KI,
darum sind meiner Meinung nach immer die Quellenangaben wichtig

MightyMaz

hat nun auch einen Titel
Registered: Feb 2003
Location: .de
Posts: 585
Zitat
bzw. warum meinst du, dass dieses "Frage-Antwort-System" aufwändiger sei, als ein Schlüsselwort?

Vermutlich weil ich nie in ganzen Sätzen suche ;)
"Wie ist das Wetter in New York?" ist aber doch objektiv aufwändiger als "Wetter New York" und diese Art von Anfragen dürften doch den größten Anteil in Suchmaschinen ausmachen.

Ich finde es aber auch schwierig Fragen zu komplexeren Themen zu formulieren wenn ich von einer Materie keine Ahnung habe. Da würde ich sehr wahrscheinlich mit ein paar Keywords eher zu einem brauchbaren Ergebnis kommen.
Bearbeitet von MightyMaz am 05.02.2023, 16:17

h4de5

-
Avatar
Registered: Sep 2001
Location: bgld
Posts: 1112
zumindest für den Suchmaschinenbetreiber wird die Auswertung aufwendiger sein? also eine datenbank mit index zu durchsuchen vs. frage verstehen, kontext anwenden und antwort formulieren muss einen Unterschied machen. bin eigentlich nur gespannt wie lange es für normal benutzer noch so billig bleibt und was es dann wirklich kostet. gpt3 mit davinci model kostet derzeit $0.02 pro 1000tokens (~750words) - ob das jetzt schon chatgpt ist, kann ich ned sagen.

disposableHero

Addicted
Avatar
Registered: Mar 2001
Location: A&EE
Posts: 420
Ich frage mich, ob AI Suche langfristig dazu führen könnte, dass der Informationszuwachs stagniert und evtl. irgendwann sogar gegen Null geht. Rein als Gedankenexperiment. Jetzt wird ja jede Menge Content produziert, viel davon auch in fachspezifischen Foren wie hier auf oc.at. Wenn dieses Fragen und Antworten aber wegfällt weil die KI "eh alles weiß", dann wird die KI auch nichts Neues mehr zum Lernen haben. Wer generiert dann den Content? Klar, es wird weiterhin F&E betrieben (hoffentlich).

Wahrscheinlich betrachte ich das auch aus meinem zu eingeschränkten Blickwinkel. Ich habe jetzt nicht danach gesucht, aber gibt es eine Übersicht, woher der meiste (online verfügbare) Content kommt? Ich gehe davon aus, dass ChatGPT & Friends (derzeit) mit Daten trainiert werden, die bereits digital vorhanden sind.

@ChatGPT:
ich habe meine Tests ohne wissenschaftlichen Ansatz durchgeführt, aber das ist meine bisherige Beobachtung:

- Programmieren (Javascript, C):

Der produzierte Code war grundsätzlich OK, hat aber nie zu 100% das gemacht was ich als Aufgabenstellung definiert habe. Aber das wurde auch immer explizit dazu gesagt, dass Anpassungen notwendig sein werden. Ich verstehe daher nicht ganz, wenn manche schreiben, dass der Code so super und ad hoc lauffähig ist. Aber vielleicht sind das nur die YT Marktschreier um Klicks zu generieren. Ich habe es nicht geprüft.

Was erstaunlich gut funktioniert hat, war die Codeanalyse und die Erklärung was der Code, den ich eingeworfen habe, macht. Ich habe das mit Code ausprobiert, den ich auch selber verstehe, daher hat die Erklärung definitiv gepasst. Dabei waren auch Bibliotheks-Funktionen, wobei die Erklärung auch einem weniger versierten Programmierer (wie mir) die Funktionsweise und die Verwendung gut rüberbringen konnte.

- In eine seltsame Gesprächs-Endlosschleife bin ich gekommen, als ich ChatGPT gefragt habe, wie ich den Code zur Verfügung stellen soll, nachdem ich die Warnung bekommen habe, dass zu langer Code (Text) im Chat zu Fehlern führen kann. Als Antwort kam (in meinen Worten und verkürzt): Stell den Code doch auf eine Codesharing Plattform. Na gut. Auf die Frage ob Github & Co OK ist, kam die Antwort: Ich habe keinen Internetzugriff. Aha. Und wie schicke ich dir den Code: Stell den Code doch auf eine Codesharing Plattform. Alles klar. Ich habe die Fragen auch etwas variiert, aber aus der Schleife konnte ich so nicht ausbrechen. Ich hab das dann sein lassen.

Smalltalk Englisch

- funktioniert recht gut. ich konnte mich echt gut unterhalten. Die Antworten sind oft etwas ausschweifend mit viel allgemeinem blabla. Da ich nur Themen diskutiert habe, bei denen ich mich auch auskenne, kann ich sagen, dass die Antworten meistens richtig waren.

Deutsch

- habe ich heute zum ersten Mal probiert. Funktioniert auch ganz gut. Neben dem Geplänkel habe ich auch mit ein paar einfachen Sätzen eine Geschichte grob umrissen und gesagt, es soll daraus eine Geschichte erstellt werden. Das Ergebnis war ganz nett und der Umfang hat auch dem spärlichen Input entsprochen. Die Geschichte war recht simpel, dabei haben ein paar Kinder Steine von einer Brücke in einen Fluss fallen lassen. ChatGPT hat das Ambiente aufgebaut, ein sonniger Tag im Sommer, Enten schwimmen im Fluss, usw. Aber bevor die Kinder die Idee hatten die Steine in den Fluss fallen zu lassen, haben sie vorher noch die Enten mit Steinen beschossen. An dem Punkt habe ich mich gefragt: Mit was für Literatur wurde das Ding trainiert und was für Literatur haben wir Menschen produziert. Furchbar.

- Mir ist ein Satz eingefallen, den meine Tochter, damals ~7 (+/-), in einer philosophischen Anwandlung einmal gesagt hat: "Gestern war heute morgen." Den habe ich ohne Erklärung oder Fragestellung, einfach so für sich allein, in den Chat geschrieben. Es war auch vorher nicht irgendwie Thema. Antwort: Du ***** willst mich mit einem paradoxen Satz in die Irre führen. (meine Worte). Ich: Die Aussage ist nicht paradox oder irreführend sondern eine Tautologie. Antwort: Stimmt, du hast recht. Eine Tautologie ist [lange Erklärung] und diese Aussage ist zu jedem beliebigen Zeitpunkt wahr.

Es wäre schon interessant zu sehen, welche Wege im NN die Entscheidungen gehen. Ich kann mir aber (auch mangels Wissen und Erfahrung in dem Bereich) nicht annähernd vorstellen, in welchen Dimensionen, im Sinne von Datenmenge und Rechenleistung, sich das bei dem Ding abspielt.

TOM

Super Moderator
Oldschool OC.at'ler
Avatar
Registered: Nov 2000
Location: Vienna
Posts: 7250
Zitat aus einem Post von disposableHero
Ich frage mich, ob AI Suche langfristig dazu führen könnte, dass der Informationszuwachs stagniert und evtl. irgendwann sogar gegen Null geht. Rein als Gedankenexperiment. Jetzt wird ja jede Menge Content produziert, viel davon auch in fachspezifischen Foren wie hier auf oc.at. Wenn dieses Fragen und Antworten aber wegfällt weil die KI "eh alles weiß", dann wird die KI auch nichts Neues mehr zum Lernen haben. Wer generiert dann den Content? Klar, es wird weiterhin F&E betrieben (hoffentlich).

Wahrscheinlich betrachte ich das auch aus meinem zu eingeschränkten Blickwinkel. Ich habe jetzt nicht danach gesucht, aber gibt es eine Übersicht, woher der meiste (online verfügbare) Content kommt? Ich gehe davon aus, dass ChatGPT & Friends (derzeit) mit Daten trainiert werden, die bereits digital vorhanden sind.

Viele "standard Fragen/standard Antworten" kannst du damit abfrühstücken, das stimmt.
Deswegen *******t sich Google auch gerade über's Kreuz an, weil Ihr Suchsystem zum ersten Mal ever potenzielle Konkurrenz hat.

Allerdings muss einem Bewusst sein, dass die KI nur wissen kann, was im Dataset steht. Im Falle von GPT 3.5 (Basis von ChatGPT) ist der date-Cap im Juni 2021. Alles was danach kam, hat die AI einfach nicht gelernt. Diese Aktualität von Foren werden imo weiterhin (länger) ein Novum bleiben.
Ich habe jetzt keine genaue Info wie lange ein ChatGPT artiges Modell zum trainen braucht, aber 'bleeding edge' information wird aus meiner Sicht nur schwer zum Einpflegen sein.

Auf der anderen Seite gibt es sehr interessante Anwendungsfälle wie z.B. die AI mit allen wissenschaftlichen Papern füttern und 'new physics' herausfinden lassen. Weiterhin als narrow AI (keine AGI), könnte sie uns schon recht früh auf interessante neue Wege führen (dark matter, dark energy, black holes, standard model & gravity, etc.)

Jetzt machen sich übrigens auch Projekte wie Google Books/Library project bezahlt (started 2002!). Nicht nur alle Informationen aus dem Internetz abgrasen, sondern auch jegliche Lektüre einbinden.

Und nochmal als Erinnerung: GPT => Generative Pre-trained Transformer => autoregressive language model
Wer damit z.B. versucht mathematische Lösungen zu erhalten, ist in etwa äquivalent wie mit einem Schraubenzieher einen Nagel einzuschlagen.
Zumindest sieht man mit solchen Beispielen immer wieder wozu diese narrow AI nicht gut geeignet ist und wie sich die Leut drüber freuen, weil AI ja so blöd ist :rolleyes:

it's just the beginning and the race has begun, ich bin sehr gespannt was die big player demnächst auf den Markt werfen werden, um sich gegenseitig zu übertrumpfen... kann genauso impressive wie angsteinflößend werden imo

charmin

Super Moderator

Avatar
Registered: Dec 2002
Location: aut_sbg
Posts: 13871
Falls sich jemand interessiert wie Transformer funktionieren: Der erklärts Recht gut: https://jalammar.github.io/illustrated-transformer/.

Transformer kommen ursprünglich aus dem NLP Bereich, werden aber mittlerweile auch für Vision Tasks wie Point Cloud Semantic Segmentation verwendet zb.:

Z.b.: https://openaccess.thecvf.com/conte..._2022_paper.pdf

folex

Big d00d
Registered: Sep 2002
Location: Vienna
Posts: 146
ChatGPT kommt/ist nun auch gegen einen Obulus in MS Teams verfügbar.

Zeichnet alles auf, erstellt Besprechungsnotizen und man kann Fragen wer, was, wann gesagt hat etc.

*schauder*

Kirby

0x19
Avatar
Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 826
The humans are hooked but the machines are learning.
Ich finde das ganze echt schauderhaft. Habe schon aus Freundeskreisen gehört dass die ChatGPT einfach für die Hausübung hernehmen oder so die "LAP" Fragen ausarbeiten.

Langsam wirds ernst. Der Mensch verlernt einfach wie man recherche betreibt.

Kann ja auch vorkommen dass die "KI" dann irgendwie rechts oder links programmiert wird um Leute wieder zu brainwashen. Ich kanns mir ha gar nicht ausdenken.

pinkey

Here to stay
Registered: Nov 2003
Location: Tirol/Wien
Posts: 2271
Zitat aus einem Post von Kirby
Kann ja auch vorkommen dass die "KI" dann irgendwie rechts oder links programmiert wird um Leute wieder zu brainwashen. Ich kanns mir ha gar nicht ausdenken.

Naja KI Bias (gewollt oder auch ungewollt) etc. ist ja schon lange ein ziemlich intensiv diskutiertes Thema in Forschungskreisen. Wenn jetzt KI/AI etc. massentauglicher wird, wirds natürlich noch weitaus relevanter.
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz