KI News und was dazu gehört

Ich finde den Benchmark eigentlich ganz interessant. Auch weil es überraschend gut funktioniert, die komplette Aufgabe wortlos in einem Bild hochzuladen.

Qwen 3.8 hat auch mit einer Quantifizierung von 4 bit überhaupt kein Problem damit, das Bild zu analysieren, die Anspielung auf die Müller-Lyer Illusion zu finden und trotzdem das richtige Ergebnis zu präsentieren.

Alles getestet auf einem M5 Max mit 64 GB und oMLX. Model Load Time abgerechnet.

Qwen 3.8 27B 4 bit, 81 Sekunden, 33 Token/s:



Qwen 3.8 27B oQ6e MTP, 81 Sekunden, 23 Token/s:



Qwen 3.8 27B 8bit, 122 Sekunden, 18 Token/s:



GPT Astra XHigh löst die Aufgabe übrigens in wenigen Sekunden ebenfalls korrekt. Maybe Cache?

Gemma-4-31b-qat in LM Studio.
In etwa 75% der Fälle ist die Antwort korrekt davon findet er aber grundsätzlich immer erst beim 2. Versuch den Bezug zu Müller-Lyer (auch in einem neuen Chat und sogar wenn der alte gelöscht wurde keine Ahnung warum) und dieser wird dann manchmal falsch und manchmal richtig aufgelöst. Die Denkprozesse sind dabei auch in Länge und Qualität stark unterschiedlich, ohne dass ich etwas an den Einstellungen ändere.
Ist ein lustiges Spielzeug aber so lange das so inkonsistent ist kann man sich halt nie wirklich auf Antworten verlassen.

darum gehts ja. blau ist eindeutig länger, aber die KI verheddert sich in der bekannten illusion und ignoriert fakten

Der Knackpunkt liegt imho darin dass LLMs extrem schlecht darin sind Geometrien exakt zu interpretieren. Deshalb wird's hier wahrscheinlich eher daran liegen, wie die Trainingsdaten gegenüber der Interpretation gewichtet sind, probabilistisches Sampling erzeugt dann jeweils unterschiedliche Antworten.

Ist ein super Beispiel dafür, warum LLMs bei CAD Anwendungen und ähnlichem immer noch völlig abkacken. Ich hab mal vor einiger Zeit versucht ein paar Piktogramme zu erstellen, Paradebeispiel für einen schlechten Use Case

So, nachdem die kleinen Modelle Details zu den Titanic Swimming Pools und zur Müller-Lyer-Illusion wissen, bin ich heute auf die Idee gekommen, dem Modell einen Screenshot von einem Film zu geben und zu fragen, welcher Film das ist.

Das sollte jetzt wirklich unmöglich für ein 20GB Coding Modell sein, aber ich war trotzdem auf die Reaktion gespannt. Ich habe einen Screenshot aus The Pink Panther Strikes Again (alias Inspektor Clouseau, der beste Mann bei Interpol) genommen, da ich die 4K-UHD-Box der Filme diese Woche gekauft habe.

Das Ergebnis hat mich dann doch ein wenig überrascht:

Es ist irgendwie ein bisschen befremdlich wie empört die Medien/Anbieter über solche Anwendungen sind, das Zeug wird von fast jedem für fast alles verwendet. Heißt natürlich nicht, dass ich es toll finde.

Zitat aus einem Post von DuneV2

Es ist irgendwie ein bisschen befremdlich wie empört die Medien/Anbieter über solche Anwendungen sind, das Zeug wird von fast jedem für fast alles verwendet. Heißt natürlich nicht, dass ich es toll finde.

Welche Medien? Golem empört sich sonst gerne über alles mögliche, aber hier schreibt der Herr Donath einfach nur sachlich über die Geschehnisse.

die ratten verlassen das sinkende schiff