KI-Modelle: GPT, xLSTM, Stable Diffusion, etc

Hab mir heute LM Studio runtergeladen und das daugt mir fast besser als ollama.
man sieht auch genau wo was vom modell rennt (teil auf GPU, teil im RAM, teil auf SSD usw)

hab mir das gpt-oss-120b von openai runtergeladen und was soll ich sagen. es passt auf die GPU und den RAM und es rennt echt geil schnell

Die 20B version sowieso, da hörst die Spulen der GPU zischen kurz. und Qwen3 mit 30B is auch sehr gut.

Ich hab nur 32gb VRAM
5090er halt.

token/s kann ich dir nachher zuhause schauen. Aber imho noch super benutzbar. Witzigerweise ist llama 3.3 mit 70b Elends langsam

Ja das geht noch! Konntest du die Qualitätsunterschiede zur 20b Version feststellen? Ich bin damit am Mac eigentlich sehr zufrieden bei ca 48 tokens/s