KI-Tools - der Sammelthread

Gerade bei AMD schwierig weil im vergleich zu Nvidia relativ langsam.

Wenn es nur um 1 - 2 Shots geht. Unsloth - UI sehr einfach, lädt die richtigen Modelle selbst runter, man kommt recht einfach zum Ziel.

Wenn es aufwändiger wird bzw. aufeinanderfolgende Shots nötig sind:
Comfy UI - für die Start Bilder Qwen Image (nimmt Referenzbilder, kann Charaktere halten wenn man vorher Lora trainiert) oder FLUX. Für die Videos LTX2.3 oder Wan 2.2
Aufpassen welche Quantisierungen man runterlädt, ansonsten wird das nichts.
LTX 2.3 hat auch ein Director Panel Node den man installieren kann.

Claude Code kann aber auch alles für dich erledigen. Use Case erklären, Comfy UI einrichten und verbinden - den Rest macht es dann für dich.

Zitat aus einem Post von Viper780

Weils extrem langsam wird von 60-80t/s auf unter 10

Strata muss ich erst probieren, deshalb frage ich hier ja.
Mit DDR4 RAM bei Zen3 kann ich mir aber performant nicht vorstellen

Mit Strata und den neuen Models wie 3.8 Flash-Next passiert der Einbruch eben nicht (so stark?), die sind auf genau das optimiert. Da hab ich sogar mit meinen 6 GB VRAM 20 t/s geschafft (mobile 3060, aber mit unrealistisch kleinem Context, s.o.). Andere haben brauchbarere Tests gemacht, aber wie gesagt ist das genau das Thema der letzten Posts/Seiten hier gewesen - musst du also nicht unbedingt selbst testen um eine Antwort auf deine Frage zu bekommen.

Zitat aus einem Post von DuneV2

Hat Strata und Qwen beim RAM swap ein Alleinstellungsmerkmal? Ich hab's eher so verstanden dass das ein allgemeiner Trend derzeit ist um vom bottleneck VRAM weg zu kommen

Um genau zu sein Qwen 3.8 Flash-Next (technologische preview von 4.0) hatte zumindest bei dessen Release und die Zeit danach ein Alleinstellungsmerkmal, ja. Aber nur die Strata Engine wurde dann genau dafür gemacht/otpimiert - also auch ja. Andere Engines (llama.cpp etc.) arbeiten auch schon daran - oder sind inzwischen schon dort? kA. Es wird zwar leider kaum in den Posts hier im Detail darüber geredet, aber zumindest die verlinkten Videos machen das wirklich gut.

Das ist so nicht ganz korrekt. Das normale Qwen 3.8 ist auch schon MoE, Flash-Next ist aber mehr: u.a. das N-gram Embedding ist genau auf das offloading optimiert. Zumindest hab ichs so aus dem von mir verlinkten Video https://www.youtube.com/watch?v=m0VHx73SAG0 bei 4:49 verstanden:


Details: https://deepwiki.com/QwenLM/Qwen3.8...mory-management

Ach shit, bzgl. 3.8 moe hab ich furchtbar schlecht gegooglet - hast recht. Der N-gram Table ist trotzdem nicht unwichtig, gerade in Verbindung mit Strata. DeepSeek 4.1 Flash nutzt das auch: https://three.dev/blog/knowledge-ju...-out-of-the-gpu und wird, in Kombination mit MoE, als das Ende der VRAM-Abhängigkeit gesehen.

Zitat

For as long as LLMs have been served from GPUs, a parameter was a parameter: every one of them had to sit in the most expensive memory in the building. MoE was the first crack in that rule. It cut the bytes that move per token, but left the HBM bill untouched. Engram is the second. It cuts what has to sit in HBM at all. Put the two together and the GPU holds only the part of the model that reasons, while what the model knows sits in cheap RAM or an SSD.

https://three.dev/blog/knowledge-ju...-out-of-the-gpu

Und der Entwickler von Strata selbst sagt:

Zitat

Strata is built around Qwen3.8-Flash-Next's architecture (Gated DeltaNet + sparse attention, its MoE layout, its MTP head)

https://github.com/Niko1221/Strata/...ment-5956991782