"We are back" « oc.at

OpenClaw (Moltbot) (Clawdbot)

ZARO 29.01.2026 - 22:28 9012 84 Thread rating
Posts

charmin

Vereinsmitglied
stay classy!
Avatar
Registered: Dec 2002
Location:  
Posts: 16303

neuer ai agent, der mitlernt :D

pinkey

Here to stay
Registered: Nov 2003
Location: Tirol/Wien
Posts: 2292
Zitat aus einem Post von charmin

neuer ai agent, der mitlernt :D

hab gestern zufällig mal mit openclawd gespielt und parallel dazu mit hermes.
hermes is mir 100x lieber, geht viel smoother von der config her etc. und die ergebnisse sind erstaunlich gut mit schwachem model dahinter.

wollte dann eh noch ausprobieren gemma 4 26b auf macbook pro über LM studio. in LM studio schaff ich knapp die 50t/s ... bin aber nimma dazu gekommen.

Die AI Studio free requests sind eh sehr großzügig

charmin

Vereinsmitglied
stay classy!
Avatar
Registered: Dec 2002
Location:  
Posts: 16303
50t/s wos gehtn :D

pinkey

Here to stay
Registered: Nov 2003
Location: Tirol/Wien
Posts: 2292
Zitat aus einem Post von charmin
50t/s wos gehtn :D

weiß grad nicht ob du das positiv oder negativ meinst :D
finds zumindest gar nicht so übel für lokale modelle, da kann man langsam schon was damit anfangen.
is ein M4 Pro mit 48GB RAM

charmin

Vereinsmitglied
stay classy!
Avatar
Registered: Dec 2002
Location:  
Posts: 16303
positiv. für ein notebook echt oag!

pinkey

Here to stay
Registered: Nov 2003
Location: Tirol/Wien
Posts: 2292
Zitat aus einem Post von charmin
positiv. für ein notebook echt oag!

voll, was apple da ausm hut gezaubert hat und dann noch mit MLX, ... da geht schon gut was weiter und rennt halt alles auf der GPU. Wenn man da noch bissl größeren M4 mit mehr GPU Cores hätte ... meiner hat ja nur glaub ich nur 16 oder 20?

Hab auf X gelesen, dass die mit den Max Modelle recht gut an die ~100t/s kommen

Viper780

Elder
Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 52366
Sind die Cores wirklich der bottleneck? Üblicherweise geht's um Speicherbandbreite und Größe

pinkey

Here to stay
Registered: Nov 2003
Location: Tirol/Wien
Posts: 2292
Zitat aus einem Post von Viper780
Sind die Cores wirklich der bottleneck? Üblicherweise geht's um Speicherbandbreite und Größe

In meinem konkreten Fall glaub ich weder das Eine noch das Andere sondern wirklich die GPU Cores. Die GPU is auf Anschlag, RAM is beim 26B Modell noch genug frei und (ohne nachgeschaut zu haben) is die Speicherbandbreite glaub ich gleich oder nicht viel anders zwischen den Pro und Max Modellen oder?
Natürlich wenn ich Modelle mit mehr Parameter verwenden will brauchts mehr RAM

TOM

Legend
I Need More Space
Avatar
Registered: Nov 2000
Location: Vienna
Posts: 7561
Zitat aus einem Post von dosen
Mac Mini M1 16GB - gemma4:e2b; qwen3.5:4b; llama3.2:3b

Brauchen alle 30-60 Sekunden für eine Antwort. Auch mit OLLAMA_CONTEXT_LENGTH
und OLLAMA_KV_CACHE_TYPE runtergesetzt keine Besserung.

Auch schräg - Ollama auf einem Windows System mit RTX4080 braucht ewig in Openclaw um zu antworten (20-40 Sekunden). Auf Reddit find ich nur Leute die das gleiche Problem haben...

Ollama oder LM Studio im eigenen Chat Fenster antworten aber relativ flott bzw. so wie man es sich von Lokal gehosteten LMM erwartet.

btw. LM Studio und MCP Server fürs Web durchsuchen / surfen ist auch mächtig.

edit - die 4080 ist im gleich netzwerk und openclaw läuft am mac mini..

thanks

sonst spielt niemand mit lokalen modellen?

Ich würde gerne ein gefühl für ein mac mini setup (~48GB RAM) mit openrouter (local if possible, cloud if necessary) und LMStudio alternativen wie omlx, mlx studio und konsorten bekommen

Im Endeffekt würde ich mir einen via Chatbot ansprechbaren lokalen Agenten vorstellen welcher responsive ist, aber für das abarbeiten von tasks genügend grunt hat.. schaut aus als wäre Gemma4 (mit Turboqant?) 26B A4B momentan einen genaueren Blick wert... openclaw anwerfen und auf die cloud zeigen interessiert mich weniger, würde gerne erforschen was lokal inzwischen die capabilities sind, wenn man ~2-3k€ an (Mac) hardware dafür in die Hand nimmt

BiG_WEaSeL

Elder
-
Avatar
Registered: Jun 2000
Location: Wien
Posts: 8631
Zitat aus einem Post von pinkey
is die Speicherbandbreite glaub ich gleich oder nicht viel anders zwischen den Pro und Max Modellen oder?

doch. 273 GB/s zu 546 GB/s. Das ist ja das „gemeine“ warum man sich nicht den günstigen Mac dafür kaufen kann. Hab einen Mac mini M4 pro 64 GB.
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz