charmin
Vereinsmitgliedstay classy!
|
Hermes Agent — AI Agent FrameworkAn open-source agent that grows with you. Install it, give it your messaging accounts, and it becomes a persistent personal agent — learning your projects, building its own skills, and reaching you wherever you are. Link: hermes-agent.nousresearch.com neuer ai agent, der mitlernt
|
pinkey
Here to stay
|
Hermes Agent — AI Agent FrameworkAn open-source agent that grows with you. Install it, give it your messaging accounts, and it becomes a persistent personal agent — learning your projects, building its own skills, and reaching you wherever you are. Link: hermes-agent.nousresearch.com neuer ai agent, der mitlernt 
hab gestern zufällig mal mit openclawd gespielt und parallel dazu mit hermes. hermes is mir 100x lieber, geht viel smoother von der config her etc. und die ergebnisse sind erstaunlich gut mit schwachem model dahinter. wollte dann eh noch ausprobieren gemma 4 26b auf macbook pro über LM studio. in LM studio schaff ich knapp die 50t/s ... bin aber nimma dazu gekommen. Die AI Studio free requests sind eh sehr großzügig
|
charmin
Vereinsmitgliedstay classy!
|
50t/s wos gehtn
|
pinkey
Here to stay
|
50t/s wos gehtn  weiß grad nicht ob du das positiv oder negativ meinst  finds zumindest gar nicht so übel für lokale modelle, da kann man langsam schon was damit anfangen. is ein M4 Pro mit 48GB RAM
|
charmin
Vereinsmitgliedstay classy!
|
positiv. für ein notebook echt oag!
|
pinkey
Here to stay
|
positiv. für ein notebook echt oag! voll, was apple da ausm hut gezaubert hat und dann noch mit MLX, ... da geht schon gut was weiter und rennt halt alles auf der GPU. Wenn man da noch bissl größeren M4 mit mehr GPU Cores hätte ... meiner hat ja nur glaub ich nur 16 oder 20? Hab auf X gelesen, dass die mit den Max Modelle recht gut an die ~100t/s kommen
|
Viper780
ElderEr ist tot, Jim!
|
Sind die Cores wirklich der bottleneck? Üblicherweise geht's um Speicherbandbreite und Größe
|
pinkey
Here to stay
|
Sind die Cores wirklich der bottleneck? Üblicherweise geht's um Speicherbandbreite und Größe In meinem konkreten Fall glaub ich weder das Eine noch das Andere sondern wirklich die GPU Cores. Die GPU is auf Anschlag, RAM is beim 26B Modell noch genug frei und (ohne nachgeschaut zu haben) is die Speicherbandbreite glaub ich gleich oder nicht viel anders zwischen den Pro und Max Modellen oder? Natürlich wenn ich Modelle mit mehr Parameter verwenden will brauchts mehr RAM
|
TOM
LegendI Need More Space
|
Mac Mini M1 16GB - gemma4:e2b; qwen3.5:4b; llama3.2:3b
Brauchen alle 30-60 Sekunden für eine Antwort. Auch mit OLLAMA_CONTEXT_LENGTH und OLLAMA_KV_CACHE_TYPE runtergesetzt keine Besserung.
Auch schräg - Ollama auf einem Windows System mit RTX4080 braucht ewig in Openclaw um zu antworten (20-40 Sekunden). Auf Reddit find ich nur Leute die das gleiche Problem haben...
Ollama oder LM Studio im eigenen Chat Fenster antworten aber relativ flott bzw. so wie man es sich von Lokal gehosteten LMM erwartet.
btw. LM Studio und MCP Server fürs Web durchsuchen / surfen ist auch mächtig.
edit - die 4080 ist im gleich netzwerk und openclaw läuft am mac mini.. thanks sonst spielt niemand mit lokalen modellen? Ich würde gerne ein gefühl für ein mac mini setup (~48GB RAM) mit openrouter (local if possible, cloud if necessary) und LMStudio alternativen wie omlx, mlx studio und konsorten bekommen Im Endeffekt würde ich mir einen via Chatbot ansprechbaren lokalen Agenten vorstellen welcher responsive ist, aber für das abarbeiten von tasks genügend grunt hat.. schaut aus als wäre Gemma4 (mit Turboqant?) 26B A4B momentan einen genaueren Blick wert... openclaw anwerfen und auf die cloud zeigen interessiert mich weniger, würde gerne erforschen was lokal inzwischen die capabilities sind, wenn man ~2-3k€ an (Mac) hardware dafür in die Hand nimmt
|
BiG_WEaSeL
Elder-
|
is die Speicherbandbreite glaub ich gleich oder nicht viel anders zwischen den Pro und Max Modellen oder? doch. 273 GB/s zu 546 GB/s. Das ist ja das „gemeine“ warum man sich nicht den günstigen Mac dafür kaufen kann. Hab einen Mac mini M4 pro 64 GB.
|