"We are back" « oc.at

KI-Tools - der Sammelthread

charmin 13.08.2024 - 14:00 47557 162 Thread rating
Posts

ill

...
Avatar
Registered: Nov 2003
Location: Salzburg
Posts: 2065
Zitat aus einem Post von Daeda
Haha das Timing... Mario hat sich inkl. Pi heute an Earendil verkauft! Aber klingt eigentlich ganz gut der Deal: https://mariozechner.at/posts/2026-04-08-ive-sold-out/

Das klingt jetzt so hart :D Earendil ist ja die Bude von Armin Ronacher (Flask "Erfinder" unter anderem), und die beiden sind soweit ich weiß ja schon seit längerem gut vernetzt und befreundet.

Ich hab jetzt bestimmt deinen Satz jetzt etwas falsch verstanden, will aber im Endeffekt nur darauf kurz hinweisen, dass das eine aus meiner Sicht komplett andere Hausnummer als ein Verkauf an OpenAI und Konsorten ist.

pi selbst sieht nett aus, und steht ja in gewisser Weise für die Philosophie, wenn du eine Anpassung/ein Feature in deinem Agenten brauchst, lass diesen Agenten sich selbst umbauen. Ich hab's aber noch deutlich zu wenig verwendet, um es mit copilot, claude code oder opencode zu vergleichen.

Daeda

Renegade
Registered: Aug 2007
Location: Graz
Posts: 1837
Zitat aus einem Post von ill
Das klingt jetzt so hart :D Earendil ist ja die Bude von Armin Ronacher (Flask "Erfinder" unter anderem), und die beiden sind soweit ich weiß ja schon seit längerem gut vernetzt und befreundet.

Ich hab jetzt bestimmt deinen Satz jetzt etwas falsch verstanden, will aber im Endeffekt nur darauf kurz hinweisen, dass das eine aus meiner Sicht komplett andere Hausnummer als ein Verkauf an OpenAI und Konsorten ist.

Ah, ja - danke für den Hinweis. Ich hab nur sein eigenes "I've sold out" verwendet ;) Im ausführlichen Artikel relativiert ers aber deutlich. Also es klingt wirklich wie gesagt nach einem guten Deal für ihn und vor allem auch für das weitere Bestehen von Pi als OSS. Er kann sich weiter über die technische Entwicklung kümmern und lagert die organisatorischen und finanziellen Themen an die Firma aus, wo er aber trotzdem starkes Mitspracherecht bei allen Pi-Themen behält.

Daeda

Renegade
Registered: Aug 2007
Location: Graz
Posts: 1837
Ok wtf, das war nicht auf meiner Bingo-List für 2026:
Milla Jovovich (ja, DIE Milla von 5th Element und Resident Evil etc.) hat ein KI Tool entwickelt, zusammen mit einem Freund:

Insta Reel https://www.instagram.com/reels/DWzNnqwD2Lu/ (hab leider keine andere Quelle gefunden)

Free and open-source:

charmin

Vereinsmitglied
stay classy!
Avatar
Registered: Dec 2002
Location:  
Posts: 16451
Bin grad am probieren von Gemma 4 31B
und Opencode mit GSD und LMStudio auf meiner 5090.
53 Tokens/sekunde und lässt sich schonmal flüssig arbeiten.

jetz mal schauen wie gut es is ...

BiG_WEaSeL

Elder
-
Avatar
Registered: Jun 2000
Location: Wien
Posts: 8667
Ich bin davon sehr angetan, aber ich code kaum/nicht, und schon gar nicht lokal.

Da es noch keinen MLX Support gibt in LMStudio, muss ich sie am Mac als GGUF laden, was deutlich langsamer ist. 31B mit ca. 7 Tokens/Sek, 26BA4B mit ca. 40. Tokens.

Die Qualität finde ich spitze. Wenn dann das MLX Modell funktioniert bin ich glaub ich mit Gemma4 sehr zufrieden.

pinkey

Here to stay
Registered: Nov 2003
Location: Tirol/Wien
Posts: 2295
Zitat aus einem Post von BiG_WEaSeL
Ich bin davon sehr angetan, aber ich code kaum/nicht, und schon gar nicht lokal.

Da es noch keinen MLX Support gibt in LMStudio, muss ich sie am Mac als GGUF laden, was deutlich langsamer ist. 31B mit ca. 7 Tokens/Sek, 26BA4B mit ca. 40. Tokens.

Die Qualität finde ich spitze. Wenn dann das MLX Modell funktioniert bin ich glaub ich mit Gemma4 sehr zufrieden.

Wie kommst du drauf? Afaik hat LMStudio schon seit mehreren Monaten MLX Support

Edit: mh ja ok hast recht, LM Studio kanns aber gibt noch Probleme mit dem Gemma 4, hatte scheinbar auch nur die GGIF Version. Bin gespannt wieviel boost MLX bringt
Bearbeitet von pinkey am 11.04.2026, 12:13

BiG_WEaSeL

Elder
-
Avatar
Registered: Jun 2000
Location: Wien
Posts: 8667
Ich bezog es nur auf Gemma 4.

BiG_WEaSeL

Elder
-
Avatar
Registered: Jun 2000
Location: Wien
Posts: 8667
Zitat aus einem Post von charmin
Bin grad am probieren von Gemma 4 31B
und Opencode mit GSD und LMStudio auf meiner 5090.
53 Tokens/sekunde und lässt sich schonmal flüssig arbeiten.

jetz mal schauen wie gut es is ...

Du könntest auch das probieren:
https://huggingface.co/LilaRest/gem...-it-NVFP4-turbo

charmin

Vereinsmitglied
stay classy!
Avatar
Registered: Dec 2002
Location:  
Posts: 16451
Jawohl. Schau i Ma an

edit: ok geht nicht mit LMstudio.

hab den docker gepulled und probier mal opencode damit
Bearbeitet von charmin am 11.04.2026, 19:22

fresserettich

Here to stay
Registered: Jul 2002
Location: hier
Posts: 5558
Google fährt ja grad einen mega guten Preis? Gemini ist wohl nicht so viel hinten oder?

charmin

Vereinsmitglied
stay classy!
Avatar
Registered: Dec 2002
Location:  
Posts: 16451
Zum coden kannst Gemini leider schmeissen.
Hab selber das 22€ Abo wegen den 5tb Drive und antigravity is weit weg von Claude.

Viper780

Elder
Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 52536
Die API kannst aber in github Copilot cli bzw in Open Code einbinden.

Bin mir aber nicht sicher ob da token inkludiert sind (hab ein non AI Abo und zahl dafür extra)

Auf gemini 3.5 pro bin ich gespannt

TOM

Legend
I Need More Space
Avatar
Registered: Nov 2000
Location: Vienna
Posts: 7583
Zitat aus einem Post von fresserettich
Google fährt ja grad einen mega guten Preis? Gemini ist wohl nicht so viel hinten oder

...immer eine Frage des use-case.

Google's Modelle sind sehr effizient und gut an Google-Services angebunden (z.B. Maps), Claude ist objektiv besser in vielen Belangen, aber zum E-Mail Text verfassen reichen beide.

Und das Feld ist so dynamisch, morgen kann alles anders aussehen

Für eine aktuelle Orientierung würde ich ein LLM Leaderboard empfehlen wie: https://arena.ai/leaderboard/text

Ich finde solche User-Votings etwas aussagekräftiger, als die Benchmarks auf die hin optimiert wird.
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz