"We are back" « oc.at

KI-Modelle: GPT, xLSTM, Stable Diffusion, etc

phono 27.01.2023 - 13:10 355487 898 Thread rating
Posts

charmin

Vereinsmitglied
stay classy!
Avatar
Registered: Dec 2002
Location:  
Posts: 16527
Hab mir heute LM Studio runtergeladen und das daugt mir fast besser als ollama.
man sieht auch genau wo was vom modell rennt (teil auf GPU, teil im RAM, teil auf SSD usw)

hab mir das gpt-oss-120b von openai runtergeladen und was soll ich sagen. es passt auf die GPU und den RAM und es rennt echt geil schnell :eek:

Die 20B version sowieso, da hörst die Spulen der GPU zischen kurz. und Qwen3 mit 30B is auch sehr gut.

BiG_WEaSeL

Elder
-
Avatar
Registered: Jun 2000
Location: Wien
Posts: 8676
Ich verwende LMStudio auch sehr gern, gtp-oss allerdings die 20B Variante, hab nur 48GB VRAM. Wieviel hast du, dass sich 120b ausgeht?

Versteh ich es richtig, du lässt es auch auf den RAM swappen? Bei wie vielen token/s?

charmin

Vereinsmitglied
stay classy!
Avatar
Registered: Dec 2002
Location:  
Posts: 16527
Ich hab nur 32gb VRAM :)
5090er halt.

token/s kann ich dir nachher zuhause schauen. Aber imho noch super benutzbar. Witzigerweise ist llama 3.3 mit 70b Elends langsam

charmin

Vereinsmitglied
stay classy!
Avatar
Registered: Dec 2002
Location:  
Posts: 16527
9 tokens pro sekunde ca.
lässt sich gut verwenden eigentlich.

BiG_WEaSeL

Elder
-
Avatar
Registered: Jun 2000
Location: Wien
Posts: 8676
Ja das geht noch! Konntest du die Qualitätsunterschiede zur 20b Version feststellen? Ich bin damit am Mac eigentlich sehr zufrieden bei ca 48 tokens/s

charmin

Vereinsmitglied
stay classy!
Avatar
Registered: Dec 2002
Location:  
Posts: 16527
muss ich noch mehr testen :D
melde mich wenn ich zeit hab.
fürs meiste wird wohl das 20b modell reichen

d0lby

reborn
Avatar
Registered: Jul 2004
Location: At home
Posts: 6777
:eek:
Ich habe jetzt ein paar Tage Github getestet und jetzt Claude um eine Idee zu testen die mir die Arbeit erleichtern soll.

Ich war von Github angetan und dachte, probiert mal Claude Coding: Ich bin schwer beeindruckt was das Ding zaubert.

Bei mir war es Java, CSS und HTML. Also kein hardcore programmieren, aber mir meinen Wünschen doch umfangreich.

Das Abo bei Github gleich gekündigt und bei Claude abgeschlossen.

Weg das Grundgerüst mal steht, kann man viel selbst lesen und anpassen, aber es macht schon Gedanken wie das in 5-10 Jahren ist.

charmin

Vereinsmitglied
stay classy!
Avatar
Registered: Dec 2002
Location:  
Posts: 16527
ich nutze derzeit antigravity mit gemini 3 pro.
auch sehr geil

daisho

Vereinsmitglied
SHODAN
Avatar
Registered: Nov 2002
Location: 4C4
Posts: 20098
Bin vor 1-2 Wochen von GPT auf Gemini umgestiegen, nachdem ich gemerkt habe das beim Bauen von Azure Pipelines Gemini mir einfach immer gleich die korrekte Antwort gegeben hab - dasselbe das ChatGPT erst nach x-mal nachfragen irgendwann mal hingekommen ist.

Gemini UI ist leider absolut kacke tbh
Die runden Buttons, keine Nutzung von einem breiten Bildschirm (fixed width chat).
Ich weiß nicht wie man das so verhunzen kann oder wo das gut ausschauen soll :confused:

Das macht ChatGPT viel besser, aber die Antworten fand ich in letzter Zeit dort sehr nerfig und langwierig das richtige rauszukitzeln.

Bonus: Gemini hab ich automatisch dabei weil ich sowieso einen Google Enterprise Account nutze ... also wozu für GPT zahlen.
/Edit: Gerade Antigravity googled ... ja scheinbar brauche ich eine IDE für den Käse (Mobile App und Web finde ich grausig)

charmin

Vereinsmitglied
stay classy!
Avatar
Registered: Dec 2002
Location:  
Posts: 16527
ja chatgpt ui is besser. aber gemini 3 is einfach geil.
nano banana pro is irre, antigravity is auch cool.
kost gleich viel wie chat gpt im monat aber man hat noch google one dabei mit 2 tb

rad1oactive

knows about the birb
Avatar
Registered: Jul 2005
Location: Virgo Superclust..
Posts: 13226
wofür benutzt du antigravity?

charmin

Vereinsmitglied
stay classy!
Avatar
Registered: Dec 2002
Location:  
Posts: 16527
Zitat aus einem Post von rad1oactive
wofür benutzt du antigravity?

in der firma zum ai engineering und entwickeln und zuhause auch zum entwickeln.
verbessere grad meine pixtend heizungssteuerung die mit home assistant kommuniziert.

Daeda

Renegade
Registered: Aug 2007
Location: Graz
Posts: 1848
Bzgl. UI Fails der Chat-Versionen, hat schon wer https://t3.chat/ probiert? Theo bewirbt es natürlich immer fleißig in seinen Videos, aber was er so davon zeigt sieht eigentlich sehr stark aus. Ich benutz die Chats nur zu selten, dass ich mir ein separates Abo dafür antun würde.

rad1oactive

knows about the birb
Avatar
Registered: Jul 2005
Location: Virgo Superclust..
Posts: 13226
Ich hab heute in der hackn versucht mit dem copilot workflow agent einen flow zu realisieren.
Wollte, dass er mir jeden freitag eine zusammenfassung der woche und offene tasks schickt auf teams und per mail für bestimmte projekte (also mit keywords)
Denkste :D
So ein heisl wirklich. Schafft es nicht den connector zum teams herzustellen :bash: :D
Onenote und sharepoint kann er auch ned...
Sollt ma glauben wenn alles aus einer hand kommt, sollts easy sein :D
Bearbeitet von rad1oactive am 05.12.2025, 18:27

d0lby

reborn
Avatar
Registered: Jul 2004
Location: At home
Posts: 6777
des einzige was ich bei Cloude, trotz Abo blöd finde: Begrenzung des Chats.
Es stört mich nicht, wenn ich nicht 500x was reinschreiben kann, sondern auf 100 (oder was weiß ich) Inputs limitiert bin und dann nach X Stunden weiter mache.

Was mich stört ist die Meldung "Maximale Länge des Chats erreicht". Auch das wäre kein Problem, wenn es die AI im neuen Chat verfolgen kann, aber es ist eine komplett neue Ahnungslose Seite...

Dann alle Files hoch laden, dann muss das analysiert werden und ich muss wieder erklären was ich gerne verändern würde.

Geht das irgendwie über Projekte? Bin erst seit gestern bei Claude
Mittlerweile ist das ein kleines "Monstrum" geworden, aber taugt mir. "Sie" versteht super was ich will und zaubert echt grandios übersichtliche Codes, egal ob Java, JS, CSS, HTML, Json Files usw. - "erschreckend" gut

Hat das jemand über Projekte probiert oder wie stelle ich es an, dass die nicht blöd kommt. Ich bin noch lange nicht fertig mit meinem Vorhaben.
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz