KI Modelle auf lokaler Hardware

Seite 1 von 2 - Forum: Artificial Intelligence auf overclockers.at

URL: https://www.overclockers.at/artificial-intelligence/ki-modelle-auf-lokaler-hardware_264627/page_1 - zur Vollversion wechseln!

Mich würde interessieren auf welcher Hardware ihr lokal KI Modelle betreibt und wie diese dann performen.

Ob diese sinnvoll nutzbar sind, oder die Wartezeiten zu lange werden.

Aber auch ob kleinere Modelle dann noch ausreichend gute Ergebnisse liefern.

Ist bei mir nun alles nur rumgespiele um mal zu "schauen" wie es lokal so tut, aber ich lasse alles auf meinem uralten M1 Macbook Air laufen mit 16GB Ram und es lauft ziemlich gut muss ich sagen. Gerade Deepseek ist sehr performant und bringt die Musik im Hintergrund nicht zum stottern beim computen

Diverse Chatbots, FLUX (Bildgenerierung), F5-TTS Voice Cloning, bolt.diy (App-Erstellung)

Laufen lasse ich es auf einen Mac Mini M4 pro 14-Kern mit 64GB RAM.

Also Ich spiele gerade mit dem Deepseek-R1 in der 32B Version auf einem 5950x mit 64G RAM und 4090er.

Geht ausreichend gut.

für den typischen Windows user zum ausprobieren kann Ich LM-Studio empfehlen, ist deutlich einfacher als einzelne Packages zu installieren und auf der cmd zu wursteln.

auch ComfyUi mit Stable diffusion geht ganz gut damit.

lg

Ich lasse lieber die großen Anbieter Verlust machen mit meinen Prompts.
Und habe schneller Ergebnisse.

Lokal selbst habe ich nur im beruflichen Umfeld ein paar Tests gemacht, aber es hat wenig Sinn bei den Preisen, um die man auf die großen AI-Infrastrukturen zugreifen kann.

Mit einer 3090 wars vertretbar schnell.

Im Firmenumfeld wird sich aber immer die Frage stellen welche Daten man an die großen Player rausrücken kann/darf/soll.

Zitat aus einem Post von EndOfDayz

Im Firmenumfeld wird sich aber immer die Frage stellen welche Daten man an die großen Player rausrücken kann/darf/soll.

Zitat aus einem Post von ZARO

Also Ich spiele gerade mit dem Deepseek-R1 in der 32B Version auf einem 5950x mit 64G RAM und 4090er.

Code:

sudo pacman -S ollama
sudo systemctl start ollama
ollama pull deepseek-r1:32b
ollama run deepseek-r1:32b "How many overclockers do you need to change a lightbulb"

was heißt in dem fall "mit der AI rumspielen"
stellt ihr da laufend fragen?

https://www.youtube.com/shorts/ZN6XS2d_izI

das geht sogar auf einem Raspi

ollama für deepseek, mistral und ähnliches.
ComfyUI für Pony und FLUX wobei je nach workflow die graka mehr arbeiten muss.
7900xt mit 20gb und 32gb ram

Ich bin auch am herumspielen und bin eigentlich recht positiv überrascht, wie gut das geht.

Aktuell CPU only in einer VM auf einem Server, ollama, Mistral, die "kleinen" deepseek R1 Modelle. Primär für Powershell Zeug, teilweise Dokumente/Formulierungen überarbeiten, teilweise was auch immer mir einfälllt.

Mittelfristig auch mehr automatisierte Prozesse - Rechnungen etc. kommen rein, werden automatisch abgelegt, "Wissen" wird lokal gespeichert..

Da CPU only sehr, sehr langsam ist, will ich mir eine 3060er/12 GB o.ä. besorgen und in eine eigene Kiste stecken.

hach ja. ollama ist echt so nice. ein paar minuten und schon rennt das zeug lokal in der shell

Zitat aus einem Post von EndOfDayz

Im Firmenumfeld wird sich aber immer die Frage stellen welche Daten man an die großen Player rausrücken kann/darf/soll.

Ja, ist einfach Verantwortung abwälzen, was tatsächlich im Fall des Falles passieren kann wird dann meist gar nicht mehr untersucht.
Oft wissen die Entscheidungsträger sogar dass es im Hintergrund in Wahrheit eh anders abläuft (Data Privacy) oder dass es im Notfall dann eh nicht hilft, aber da spielt wohl einfach die "Nicht mehr mein Bier" Mentalität rein. Nicht selbst für die Firma verantwortlich = mir egal.

overclockers.at v4.thecommunity
© all rights reserved by overclockers.at 2000-2025