KI Modelle auf lokaler Hardware

EndOfDayz

Little Overclocker

Registered: Oct 2004
Location: Austria
Posts: 95

08.02.2025 - 20:46

Mich würde interessieren auf welcher Hardware ihr lokal KI Modelle betreibt und wie diese dann performen.

Ob diese sinnvoll nutzbar sind, oder die Wartezeiten zu lange werden.

Aber auch ob kleinere Modelle dann noch ausreichend gute Ergebnisse liefern.

liltan0x

Little Overclocker

Registered: Jul 2024
Location: void
Posts: 70

09.02.2025 - 07:20

Ist bei mir nun alles nur rumgespiele um mal zu "schauen" wie es lokal so tut, aber ich lasse alles auf meinem uralten M1 Macbook Air laufen mit 16GB Ram und es lauft ziemlich gut muss ich sagen. Gerade Deepseek ist sehr performant und bringt die Musik im Hintergrund nicht zum stottern beim computen

BiG_WEaSeL

Elder
-

Registered: Jun 2000
Location: Wien
Posts: 8386

09.02.2025 - 09:41

Diverse Chatbots, FLUX (Bildgenerierung), F5-TTS Voice Cloning, bolt.diy (App-Erstellung)

Laufen lasse ich es auf einen Mac Mini M4 pro 14-Kern mit 64GB RAM.

ZARO

Here to stay

Registered: May 2002
Location: Wien 22
Posts: 996

09.02.2025 - 18:32

Also Ich spiele gerade mit dem Deepseek-R1 in der 32B Version auf einem 5950x mit 64G RAM und 4090er.

Geht ausreichend gut.

für den typischen Windows user zum ausprobieren kann Ich LM-Studio empfehlen, ist deutlich einfacher als einzelne Packages zu installieren und auf der cmd zu wursteln.

auch ComfyUi mit Stable diffusion geht ganz gut damit.

lg

quilty

Ich schau nur

Registered: Jul 2005
Location: 4202
Posts: 3115

09.02.2025 - 18:43

Ich lasse lieber die großen Anbieter Verlust machen mit meinen Prompts.

Und habe schneller Ergebnisse.

Lokal selbst habe ich nur im beruflichen Umfeld ein paar Tests gemacht, aber es hat wenig Sinn bei den Preisen, um die man auf die großen AI-Infrastrukturen zugreifen kann.

Mit einer 3090 wars vertretbar schnell.

EndOfDayz

Little Overclocker

Registered: Oct 2004
Location: Austria
Posts: 95

09.02.2025 - 18:48

Im Firmenumfeld wird sich aber immer die Frage stellen welche Daten man an die großen Player rausrücken kann/darf/soll.

Longbow

Here to stay

Registered: Feb 2003
Location: Homeoffice
Posts: 5484

09.02.2025 - 19:08

Zitat aus einem Post von EndOfDayz
Im Firmenumfeld wird sich aber immer die Frage stellen welche Daten man an die großen Player rausrücken kann/darf/soll.

Gibt ja entsprechende Enterprise Zugänge wo es angeblich dann ned zum Training genutzt wird bzw ist das Hochladen sensibler Dokumente sowieso ein nogo.

Rogaahl

Elder
interrup

Registered: Feb 2014
Location: K
Posts: 2442

09.02.2025 - 19:25

Zitat aus einem Post von ZARO
Also Ich spiele gerade mit dem Deepseek-R1 in der 32B Version auf einem 5950x mit 64G RAM und 4090er.

Das geht sogar mit, 32GB RAM und ohne GPU. Wer es probieren will, es ist in 5 Minuten installiert:

Code:

sudo pacman -S ollama
sudo systemctl start ollama
ollama pull deepseek-r1:32b
ollama run deepseek-r1:32b "How many overclockers do you need to change a lightbulb"

sk/\r

i never asked for this

Registered: Dec 2002
Location: oö
Posts: 11104

09.02.2025 - 19:48

was heißt in dem fall "mit der AI rumspielen"
stellt ihr da laufend fragen?

Dargor

Shadowlord

Registered: Sep 2006
Location: 4020
Posts: 2145

09.02.2025 - 20:07

https://www.youtube.com/shorts/ZN6XS2d_izI

das geht sogar auf einem Raspi

Kirby

0x20

Registered: Jun 2017
Location: Lesachtal/Villac..
Posts: 966

10.02.2025 - 15:45

ollama für deepseek, mistral und ähnliches.
ComfyUI für Pony und FLUX wobei je nach workflow die graka mehr arbeiten muss.
7900xt mit 20gb und 32gb ram

roscoe

tinkerer

Registered: Mar 2005
Location: 1050 Wien
Posts: 721

16.02.2025 - 10:22

Ich bin auch am herumspielen und bin eigentlich recht positiv überrascht, wie gut das geht.

Aktuell CPU only in einer VM auf einem Server, ollama, Mistral, die "kleinen" deepseek R1 Modelle. Primär für Powershell Zeug, teilweise Dokumente/Formulierungen überarbeiten, teilweise was auch immer mir einfälllt.

Mittelfristig auch mehr automatisierte Prozesse - Rechnungen etc. kommen rein, werden automatisch abgelegt, "Wissen" wird lokal gespeichert..

Da CPU only sehr, sehr langsam ist, will ich mir eine 3060er/12 GB o.ä. besorgen und in eine eigene Kiste stecken.

charmin

Elder
0_o

Registered: Dec 2002
Location: aut_sbg
Posts: 15633

16.02.2025 - 10:23

hach ja. ollama ist echt so nice. ein paar minuten und schon rennt das zeug lokal in der shell

COLOSSUS

Administrator
GNUltra

Registered: Dec 2000
Location: ~
Posts: 12155

16.02.2025 - 10:30

Zitat aus einem Post von EndOfDayz
Im Firmenumfeld wird sich aber immer die Frage stellen welche Daten man an die großen Player rausrücken kann/darf/soll.

Firmen, je massiver desto bereitwilliger (aber mit umso mehr Brimborium durch "die Rechtsabteilung" usw.), lassen sich meiner Erfahrung nach immer durch Anwaltsgeblubber und Vertraege und Zusicherungen und Compliance-Garantien abspeisen in solchen Angelegenheiten. Auch, wenn es um durchaus existenzielle Risiken geht.

daisho

Vereinsmitglied
SHODAN

Registered: Nov 2002
Location: 4C4
Posts: 19821

16.02.2025 - 10:39

Ja, ist einfach Verantwortung abwälzen, was tatsächlich im Fall des Falles passieren kann wird dann meist gar nicht mehr untersucht.
Oft wissen die Entscheidungsträger sogar dass es im Hintergrund in Wahrheit eh anders abläuft (Data Privacy) oder dass es im Notfall dann eh nicht hilft, aber da spielt wohl einfach die "Nicht mehr mein Bier" Mentalität rein. Nicht selbst für die Firma verantwortlich = mir egal.

EndOfDayz Little Overclocker Registered: Oct 2004 Location: Austria Posts: 95	08.02.2025 - 20:46 Mich würde interessieren auf welcher Hardware ihr lokal KI Modelle betreibt und wie diese dann performen. Ob diese sinnvoll nutzbar sind, oder die Wartezeiten zu lange werden. Aber auch ob kleinere Modelle dann noch ausreichend gute Ergebnisse liefern.
liltan0x Little Overclocker Registered: Jul 2024 Location: void Posts: 70	09.02.2025 - 07:20 Ist bei mir nun alles nur rumgespiele um mal zu "schauen" wie es lokal so tut, aber ich lasse alles auf meinem uralten M1 Macbook Air laufen mit 16GB Ram und es lauft ziemlich gut muss ich sagen. Gerade Deepseek ist sehr performant und bringt die Musik im Hintergrund nicht zum stottern beim computen
BiG_WEaSeL Elder - Registered: Jun 2000 Location: Wien Posts: 8386	09.02.2025 - 09:41 Diverse Chatbots, FLUX (Bildgenerierung), F5-TTS Voice Cloning, bolt.diy (App-Erstellung) Laufen lasse ich es auf einen Mac Mini M4 pro 14-Kern mit 64GB RAM.
ZARO Here to stay Registered: May 2002 Location: Wien 22 Posts: 996	09.02.2025 - 18:32 Also Ich spiele gerade mit dem Deepseek-R1 in der 32B Version auf einem 5950x mit 64G RAM und 4090er. Geht ausreichend gut. für den typischen Windows user zum ausprobieren kann Ich LM-Studio empfehlen, ist deutlich einfacher als einzelne Packages zu installieren und auf der cmd zu wursteln. auch ComfyUi mit Stable diffusion geht ganz gut damit. lg
quilty Ich schau nur Registered: Jul 2005 Location: 4202 Posts: 3115	09.02.2025 - 18:43 Ich lasse lieber die großen Anbieter Verlust machen mit meinen Prompts. Und habe schneller Ergebnisse. Lokal selbst habe ich nur im beruflichen Umfeld ein paar Tests gemacht, aber es hat wenig Sinn bei den Preisen, um die man auf die großen AI-Infrastrukturen zugreifen kann. Mit einer 3090 wars vertretbar schnell.
EndOfDayz Little Overclocker Registered: Oct 2004 Location: Austria Posts: 95	09.02.2025 - 18:48 Im Firmenumfeld wird sich aber immer die Frage stellen welche Daten man an die großen Player rausrücken kann/darf/soll.
Longbow Here to stay Registered: Feb 2003 Location: Homeoffice Posts: 5484	09.02.2025 - 19:08 Zitat aus einem Post von EndOfDayz Im Firmenumfeld wird sich aber immer die Frage stellen welche Daten man an die großen Player rausrücken kann/darf/soll. Gibt ja entsprechende Enterprise Zugänge wo es angeblich dann ned zum Training genutzt wird bzw ist das Hochladen sensibler Dokumente sowieso ein nogo.
Rogaahl Elder interrup Registered: Feb 2014 Location: K Posts: 2442	09.02.2025 - 19:25 Zitat aus einem Post von ZARO Also Ich spiele gerade mit dem Deepseek-R1 in der 32B Version auf einem 5950x mit 64G RAM und 4090er. Das geht sogar mit, 32GB RAM und ohne GPU. Wer es probieren will, es ist in 5 Minuten installiert: Code: `sudo pacman -S ollama sudo systemctl start ollama ollama pull deepseek-r1:32b ollama run deepseek-r1:32b "How many overclockers do you need to change a lightbulb"`
sk/\r i never asked for this Registered: Dec 2002 Location: oö Posts: 11104	09.02.2025 - 19:48 was heißt in dem fall "mit der AI rumspielen" stellt ihr da laufend fragen?
Dargor Shadowlord Registered: Sep 2006 Location: 4020 Posts: 2145	09.02.2025 - 20:07 https://www.youtube.com/shorts/ZN6XS2d_izI das geht sogar auf einem Raspi
Kirby 0x20 Registered: Jun 2017 Location: Lesachtal/Villac.. Posts: 966	10.02.2025 - 15:45 ollama für deepseek, mistral und ähnliches. ComfyUI für Pony und FLUX wobei je nach workflow die graka mehr arbeiten muss. 7900xt mit 20gb und 32gb ram
roscoe tinkerer Registered: Mar 2005 Location: 1050 Wien Posts: 721	16.02.2025 - 10:22 Ich bin auch am herumspielen und bin eigentlich recht positiv überrascht, wie gut das geht. Aktuell CPU only in einer VM auf einem Server, ollama, Mistral, die "kleinen" deepseek R1 Modelle. Primär für Powershell Zeug, teilweise Dokumente/Formulierungen überarbeiten, teilweise was auch immer mir einfälllt. Mittelfristig auch mehr automatisierte Prozesse - Rechnungen etc. kommen rein, werden automatisch abgelegt, "Wissen" wird lokal gespeichert.. Da CPU only sehr, sehr langsam ist, will ich mir eine 3060er/12 GB o.ä. besorgen und in eine eigene Kiste stecken.
charmin Elder 0_o Registered: Dec 2002 Location: aut_sbg Posts: 15633	16.02.2025 - 10:23 hach ja. ollama ist echt so nice. ein paar minuten und schon rennt das zeug lokal in der shell
COLOSSUS Administrator GNUltra Registered: Dec 2000 Location: ~ Posts: 12155	16.02.2025 - 10:30 Zitat aus einem Post von EndOfDayz Im Firmenumfeld wird sich aber immer die Frage stellen welche Daten man an die großen Player rausrücken kann/darf/soll. Firmen, je massiver desto bereitwilliger (aber mit umso mehr Brimborium durch "die Rechtsabteilung" usw.), lassen sich meiner Erfahrung nach immer durch Anwaltsgeblubber und Vertraege und Zusicherungen und Compliance-Garantien abspeisen in solchen Angelegenheiten. Auch, wenn es um durchaus existenzielle Risiken geht.
daisho Vereinsmitglied SHODAN Registered: Nov 2002 Location: 4C4 Posts: 19821	16.02.2025 - 10:39 Ja, ist einfach Verantwortung abwälzen, was tatsächlich im Fall des Falles passieren kann wird dann meist gar nicht mehr untersucht. Oft wissen die Entscheidungsträger sogar dass es im Hintergrund in Wahrheit eh anders abläuft (Data Privacy) oder dass es im Notfall dann eh nicht hilft, aber da spielt wohl einfach die "Nicht mehr mein Bier" Mentalität rein. Nicht selbst für die Firma verantwortlich = mir egal.

KI Modelle auf lokaler Hardware

Forum Index > Software > Artificial Intelligence

EndOfDayz

liltan0x

BiG_WEaSeL

ZARO

quilty

EndOfDayz

Longbow

Rogaahl

sk/\r

Dargor

Kirby

roscoe

charmin

COLOSSUS

daisho