KI Modelle auf lokaler Hardware

EndOfDayz

Little Overclocker

Registered: Oct 2004
Location: Austria
Posts: 101

16.02.2025 - 11:04

Ich arbeite bei einer kleinen Firma und mir fällt gerade bei den jungen Entwicklern auf, dass zuerst alles mal über ChatGPT versucht wird bevor man das erste mal selbst nachdenkt.

Da es bei uns wenig/keine Policies zu der Nutzung solcher Tools gibt frage ich mich wann das erste mal der komplette Sourcecode eines Projekts durch den Ether geschickt wird.

Ob sich dagegen das lokale Betreiben eines Models mit annehmbarer Performance rechnet ist für mich jedoch fraglich.

Dargor

Shadowlord

Registered: Sep 2006
Location: 4020
Posts: 2193

16.02.2025 - 11:39

Zitat aus einem Post von EndOfDayz
Ob sich dagegen das lokale Betreiben eines Models mit annehmbarer Performance rechnet ist für mich jedoch fraglich.

Sicher mehr als wenn die MA freiwillig den internen Sourcecode rausgeben

Kirby

0x1A

Registered: Jun 2017
Location: Lesachtal
Posts: 1023

16.02.2025 - 12:45

Kann nur empfehlen einen PC für die lokalen LLMs zu verwenden. Ich hab auch alles lokal am laufen. Auch wenn es deepseek aber ******* da hund drauf.

Unholy

Freak

Registered: Jan 2001
Location: Vienna
Posts: 3588

23.05.2025 - 17:27

hat schon jemand was mit jetson xavier modulen gebaut?
bisher hab ich deepseek nur im docker laufen lassen, performance am NB war mau... Standpc hat eine 6800xt dachte man könnte vielleicht irgendwie mit multigpu oder so arbeiten aber vram stacked nicht...

derzeit gibt es auch grakas bei MM zu recht normalen preisen, 5060 TI um unter 400 (16GB Ram) macht es sinn einen kleinen pc zu bauen oder sollte man doch lieber gleich auf dein devkit von nvidia jetson oder halt sofern möglich auf ein diy gehen?

Usecase 1: olama/deepseek laufen lassen... spätere Usecases wären dann Bilder generieren oder Anomalieerkennung z.B.

that

Hoffnungsloser Optimist

Registered: Mar 2000
Location: MeidLing
Posts: 11346

29.05.2025 - 16:37

Zitat aus einem Post von Unholy
derzeit gibt es auch grakas bei MM zu recht normalen preisen, 5060 TI um unter 400 (16GB Ram)

Hab ich die verpasst? Ich hab noch keine 5060 Ti deutlich unter 450 € gesehen.

berndy2001

Registered: Feb 2003
Location: Vienna
Posts: 2084

29.05.2025 - 16:54

Leider vorbei

https://www.preisjaeger.at/deals/nv...-ti-16gb-347397

GrandAdmiralThrawn

Lord of Derailment

Registered: Aug 2000
Location: BRUCK!
Posts: 3807

30.05.2025 - 06:14

Auf der Arbeit haben wir eine eigene Instanz von ChatGPT 4o, die in Wien draußen läuft. Angeblich völlig ohne Abfließen der eingegebenen Daten.

Ist jetzt zwar in Österreich, aber wirklich "lokal" isses natürlich auch ned, weil ned on-Site. Im Rahmen unserer Forschung haben wir aber mit einem vGPU Setup KIs im Bereich der Bildanalyse lokal laufen. Sind ein EPYC Server mit 128 Kernen, 2 TiB RAM und 8 × A100 40 GiB Karten sowie ein kleinerer mit 64 Kernen, 512 GiB RAM und 4 × A100 40 GiB Karten.

Privat nutze ich ebenfalls die GPT 4o Instanz in Wien und ein lokal laufendes Netz für Bild-Upscaling. Nennt sich "Real-ESRGAN". Das habe ich sogar nur auf einer Ryzen CPU laufen. Rennt halt ein paar Minuten, dann ist ein Bild upscaled. Aber für Videos würde ich die CPU dann eher ned mehr nutzen wollen, da braucht's dann eine GPU, sonst schlafen dir die Füße ein.

Unholy

Freak

Registered: Jan 2001
Location: Vienna
Posts: 3588

10.07.2025 - 14:07

so, ich hab mich an dem Teil "notebook LM lokal" (https://www.youtube.com/watch?v=aj2FkaaL1co) versucht und dachte wir wären hier schon weiter

AMD 6800XT und Windows dürfte mein Problem sein...

er startet mir den ollama Container nicht...

hat da jemand schon Erfahrung wie ich das zum laufen bekommen könnte?

Error:
(HTTP code 500) server error - error gathering device information while adding custom device "/dev/kfd": no such file or directory

Antwort aus 2023: It looks like you are trying to do this on a Windows system, which doesn't have /dev/kfd and as far as I know Windows doesn't support running an AMD GPU inside a docker container.
So the message '"/dev/kfd": no such file or directory' makes sense since it doesn't exist on your system.

gibt es dafür in 2025 bereits einen workaround?

charmin

Vereinsmitglied
stay classy!

Registered: Dec 2002
Location: root
Posts: 15711

10.07.2025 - 14:35

WSL 2.0 nutzen?

Unholy

Freak

Registered: Jan 2001
Location: Vienna
Posts: 3588

10.07.2025 - 14:37

ich dachte ich würde es... vielleicht hab ich da wo was falsch gemacht?
CMD sagt:

wsl -l -v
NAME STATE VERSION
* docker-desktop Running 2

das bring ich zum laufen:
docker run --privileged -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama -e OLLAMA_DEBUG=1 ollama/ollama:0.7.0-rocm

aber bei:

ollama-gpu-amd:
profiles: ["gpu-amd"]
<<: *service-ollama
image: ollama/ollama:0.7.0-rocm
devices:
- "/dev/kfd"
- "/dev/dri"

klappt es nicht (Error:
(HTTP code 500) server error - error gathering device information while adding custom device "/dev/kfd": no such file or directory)....

mein whispr ((HTTP code 500) server error - could not select device driver "amd" with capabilities: [[gpu]])
und coqui-tts ((HTTP code 500) server error - failed to create task for container: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error running prestart hook #0: exit status 1, stdout: , stderr: Auto-detected mode as 'legacy' nvidia-container-cli: initialization error: WSL environment detected but no adapters were found: unknown) service läuft auch nicht

Bearbeitet von Unholy am 10.07.2025, 16:06

EndOfDayz Little Overclocker Registered: Oct 2004 Location: Austria Posts: 101	16.02.2025 - 11:04 Ich arbeite bei einer kleinen Firma und mir fällt gerade bei den jungen Entwicklern auf, dass zuerst alles mal über ChatGPT versucht wird bevor man das erste mal selbst nachdenkt. Da es bei uns wenig/keine Policies zu der Nutzung solcher Tools gibt frage ich mich wann das erste mal der komplette Sourcecode eines Projekts durch den Ether geschickt wird. Ob sich dagegen das lokale Betreiben eines Models mit annehmbarer Performance rechnet ist für mich jedoch fraglich.
Dargor Shadowlord Registered: Sep 2006 Location: 4020 Posts: 2193	16.02.2025 - 11:39 Zitat aus einem Post von EndOfDayz Ob sich dagegen das lokale Betreiben eines Models mit annehmbarer Performance rechnet ist für mich jedoch fraglich. Sicher mehr als wenn die MA freiwillig den internen Sourcecode rausgeben
Kirby 0x1A Registered: Jun 2017 Location: Lesachtal Posts: 1023	16.02.2025 - 12:45 Kann nur empfehlen einen PC für die lokalen LLMs zu verwenden. Ich hab auch alles lokal am laufen. Auch wenn es deepseek aber ******* da hund drauf.
Unholy Freak Registered: Jan 2001 Location: Vienna Posts: 3588	23.05.2025 - 17:27 hat schon jemand was mit jetson xavier modulen gebaut? bisher hab ich deepseek nur im docker laufen lassen, performance am NB war mau... Standpc hat eine 6800xt dachte man könnte vielleicht irgendwie mit multigpu oder so arbeiten aber vram stacked nicht... derzeit gibt es auch grakas bei MM zu recht normalen preisen, 5060 TI um unter 400 (16GB Ram) macht es sinn einen kleinen pc zu bauen oder sollte man doch lieber gleich auf dein devkit von nvidia jetson oder halt sofern möglich auf ein diy gehen? Usecase 1: olama/deepseek laufen lassen... spätere Usecases wären dann Bilder generieren oder Anomalieerkennung z.B.
that Hoffnungsloser Optimist Registered: Mar 2000 Location: MeidLing Posts: 11346	29.05.2025 - 16:37 Zitat aus einem Post von Unholy derzeit gibt es auch grakas bei MM zu recht normalen preisen, 5060 TI um unter 400 (16GB Ram) Hab ich die verpasst? Ich hab noch keine 5060 Ti deutlich unter 450 € gesehen.
berndy2001 Registered: Feb 2003 Location: Vienna Posts: 2084	29.05.2025 - 16:54 Leider vorbei https://www.preisjaeger.at/deals/nv...-ti-16gb-347397
GrandAdmiralThrawn Lord of Derailment Registered: Aug 2000 Location: BRUCK! Posts: 3807	30.05.2025 - 06:14 Auf der Arbeit haben wir eine eigene Instanz von ChatGPT 4o, die in Wien draußen läuft. Angeblich völlig ohne Abfließen der eingegebenen Daten. Ist jetzt zwar in Österreich, aber wirklich "lokal" isses natürlich auch ned, weil ned on-Site. Im Rahmen unserer Forschung haben wir aber mit einem vGPU Setup KIs im Bereich der Bildanalyse lokal laufen. Sind ein EPYC Server mit 128 Kernen, 2 TiB RAM und 8 × A100 40 GiB Karten sowie ein kleinerer mit 64 Kernen, 512 GiB RAM und 4 × A100 40 GiB Karten. Privat nutze ich ebenfalls die GPT 4o Instanz in Wien und ein lokal laufendes Netz für Bild-Upscaling. Nennt sich "Real-ESRGAN". Das habe ich sogar nur auf einer Ryzen CPU laufen. Rennt halt ein paar Minuten, dann ist ein Bild upscaled. Aber für Videos würde ich die CPU dann eher ned mehr nutzen wollen, da braucht's dann eine GPU, sonst schlafen dir die Füße ein.
Unholy Freak Registered: Jan 2001 Location: Vienna Posts: 3588	10.07.2025 - 14:07 so, ich hab mich an dem Teil "notebook LM lokal" (https://www.youtube.com/watch?v=aj2FkaaL1co) versucht und dachte wir wären hier schon weiter AMD 6800XT und Windows dürfte mein Problem sein... er startet mir den ollama Container nicht... hat da jemand schon Erfahrung wie ich das zum laufen bekommen könnte? Error: (HTTP code 500) server error - error gathering device information while adding custom device "/dev/kfd": no such file or directory Antwort aus 2023: It looks like you are trying to do this on a Windows system, which doesn't have /dev/kfd and as far as I know Windows doesn't support running an AMD GPU inside a docker container. So the message '"/dev/kfd": no such file or directory' makes sense since it doesn't exist on your system. gibt es dafür in 2025 bereits einen workaround?
charmin Vereinsmitglied stay classy! Registered: Dec 2002 Location: root Posts: 15711	10.07.2025 - 14:35 WSL 2.0 nutzen?
Unholy Freak Registered: Jan 2001 Location: Vienna Posts: 3588	10.07.2025 - 14:37 ich dachte ich würde es... vielleicht hab ich da wo was falsch gemacht? CMD sagt: wsl -l -v NAME STATE VERSION * docker-desktop Running 2 das bring ich zum laufen: docker run --privileged -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama -e OLLAMA_DEBUG=1 ollama/ollama:0.7.0-rocm aber bei: ollama-gpu-amd: profiles: ["gpu-amd"] <<: service-ollama image: ollama/ollama:0.7.0-rocm devices: - "/dev/kfd" - "/dev/dri" klappt es nicht (Error: (HTTP code 500) server error - error gathering device information while adding custom device "/dev/kfd": no such file or directory).... mein whispr ((HTTP code 500) server error - could not select device driver "amd" with capabilities: [[gpu]]) und coqui-tts ((HTTP code 500) server error - failed to create task for container: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error running prestart hook #0: exit status 1, stdout: , stderr: Auto-detected mode as 'legacy' nvidia-container-cli: initialization error: WSL environment detected but no adapters were found: unknown) service läuft auch nicht Bearbeitet von Unholy am 10.07.2025, 16:06*

KI Modelle auf lokaler Hardware

Forum Index > Software > Artificial Intelligence

EndOfDayz

Dargor

Kirby

Unholy

that

berndy2001

GrandAdmiralThrawn

Unholy

charmin

Unholy