KI Modelle auf lokaler Hardware

MightyMaz

hat nun auch einen Titel

Registered: Feb 2003
Location: .de
Posts: 760

20.03.2026 - 11:01

https://ollama.com/library/nemotron-3-super

Ist 87 GB groß, wird bei mir mit 64 GB Ram also wohl nicht laufen.

btw.:
@COLOSSUS: Glückwunsch zu 12345 Beiträgen.

Bearbeitet von MightyMaz am 20.03.2026, 11:40

erlgrey

formerly known as der~erl

Registered: Aug 2002
Location: Wien
Posts: 4560

20.03.2026 - 11:07

jein, imho:

sind die daten im prompt, sind sie weg, wurscht was dir versprochen wird. (je mehr die daten weitergegeben werden, umso wahrscheinlicher)

Es werden im großen Stil Urheberrechtsverletzungen begangen, wieso sollte es da noch jemanden interessieren ob die Kundendaten jetzt für "trainingszwecke" verwendet werden oder nicht. Solang ein wisch dabei ist, dass es sicher sicher nicht getan wird, sind wir doch compliant!

kommt drauf an, context size, quantisierung und ob es ein MoE ist. Aber so ungefähr, jo.

COLOSSUS

Administrator
GNUltra

Registered: Dec 2000
Location: ~
Posts: 12381

20.03.2026 - 11:15

Ich sehe das zu ~120% wie erlgrey

Und was die zitierte "Compliance" angeht: Da darf man auch solche Erkentnisse dabei nicht vergessen, wenn einem die Sache denn tatsaechlich wichtig ist (und es nicht nur um CYA-Feigenblaetter geht): https://www.propublica.org/article/...rity-government

spunz

Elder
Elder

Registered: Aug 2000
Location: achse des bösen
Posts: 11599

20.03.2026 - 11:41

Zitat aus einem Post von erlgrey
jein, imho:

sind die daten im prompt, sind sie weg, wurscht was dir versprochen wird. .

je nach Setup werden auch "lokale" Dateien hochgeladen die ggf api keys o.ä. enthalten (zb claude.md)

Viper780

Elder
Er ist tot, Jim!

Registered: Mar 2001
Location: Wien
Posts: 52496

20.03.2026 - 14:16

was erlgrey und COLOSSUS schreibt seh ich in der ganzen Industrie und es bleibt mir auch nichts anderes übrig die Entscheidungen danach zu treffen.

So lange ich Freigaben vom CISO/Risk/Compliance habe und auch der Kunde sein Okay gibt füttere ich die heiligsten Daten eines jeden Unternehmens Copilot, Claude, Amazon Bedrock,....

Wir haben die internen KI Cluster wieder abgebaut und verwenden AWS oder unseren Azure/Copilot Tennant - wo uns hoch und heilig versprochen wird dass die Daten hier sicher sind, Europa nicht verlassen, keiner sie einsehen kann und nicht zum Training verwendet werden. Natürlich nur alles ein Feigenblatt und seit Max Schrems 2 gibts auch das EUGh Urteil dass dies nicht reicht

Daeda

Renegade

Registered: Aug 2007
Location: Graz
Posts: 1832

20.03.2026 - 14:57

Ok, da bin ich wohl eindeutig zu naiv. Ich bin nur bei den großen skeptisch, nicht bei denen die selbst open source Modelle hosten und via API Zugriff verkaufen.

Sind dann selbst die ganzen Zertifikate bei Fireworks nichtssagend?
SOC 2 Type 2
HIPAA
GDPR
ISO 27001:2022
ISO 27701
ISO/IEC 42001:2023

Siehe https://trust.fireworks.ai/

@ontopic (wobei ich die Begründung pro/contra lokal schon interessant und nicht wirklich offtopic finde)

Ein Arbeitskollege trainiert gerade sein eigenes LLM auf einer Hardware mit 5x 5090 und irgendeinem 32-Core Threadripper und viel RAM - hat er sich bei core.ai um 20€ / Tag angemietet und sagt in insgesamt 4-5 Tagen ist das pre-training fertig, also nur 100€. Dann noch 1-2 Schritte und er hat sein eigenes Model das dann auch auf low-end läuft.

EndOfDayz

Little Overclocker

Registered: Oct 2004
Location: Austria
Posts: 105

29.03.2026 - 21:48

Das könnte auch lokal spannend sein:

Google's TurboQuant AI-compression algorithm can reduce LLM memory usage by 6x

TurboQuant makes AI models more efficient but doesn't reduce output quality like other methods.

Link: arstechnica.com

Viper780

Elder
Er ist tot, Jim!

Registered: Mar 2001
Location: Wien
Posts: 52496

27.04.2026 - 20:16

Was verwendet ihr aktuell wenns in 16GB VRAM passen muss?

charmin

Vereinsmitglied
stay classy!

Registered: Dec 2002
Location:
Posts: 16394

27.04.2026 - 20:17

Zitat aus einem Post von Viper780
Was verwendet ihr aktuell wenns in 16GB VRAM passen muss?

Probier mal das Gemma 4 26B A4B in Q4_0 (4 Bit)
Hat 15,6GB. geht sich vl im vram aus?

https://ai.google.dev/gemma/docs/core?hl=de

Viper780

Elder
Er ist tot, Jim!

Registered: Mar 2001
Location: Wien
Posts: 52496

27.04.2026 - 20:25

Hab ich gestern als Gemma 4 26B-A4B IQ4_XS
Aber mit ollama unter windows hats da irgendwas extrem langsam gewesen.

Qwen3.6-27B IQ4_XS sollte auch gehen aber noch langsamer sein.
Die Q3 Modelle sind für Agentic Coding nicht empfohlen

KruzFX

8.10.2021

Registered: Aug 2005
Location: ZDR
Posts: 2299

27.04.2026 - 21:05

Bei mir läuft gemma4:26b auf einer 7800XT recht performant.

Viper780

Elder
Er ist tot, Jim!

Registered: Mar 2001
Location: Wien
Posts: 52496

27.04.2026 - 21:58

windows oder linux?
ollama oder etwas anderes?

KruzFX

8.10.2021

Registered: Aug 2005
Location: ZDR
Posts: 2299

27.04.2026 - 22:49

Ubuntu 24.04LTS mit Ollama ROCm auf Docker.

Brauchst das docker compose file?

Viper780

Elder
Er ist tot, Jim!

Registered: Mar 2001
Location: Wien
Posts: 52496

28.04.2026 - 07:19

Für mich nicht, danke aber für andere ist es sicher hilfreich.
Ich hab am Desktop nur Windows werde es aber wieder dualboot einrichten

charmin

Vereinsmitglied
stay classy!

Registered: Dec 2002
Location:
Posts: 16394

28.04.2026 - 07:41

WSL nix?

MightyMaz hat nun auch einen Titel Registered: Feb 2003 Location: .de Posts: 760	20.03.2026 - 11:01 https://ollama.com/library/nemotron-3-super Ist 87 GB groß, wird bei mir mit 64 GB Ram also wohl nicht laufen. btw.: @COLOSSUS: Glückwunsch zu 12345 Beiträgen. Bearbeitet von MightyMaz am 20.03.2026, 11:40
erlgrey formerly known as der~erl Registered: Aug 2002 Location: Wien Posts: 4560	20.03.2026 - 11:07 jein, imho: sind die daten im prompt, sind sie weg, wurscht was dir versprochen wird. (je mehr die daten weitergegeben werden, umso wahrscheinlicher) Es werden im großen Stil Urheberrechtsverletzungen begangen, wieso sollte es da noch jemanden interessieren ob die Kundendaten jetzt für "trainingszwecke" verwendet werden oder nicht. Solang ein wisch dabei ist, dass es sicher sicher nicht getan wird, sind wir doch compliant! kommt drauf an, context size, quantisierung und ob es ein MoE ist. Aber so ungefähr, jo.
COLOSSUS Administrator GNUltra Registered: Dec 2000 Location: ~ Posts: 12381	20.03.2026 - 11:15 Ich sehe das zu ~120% wie erlgrey Und was die zitierte "Compliance" angeht: Da darf man auch solche Erkentnisse dabei nicht vergessen, wenn einem die Sache denn tatsaechlich wichtig ist (und es nicht nur um CYA-Feigenblaetter geht): https://www.propublica.org/article/...rity-government
spunz Elder Elder Registered: Aug 2000 Location: achse des bösen Posts: 11599	20.03.2026 - 11:41 Zitat aus einem Post von erlgrey jein, imho: sind die daten im prompt, sind sie weg, wurscht was dir versprochen wird. . je nach Setup werden auch "lokale" Dateien hochgeladen die ggf api keys o.ä. enthalten (zb claude.md)
Viper780 Elder Er ist tot, Jim! Registered: Mar 2001 Location: Wien Posts: 52496	20.03.2026 - 14:16 was erlgrey und COLOSSUS schreibt seh ich in der ganzen Industrie und es bleibt mir auch nichts anderes übrig die Entscheidungen danach zu treffen. So lange ich Freigaben vom CISO/Risk/Compliance habe und auch der Kunde sein Okay gibt füttere ich die heiligsten Daten eines jeden Unternehmens Copilot, Claude, Amazon Bedrock,.... Wir haben die internen KI Cluster wieder abgebaut und verwenden AWS oder unseren Azure/Copilot Tennant - wo uns hoch und heilig versprochen wird dass die Daten hier sicher sind, Europa nicht verlassen, keiner sie einsehen kann und nicht zum Training verwendet werden. Natürlich nur alles ein Feigenblatt und seit Max Schrems 2 gibts auch das EUGh Urteil dass dies nicht reicht
Daeda Renegade Registered: Aug 2007 Location: Graz Posts: 1832	20.03.2026 - 14:57 Ok, da bin ich wohl eindeutig zu naiv. Ich bin nur bei den großen skeptisch, nicht bei denen die selbst open source Modelle hosten und via API Zugriff verkaufen. Sind dann selbst die ganzen Zertifikate bei Fireworks nichtssagend? SOC 2 Type 2 HIPAA GDPR ISO 27001:2022 ISO 27701 ISO/IEC 42001:2023 Siehe https://trust.fireworks.ai/ @ontopic (wobei ich die Begründung pro/contra lokal schon interessant und nicht wirklich offtopic finde) Ein Arbeitskollege trainiert gerade sein eigenes LLM auf einer Hardware mit 5x 5090 und irgendeinem 32-Core Threadripper und viel RAM - hat er sich bei core.ai um 20€ / Tag angemietet und sagt in insgesamt 4-5 Tagen ist das pre-training fertig, also nur 100€. Dann noch 1-2 Schritte und er hat sein eigenes Model das dann auch auf low-end läuft.
EndOfDayz Little Overclocker Registered: Oct 2004 Location: Austria Posts: 105	29.03.2026 - 21:48 Das könnte auch lokal spannend sein: Google's TurboQuant AI-compression algorithm can reduce LLM memory usage by 6x TurboQuant makes AI models more efficient but doesn't reduce output quality like other methods. Link: arstechnica.com
Viper780 Elder Er ist tot, Jim! Registered: Mar 2001 Location: Wien Posts: 52496	27.04.2026 - 20:16 Was verwendet ihr aktuell wenns in 16GB VRAM passen muss?
charmin Vereinsmitglied stay classy! Registered: Dec 2002 Location: Posts: 16394	27.04.2026 - 20:17 Zitat aus einem Post von Viper780 Was verwendet ihr aktuell wenns in 16GB VRAM passen muss? Probier mal das Gemma 4 26B A4B in Q4_0 (4 Bit) Hat 15,6GB. geht sich vl im vram aus? https://ai.google.dev/gemma/docs/core?hl=de
Viper780 Elder Er ist tot, Jim! Registered: Mar 2001 Location: Wien Posts: 52496	27.04.2026 - 20:25 Hab ich gestern als Gemma 4 26B-A4B IQ4_XS Aber mit ollama unter windows hats da irgendwas extrem langsam gewesen. Qwen3.6-27B IQ4_XS sollte auch gehen aber noch langsamer sein. Die Q3 Modelle sind für Agentic Coding nicht empfohlen
KruzFX 8.10.2021 Registered: Aug 2005 Location: ZDR Posts: 2299	27.04.2026 - 21:05 Bei mir läuft gemma4:26b auf einer 7800XT recht performant.
Viper780 Elder Er ist tot, Jim! Registered: Mar 2001 Location: Wien Posts: 52496	27.04.2026 - 21:58 windows oder linux? ollama oder etwas anderes?
KruzFX 8.10.2021 Registered: Aug 2005 Location: ZDR Posts: 2299	27.04.2026 - 22:49 Ubuntu 24.04LTS mit Ollama ROCm auf Docker. Brauchst das docker compose file?
Viper780 Elder Er ist tot, Jim! Registered: Mar 2001 Location: Wien Posts: 52496	28.04.2026 - 07:19 Für mich nicht, danke aber für andere ist es sicher hilfreich. Ich hab am Desktop nur Windows werde es aber wieder dualboot einrichten
charmin Vereinsmitglied stay classy! Registered: Dec 2002 Location: Posts: 16394	28.04.2026 - 07:41 WSL nix?

KI Modelle auf lokaler Hardware

Forum Index > Software > Artificial Intelligence

MightyMaz

erlgrey

COLOSSUS

spunz

Viper780

Daeda

EndOfDayz

Viper780

charmin

Viper780

KruzFX

Viper780

KruzFX

Viper780

charmin