"We are back" « oc.at

KI Modelle auf lokaler Hardware

EndOfDayz 08.02.2025 - 20:46 15984 94
Posts

MightyMaz

hat nun auch einen Titel
Registered: Feb 2003
Location: .de
Posts: 760
https://ollama.com/library/nemotron-3-super

Ist 87 GB groß, wird bei mir mit 64 GB Ram also wohl nicht laufen.

btw.:
@COLOSSUS: Glückwunsch zu 12345 Beiträgen.
Bearbeitet von MightyMaz am 20.03.2026, 11:40

erlgrey

formerly known as der~erl
Registered: Aug 2002
Location: Wien
Posts: 4560
jein, imho:

sind die daten im prompt, sind sie weg, wurscht was dir versprochen wird. (je mehr die daten weitergegeben werden, umso wahrscheinlicher)

Es werden im großen Stil Urheberrechtsverletzungen begangen, wieso sollte es da noch jemanden interessieren ob die Kundendaten jetzt für "trainingszwecke" verwendet werden oder nicht. Solang ein wisch dabei ist, dass es sicher sicher nicht getan wird, sind wir doch compliant!

kommt drauf an, context size, quantisierung und ob es ein MoE ist. Aber so ungefähr, jo.

COLOSSUS

Administrator
GNUltra
Avatar
Registered: Dec 2000
Location: ~
Posts: 12381
Ich sehe das zu ~120% wie erlgrey ;) Und was die zitierte "Compliance" angeht: Da darf man auch solche Erkentnisse dabei nicht vergessen, wenn einem die Sache denn tatsaechlich wichtig ist (und es nicht nur um CYA-Feigenblaetter geht): https://www.propublica.org/article/...rity-government

spunz

Elder
Elder
Avatar
Registered: Aug 2000
Location: achse des bösen
Posts: 11599
Zitat aus einem Post von erlgrey
jein, imho:

sind die daten im prompt, sind sie weg, wurscht was dir versprochen wird. .

je nach Setup werden auch "lokale" Dateien hochgeladen die ggf api keys o.ä. enthalten (zb claude.md)

Viper780

Elder
Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 52496
was erlgrey und COLOSSUS schreibt seh ich in der ganzen Industrie und es bleibt mir auch nichts anderes übrig die Entscheidungen danach zu treffen.

So lange ich Freigaben vom CISO/Risk/Compliance habe und auch der Kunde sein Okay gibt füttere ich die heiligsten Daten eines jeden Unternehmens Copilot, Claude, Amazon Bedrock,....

Wir haben die internen KI Cluster wieder abgebaut und verwenden AWS oder unseren Azure/Copilot Tennant - wo uns hoch und heilig versprochen wird dass die Daten hier sicher sind, Europa nicht verlassen, keiner sie einsehen kann und nicht zum Training verwendet werden. Natürlich nur alles ein Feigenblatt und seit Max Schrems 2 gibts auch das EUGh Urteil dass dies nicht reicht

Daeda

Renegade
Registered: Aug 2007
Location: Graz
Posts: 1832
Ok, da bin ich wohl eindeutig zu naiv. Ich bin nur bei den großen skeptisch, nicht bei denen die selbst open source Modelle hosten und via API Zugriff verkaufen.

Sind dann selbst die ganzen Zertifikate bei Fireworks nichtssagend?
SOC 2 Type 2
HIPAA
GDPR
ISO 27001:2022
ISO 27701
ISO/IEC 42001:2023

Siehe https://trust.fireworks.ai/

@ontopic (wobei ich die Begründung pro/contra lokal schon interessant und nicht wirklich offtopic finde)

Ein Arbeitskollege trainiert gerade sein eigenes LLM auf einer Hardware mit 5x 5090 und irgendeinem 32-Core Threadripper und viel RAM - hat er sich bei core.ai um 20€ / Tag angemietet und sagt in insgesamt 4-5 Tagen ist das pre-training fertig, also nur 100€. Dann noch 1-2 Schritte und er hat sein eigenes Model das dann auch auf low-end läuft.

EndOfDayz

Little Overclocker
Registered: Oct 2004
Location: Austria
Posts: 105
Das könnte auch lokal spannend sein:

Viper780

Elder
Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 52496
Was verwendet ihr aktuell wenns in 16GB VRAM passen muss?

charmin

Vereinsmitglied
stay classy!
Avatar
Registered: Dec 2002
Location:  
Posts: 16394
Zitat aus einem Post von Viper780
Was verwendet ihr aktuell wenns in 16GB VRAM passen muss?

Probier mal das Gemma 4 26B A4B in Q4_0 (4 Bit)
Hat 15,6GB. geht sich vl im vram aus?

https://ai.google.dev/gemma/docs/core?hl=de

Viper780

Elder
Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 52496
Hab ich gestern als Gemma 4 26B-A4B IQ4_XS
Aber mit ollama unter windows hats da irgendwas extrem langsam gewesen.

Qwen3.6-27B IQ4_XS sollte auch gehen aber noch langsamer sein.
Die Q3 Modelle sind für Agentic Coding nicht empfohlen

KruzFX

8.10.2021
Avatar
Registered: Aug 2005
Location: ZDR
Posts: 2299
Bei mir läuft gemma4:26b auf einer 7800XT recht performant.

Viper780

Elder
Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 52496
windows oder linux?
ollama oder etwas anderes?

KruzFX

8.10.2021
Avatar
Registered: Aug 2005
Location: ZDR
Posts: 2299
Ubuntu 24.04LTS mit Ollama ROCm auf Docker.

Brauchst das docker compose file?

Viper780

Elder
Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 52496
Für mich nicht, danke aber für andere ist es sicher hilfreich.
Ich hab am Desktop nur Windows werde es aber wieder dualboot einrichten

charmin

Vereinsmitglied
stay classy!
Avatar
Registered: Dec 2002
Location:  
Posts: 16394
WSL nix?
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz