"We are back" « oc.at

KI News und was dazu gehört

Kirby 30.01.2025 - 22:57 17345 104 Thread rating
Posts

Dreamforcer

New world Order
Avatar
Registered: Nov 2002
Location: Tirol
Posts: 9219
dazu passt auch das "bild" aus dem Artikel

https://www.404media.co/companies-a...-too-expensive/

Master99

verträumter realist
Avatar
Registered: Jul 2001
Location: vie/grz
Posts: 12909
Zitat aus einem Post von Viper780
Sonnet 5 ist von den Benchmarks nur knapp unter Opus 4.8 - für mich sogar knapp drüber

apropos Benchmarks:

Daeda

Renegade
Registered: Aug 2007
Location: Graz
Posts: 1844

Hab auf YT leider keine Beispiele/Ausschnitte davon gefunden, mir kams nur mal auf Insta unter und das hat sich echt furchtbar angehört.

Jedimaster

Here to stay
Avatar
Registered: Dec 2005
Location: Linz
Posts: 4509
Tja, womit man sich die Frage stellt ... die AI braucht gar keinen Zugriff auf die Atombomben, es muss nur entsprechend falsch Übersetzen damit die Entscheidungsträger rot sehn und ... klick ...

(Yep, total unrealistisch, aber wir werden da noch "lustige" Fehler von AI's ausbaden dürfen, in Bereichen wo eigentlich keine Fehler passieren dürfen, aber aus Kostengründen ... )

whitegrey

Wirtschaftsflüchtling
Avatar
Registered: Dec 2000
Location: Wien 1110
Posts: 7504
Ein simples 'unsere Mitarbeiter kosten zu viel - das soll die KI machen' ist es jedenfalls nicht, da braucht es schon Leute die das ordentlich durch kalkulieren. Und vor Allem würde es wohl auch längerfristige Kostentransparenz und Verträge mit gewissen Laufzeiten brauchen wo garantiert ist, dass die Kosten nicht plötzlich steigen - weil zb. Modell A abgedreht wird und man zu Modell B gezwungen wird das andere Konditionen hat (gilt für die Online-Sachen, bei Offline-KI hat man das Problem potentiell weniger).

Kirby

0x1B
Avatar
Registered: Jun 2017
Location: Lesachtal
Posts: 1126
Lokal hosten! Ein paar firmen habens gecheckt.

semteX

liebt die große KI
Avatar
Registered: Oct 2002
Location: Pre
Posts: 15133
Du brauchst gar nix lokal hosten, du kannst eh einkaufen. Aber halt ned bei Anthropic

Kirby

0x1B
Avatar
Registered: Jun 2017
Location: Lesachtal
Posts: 1126
Bei unternehmen finds ich halt grauslig die KI auswärts laufen zu lassen. Gibt ja wichtige dokumente die oft hochgeladen werden. Lokal eine KI trainieren für die Firma die halt in der firma bleibt. Dann kannst alles hochladen von der firma.

Longbow

Here to stay
Avatar
Registered: Feb 2003
Location: Homeoffice
Posts: 5664
Zitat aus einem Post von Kirby
Lokal hosten! Ein paar firmen habens gecheckt.
Den Krempl muss halt auch wer betreuen der Ahnung von der Thematik hat, ned nur "technisch verfügbar".

Kirby

0x1B
Avatar
Registered: Jun 2017
Location: Lesachtal
Posts: 1126
Zitat aus einem Post von Longbow
Den Krempl muss halt auch wer betreuen der Ahnung von der Thematik hat, ned nur "technisch verfügbar".

ja scho klar. aber bei firmen wo hausnummer 2k leute arbeiten kann das die IT übernehmen. Und da brauchts dann auch nur einen der sich gern mit der Materie befasst

Viper780

Elder
Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 52594
Wenn man nicht ewig warten will und komplexere Anforderungen hat kommt man mit selbst hosten nicht sehr weit.

Wir hatten in der Firma eine DGX Spark und kamen mit den self hosted Modell nur für einfachere Tasks und in sehr lange laufenden loops zu recht

Claude Code mit den aktuellen Modellen frisst einem die Haare vom Kopf

Jedimaster

Here to stay
Avatar
Registered: Dec 2005
Location: Linz
Posts: 4509
Richtig lustig wirds erst dann, wenn irgendwelche Spezialteile ganz plötzlich von einem Konkurrenten um billigstes Geld nachgebaut werden, weil ihnen die KI eine minimal andere Vorlage gebastelt hat, die keine 1:1 sondern eine "AI-Generated" Kopie ist. Die Rechtsstreits und die Urteile werden den Popkornverbrauch in die Höhe schnellen lassen ...

mr.nice.

security baseline pusher
Avatar
Registered: Jun 2004
Location: Wien
Posts: 6854
Um ein frontier model wie GLM 5.2 lokal für multiuser halbwegs performant hosten zu können, da kannst nur für AI-Beschleuniger 300k in die Hand nehmen, es ist noch nicht von Hochverfügbarkeit die Rede. Dann brauchst Personal, dass das wartet und weiterentwickelt. Die laufenden Kosten sind also nicht gering.
Wenn Datenschutz Priorität hat wäre es eigentlich dennoch der richtige Weg, aber kaum jemand macht es aufgrund der hohen Hürden. So jedenfalls ist mein Eindruck.
Bearbeitet von mr.nice. am 12.07.2026, 00:37

whitegrey

Wirtschaftsflüchtling
Avatar
Registered: Dec 2000
Location: Wien 1110
Posts: 7504
Zitat aus einem Post von whitegrey
Offline-KI
Da habe ich mich ungeschickt ausgedrückt weil mir die Begriffe self-hosted & local nicht eingefallen sind. Self-hosted kann natürlich auch 'online' passieren - wobei das ebenfalls mit laufenden Kosten verbunden ist (Anbindung, ev. Traffic - was bei rein lokaler Verwendung nicht der Fall sein muss bzw. nur 1x um das Programm und ein passendes Modell zu laden, trainieren kann man dann auch offline). Plus; mir ist jetzt nicht bekannt oder bewusst inwiefern Provider da unter Umständen eingreifen können bzw. ob und wie das Thema KI seitens der Provider geregelt ist (traffic shaping usw.).

Was ich so lese ist der weltweite 'impact' durchaus jetzt schon da und messbar und wird in Zukunft weiter anwachsen. Da stellt sich dann auf jeden Fall die Frage was oder wer priorisiert wird und wer das in der Hand hat (vermutlich läuft es auf 'wer zahlt hat Vorrang' hinaus was nicht der Idee von 'Neztneutralität' entspricht sondern er der Realität von 'der Markt regelt das - wer zahlt schafft an').

Bearbeitet von whitegrey am 12.07.2026, 02:52

spunz

Elder
Elder
Avatar
Registered: Aug 2000
Location: achse des bösen
Posts: 11618
Zitat aus einem Post von mr.nice.
Um ein frontier model wie GLM 5.2 lokal für multiuser halbwegs performant hosten zu können, da kannst nur für AI-Beschleuniger 300k in die Hand nehmen, es ist noch nicht von Hochverfügbarkeit die Rede. Dann brauchst Personal, dass das wartet und weiterentwickelt. Die laufenden Kosten sind also nicht gering.
Wenn Datenschutz Priorität hat wäre es eigentlich dennoch der richtige Weg, aber kaum jemand macht es aufgrund der hohen Hürden. So jedenfalls ist mein Eindruck.

dazu kommen noch gut 5-6 Monate Lieferzeit, insbesondere aktuelle B200 Systeme. Man braucht auch Workload der 24/7 für Auslastung sorgt, ansonsten ist mieten deutlich günstiger.
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz