"We are back" « oc.at

KI Modelle auf lokaler Hardware

Print Page

EndOfDayz 08.02.2025 - 20:46 17149 94

1…2 3 4 5 67

Posts

TOM Legend I Need More Space Registered: Nov 2000 Location: Vienna Posts: 7586	06.05.2026 - 07:54 https://blog.google/innovation-and-...iction-gemma-4/ spekulative multi-token prediction von Google in Ihren Gemma4 models => 1.5x - 3x speedup ohne quality degradation (like Quantisierung)
mr.nice. security baseline pusher Registered: Jun 2004 Location: Wien Posts: 6854	06.05.2026 - 08:28 Self-Hosted macht imho nur bei gewissen edge-cases Sinn und da braucht man mindestens einen fähigen Entwickler bzw. Entwicklerin die das trainieren, warten und auch weiterentwickeln können. Maschinelle Bilderkennung in der Krebsforschung ist z.B. so ein Thema wo es super einsetzbar ist und in gewissen Bereichen schon seit Jahren gemacht wird, quasi ein automatisierter Vorsortierungsprozess, damit sich die qualifizierten Personen in Summe weniger Bilder pro Patient anschauen müssen. Bearbeitet von mr.nice. am 06.05.2026, 08:45
darkboarder Here to stay Registered: Nov 2002 Location: Wien Posts: 847	12.05.2026 - 11:24 Dieses Projekt benutzt die User Hardware über den Browser. Nette Spielerei. https://webllm.mlc.ai bzw direkt https://chat.webllm.ai mit M4 Chip und 16GB Ram, als Vorschlag Qwen 3 8B model, ~5GB (f16) example-com_281364.png (downloaded 3x) Bearbeitet von darkboarder am 12.05.2026, 12:08
BiG_WEaSeL Elder - Registered: Jun 2000 Location: Wien Posts: 8668	12.05.2026 - 11:50 Ich seh da nur alte Modelle wie Qwen 3, nichtmal 3.5, ganz zu schweigen von 3.6. Die Daten werden lokal gecached was auch ewig dauert zum runterladen (selbst bei einer GBit Leitung). Selbst kleine Modelle dauern bei mir Minuten bis einfachste prompts beantwortet werden. Imho völlig unbrauchbar aber netter proof of concept.
X3ll ╰(°▽°)╯ Registered: Mar 2002 Location: /dev/null Posts: 1254	20.05.2026 - 22:22 Zitat aus einem Post von mr.nice. Self-Hosted macht imho nur bei gewissen edge-cases Sinn und da braucht man mindestens einen fähigen Entwickler bzw. Entwicklerin die das trainieren, warten und auch weiterentwickeln können. Maschinelle Bilderkennung in der Krebsforschung ist z.B. so ein Thema wo es super einsetzbar ist und in gewissen Bereichen schon seit Jahren gemacht wird, quasi ein automatisierter Vorsortierungsprozess, damit sich die qualifizierten Personen in Summe weniger Bilder pro Patient anschauen müssen. Gibt viele Cases wo lokale KI gut funktioniert, Text zusammenfassungen, Mail kommt rein -> Ticket wird erstellt und sowas in der Art, Rechnungen einlesen auswerten / OCR, klappt alles recht stabil. Hermes läuft z.B. auch recht pasabel mit Qwen 3.6 27b Bei mir läuft ein Framework Desktop mit 128GB RAM 24/7 für solche Tasks, wenn es schneller gehen muss 2x 4090er die gerade vorrangig Qwen 3.6 mit MTP befeuern. Bearbeitet von X3ll am 20.05.2026, 22:25

All times are GMT +1 hour. The time now is 19:41.

1…2 3 4 5 67

Anmeldung

New Posts

Today's Active Threads

Noctua NL-LC1 - Noctuas erste AIO-Wasserkühlung
19:26 Garbage

[Kino] Project Hail Mary
18:11 rad1oactive

Steam Machine 2026
17:49 PuhBär

[Multi]Final Fantasy: Resonance
17:35 Earthshaker

Offline-Safe selbst gebaut – brauche euer Feedback als Tester
16:21 d0lby

Letztgekauftes Spiel
13:05 Flint

Latest News

Wettbewerb: Wir suchen den besten Steam Machine Clone
28.06. mat

Eine letzte Chance für das WEP?
21.09. mat

overclockers.at is back!
25.01. mat

User of the Month: disposableHero
28.10. WONDERMIKE

Neues Unterforum: Artificial Intelligence
10.08. WONDERMIKE

Archives: News Articles

Links

Partners:
» Gamers.at
» Notebookcheck.com

L E F T B A R

Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz

© all rights reserved by overclockers.at 2000-2026
overclockers.at v4.thecommunity based on vBulletin 2.2.5
Page generated in 0.023 seconds (SQL-time: 0.020 seconds, 28 queries)
sponsored by www.nessus.at