KI Modelle auf lokaler Hardware

Self-Hosted macht imho nur bei gewissen edge-cases Sinn und da braucht man mindestens einen fähigen Entwickler bzw. Entwicklerin die das trainieren, warten und auch weiterentwickeln können.

Maschinelle Bilderkennung in der Krebsforschung ist z.B. so ein Thema wo es super einsetzbar ist und in gewissen Bereichen schon seit Jahren gemacht wird,
quasi ein automatisierter Vorsortierungsprozess, damit sich die qualifizierten Personen in Summe weniger Bilder pro Patient anschauen müssen.

Ich seh da nur alte Modelle wie Qwen 3, nichtmal 3.5, ganz zu schweigen von 3.6.

Die Daten werden lokal gecached was auch ewig dauert zum runterladen (selbst bei einer GBit Leitung). Selbst kleine Modelle dauern bei mir Minuten bis einfachste prompts beantwortet werden.

Imho völlig unbrauchbar aber netter proof of concept.