"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

Verwandelt sich Nvidia vollständig in eine AI-Firma?

WONDERMIKE 23.05.2023 - 01:03 3400 7
Posts

WONDERMIKE

Administrator
kenough
Avatar
Registered: Jul 2001
Location: Mojo Dojo Casa H..
Posts: 10505

Ja, nur wccftech ;) Aber ich frage mich nicht zum ersten mal wie lustig es eigentlich wäre, wenn Nvidia irgendwann mit dem AI Train aus der Gamingwelt davonfährt, weil sie dort mehr Geld verdienen als mit uns. Seit Turing habe ich auch immer stärker das Gefühl, dass Nvidia in erster Linie Compute Hardware entwickelt und dann per Marketing dafür sorgt, dass wir das unbedingt als essenziellen Teil einer Gaminggrafikkarte wahrnehmen(zB Tensor Cores :D).

Frage an die AI Leute hier: Bieten Quadros durch ihre zertifizierten Treiber einen Vorteil, oder ist das bei AI bedeutungslos? Wie wichtig ist der VRAM bzw ab welcher Speichermenge kann eine Grafikkarte da halbwegs sinnvoll eingesetzt werden? Werden Consumerkarten womöglich ins Visier geraten und so die Preise wieder angeheizt?

smashIt

master of disaster
Avatar
Registered: Feb 2004
Location: OÖ
Posts: 5000
Zitat aus einem Post von WONDERMIKE
Werden Consumerkarten womöglich ins Visier geraten und so die Preise wieder angeheizt?

die kommen alleine schon deswegen unter druck weil nvidia ihr fertigungskontingent bei tsmc richtung ki verschieben werden.

Viper780

Moderator
Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 48758
Nvidia hat sich schon lange in die Richtung positioniert. Auch Automotive ist seit langem ein großer und Erfolgreicher Zweig.

Jetzt bin ich kein AI / KI Profi, aber was ich so mitbekomme ist die Größe des Neuronalen Netzes vorallem beim Training durch die Speichergröße beschränkt. Jedes Gigabyte mehr gibt entweder mehr Details oder ermöglicht ein komplexeres Modell. Aktuell sieht es noch nicht so aus als ob man in die Gegend von "ausreichend Speicher" gekommen wäre.

Ich frage mich eher wie lange es dauert bis die breite Masse sich von CUDA weg bewegt und andere KI Libraries welche auch auf non nvidia laufen stärker Verbreitung finden.

charmin

Super Moderator

Avatar
Registered: Dec 2002
Location: aut_sbg
Posts: 13837
Es stimmt zwar, dass neuronale Netze größer geworden sind. Allerdings performen zu grosse Netze wieder schlechter. Die Speichergrösse ist vorrangig auch für die batch size wichtig und wenn man zb farbige 3d punktwolken hat, dann sind das gleich mal ein paar GB pro batch. Was mir in dem Bereich aufgefallen ist (3d punktwolken) ist, dass neueren Netze eher wieder einfacher werden und eher neue mathematische Konzepte verwenden wie bspw Transformer und dann auch eher approximationen weil der transformer sonst zu aufwändig zu trainieren is. Was ich sagen will: ich denke, dass der Speicherbedarf für neuronale Netze in Zukunft nicht so schnell wachsen wird wie es das jetzt am Anfang passiert is. Aber nur meine bescheidene Meinung.

Und quadros bzw A serie: sind halt runtergetaktet und laufen näher am energie/Effizienz sweetspot. Ausserdem darfst kommerziell gar keine RTX Karten fürs Training von AI verwenden. In der alten Firma hatten wir dann zwei a6000 besorgt. Hab aber auch viel mit der 3090er und 4090er trainiert. Die rennt dann halt sauheiss und laut, was eine a6000 dann halt weniger macht.

Bender

don`t jinx it
Avatar
Registered: Apr 2001
Location: Here..
Posts: 4941

Dann zerlegt er unerlaubt einen Rack Einschub. :)
ARM CPU mit 144 Kernen und einer Hopper GPU gleich daneben. 900+GB Datendurchsatz.

Die Margen da sicher deutlich höher als bei schnöden Grafik GPUs.
Vollständige Verwandlung in eine AI Firma wird nicht passieren, aber es ist das neue Kerngeschäft. Zumindest bis zum Platzen der AI Bubble - irgendwann um 2024-2025..

Römi

Hausmeister
Avatar
Registered: Feb 2001
Location: Bez. Tulln
Posts: 5224

Passend dazu (AI).

Bender

don`t jinx it
Avatar
Registered: Apr 2001
Location: Here..
Posts: 4941

Bin gespannt wie lange sich die Blase noch aufpumpen lässt.

DjangOC

Little Overclocker
Registered: Feb 2014
Location: Ostschweiz
Posts: 105
Zitat aus einem Post von Viper780
Ich frage mich eher wie lange es dauert bis die breite Masse sich von CUDA weg bewegt und andere KI Libraries welche auch auf non nvidia laufen stärker Verbreitung finden.

Hab ja mit ner WX9100 mit ihren 16GB HBM nicht unbedingt die schlechteste Karte; aber Stable Diffusion bekomm ich ums verrecken nicht zum laufen.
Quadro P2000 hingegen, obschon eigentlich viel zu wenig Speicher, war mit Downloads ne 20 Min Geschichte.

Da muss noch viel passieren. Vereinzelte haben es ja schon zum laufen gebracht, auch mit WX9100, resp. geflashter Instinct Mi25. Nur ich bin derzeitig halt zu blöd dafür. Ich denke, die breite Masse leider auch. Da müssen wohl paar besonders angefressene Pioniere ihr Werk tun. Aber wenns dann geht, dann darf sich jeder mit AMD freuen.

Zitat aus einem Post von charmin
Hab aber auch viel mit der 3090er

Ich schiele im Moment tatsächlich auf ne gebrauchte 3090. Auf Ricardo gehen die teilweise schon für 580 CHF weg.
Aus mir unerklärlichen Gründen gehen die WX9100 teilweise noch immer für mehr weg.

Was aber halt ätzend ist, dass nVidia bei ihren Consumerkarten die Grafikausgänge verkrüppelt und auf 3 gleichzeitige Anzeigen limitiert.
Früher so: 2 Grafikkarten für SLI.
Heute so: 2 Graffikkarten um alle Monitore zu betreiben...
Bearbeitet von DjangOC am 08.06.2023, 21:21
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz