Machine Learning Rechner

okay, ich hab mir heute früh extra einige Papers rausgesucht, die auf den semantic KITTI benchmark gehen. Und dort haben einige Tesla V100 und einige eine 2080 Ti, 1080, etc.

was für einen support brauch ich da? software support wollen wir keinen, das wird von uns aufgesetzt. Hardware Support -> wenn eine GPU eingeht und die in garantie is, soll die halt ersetzt werden.

Zitat aus einem Post von Garbage

Aufpreis für ECC ist überschaubar und würde ich bei der geplanten Anwendung schon mitnehmen. Setzt aber angesichts der PCIe Leitungen für die Karten und einem evtl zukünftigen Speicherupgrade einen Threadripper Pro oder Xeon mit LGA3647 oder LGA4189 voraus.

Allerdings: Du wirst kein Board in einem Standardformat finden, das 4 Stück 3-Slot Karten ermöglicht. Die ganzen WS Boards sind auf 2-Slot ausgelegt.

Du könntest bei XI-Machines anfragen, die kenn ich und sind sehr kompetent.

ok danke, dann fokussier ich mich auf ECC speicher. Der Aufpreis ist bei dem Gesamtpreis wirklich vernachlässigbar.

und @XI-Machines, danke, mach ich!


edit²: ich mein wenns so echt nicht geht, dann müssen wir halt zuerst eine GPU alleine nehmen. Eine A6000 oder sowas, und dann halt später nachrüsten.

Ich kann dir aus der Krebsforschung berichten, unser deep learning spezialist war ein paarmal auf den Nvidia support angewiesen, weil es Fehler gab die er nicht selbst beheben konnte.

Übrigens das Förderungsprogramm heißt "AIM AT 2030" und man findet auch einen Kontakt im Ministerium. Ich würde es probieren.

Zitat aus einem Post von charmin

und da geht sich eine threadripper workstation mit 2 3090er ohne probleme mit 10k netto aus.

Rechnet's ihr überhaupt auf der CPU? Als ich den letzten Cluster aussuchen durfte kann ich dir nur den Tipp geben die Anwendung aus jeder Perspektive zu benchen... Das Problem und die Anforderung verstehen und vor allem schauen wie es skaliert.

Hab damals nur für CFD, FEM und paar exotische Simulationen geschaut, aber es hat sich gezeigt dass selbst innerhalb einer Domain die requirements arg unterschiedlich sind... Ich kann bei CFD mit 100GB RAM auskommen (HVAC) oder aber voll abkacken (Aerodynamik mit 100 Mio Topologiezellen).

Dann gibt's auch noch die FrageN ob's eher in die Spitze skaliert (MHz) oder die Breite (Kerne), wie oft Großdaten hin und her wandern, wie viele User wann arbeiten und was die machen...

Alles in Summe ****ing Rocket Science Haben uns deswegen nach zwei Jahren Anforderungsprofil und Tests entschieden eine fertige Lösung beim Profi zu kaufen. Also Noob kann man da imho nur verlieren

Ja aber welchen? Wir haben allein zwei Monate mit MHz versus Kerne gebenched, das ist für fünf Plus Software Anwendungen mit anderen spezialisierungen schon recht unterschiedlich.

Also ich würde vor allem Fokus auf die Anwendungstools und Auslastung setzen. Unser selbst gebauter Cluster um 500k war so Scheisze, dass ich viel empfehlen kann was man nicht machen sollte

Genau das war eben auch unsere learnt lesson, daher haben wir selbst nach zwei Jahre Selektion auf einen qualifizierten Vendor gesetzt (CADFEM). Mag aber keine Werbung machen, es gibt sicher andere die dir einen gleich guten number cruncher für Simulation basteln.

IBM hat uns beeindruckt wie zielstrebig sie am Problem vorbei gearbeitet haben Ist halt ne globale AG...

CADFEM ist eher auf CPU number cruncher spezialisiert. Bin gar nicht sicher ob die auch für AI/ML was haben.

Habe mal kurz recherchiert:
https://www.cadnetwork.de/de/produk...2AaAiEnEALw_wcB
https://skystark.net/gpu
https://www.thomas-krenn.com/de/pro...e-learning.html
https://www.ovhcloud.com/de/bare-me...chine-learning/

Kannst dir ja mal Architektur abkupfern. Bin mir aber wirklich nicht sicher ob es sinnvoll ist da selber Hand anzulegen oder besser was zusammenstellen zu lassen was genau auf den Usecase passt. Vielleicht ist GPU Numerik auch viel simpler als CPU Numerik, weil das Parallelisieren viel besser hinhaut. Ich würde aber bei 10k mal das Risiko gegen den Gewinn abwägen, vielleicht hat man kaum was davon wenn man 2k spart und dann das Ergebnis kacke ist

Das klingt wirklich ganz brauchbar

Habt ihr Benchmarks gefunden wie die A6000 versus 30X0 und 20X0 abschneidet bei gängigen ML Applikationen?