Machine Learning Rechner

Willst du wirklich da was selbst schrauben?
Das Teil wird so und anders nicht leise werden - würde da auf ein Fancy Gehäuse und Noctua Lüfter eher verzichten.

CPU ist halt nicht mehr Taufrisch - kommts dir mehr auf Multicore oder Singlecore drauf an?

Du wirst bei größeren Hersteller sowas eher mit Epyc oder Xeon CPU finden.
Persönlich würd ich wohl auf eine Threadripper Plattform gehen.

Aber im Grunde wirst du wohl zu euren Hardware Partner pilgern und ihm sagen du brauchst was mit vielen Cores und Platz für 4x RTX3090
Der reibt sich die Hände und wird dir genau eine Option anbieten können.

Cloud Computing is Schweineteuer und hat noch andere Nachteile. Wir wollen jetzt weg davon.

Nvidia A10 oder A6000 haben wir auch im Auge. Kostet halt das doppelte und ist damit ausserhalb unserer Range.
Ganz zu schweigen von Tesla v100....

A5000 geht vom Preis her, aber is halt um ein Drittel langsamer als ne 3090 bei gleichem Preis.

@Viper780. Wir würden eh zum lorentschitsch gehen und das dort planen und bauen lassen. Mir geht's Mal nur um den ungefähren Preis und was möglich ist.

Der bunte RGB Speicher is mir wurscht, das war einfach nur der billigste.

Keine Ahnung ob der lorentschitsch was gebrauchtes auch hat.

Ich möcht einfach nur wissen was ich ungefähr nehmen kann. Aber gut, dann werd ich mirein Angebot erstellen lassen, hab gedacht ich kann's vorher einfach abschätzen.

Aber bevor wir eine a6000 nehmen kaufen wir gar keinen Rechner. Budget ist nunmal unter 10k€, 24 GB VRAM is ein muss, sonst muss ich die batchsize so runternudeln und das Training dauert ewig weilst ständig den Gradienten berechnen musst.

Zitat aus einem Post von mr.nice.

Imho irgendeine Förderung abstauben und eine DGX Station holen. Der große Sprung macht sich bei 4 GPUs bemerkbar und da können dann längere Zeit mehrere Leute davon profitieren.

welche förderungen gibts da?
und DGX, sind die nicht völlig über unserem budget von 10k ?

Genau ja, Forschungsunternehmen in Salzburg.

Naja das Ding ist halt, dass wir eigentlich jetzt was eigenes wollen und nicht mehr irgendwo einmieten. Derzeit haben wir einen Cloud dienst und der kostet dementsprechend und wennst dann ewig lang Point Clouds rüberschieben kannst, dann macht das einfach keinen Spaß.
Und davon werden wir in nächster Zeit sehr sehr viel machen und davon immer wieder neue Daten.

Die FH hat sich einen recht netten 30K Rechner gekauft, aber dort isses dasselbe wie auf der Uni in Salzburg. Wird nicht geteilt, da ausgelastet und auch Masterarbeiten drauf laufen.

Aber nochmal, wir suchen einfach was günstigeres und endlich was eigenes:

Die hier bietens ja auch an:

https://lambdalabs.com/gpu-workstat...ector/customize

und da geht sich eine threadripper workstation mit 2 3090er ohne probleme mit 10k netto aus.

Glaubts mas, ich hätt auch gerne nen ordentlichen cluster

Zitat aus einem Post von Rogaahl

Ich würde auch unbedingt ECC nehmen für sowas. Gab da einen guten post von Linus diesbezüglich. iirc hat man nach 24h eine 95% Chance auf einen bit flip bei 16GB befüllten RAM, wegen kosmische Strahlung. Ich glaube nicht das ihr solche Fehler in euren Modellen haben wollt, vor allem wenn man bedenkt das die sets oft über Jahre und Generationen weitergeführt wird.

Hab ich mir auch schon überlegt, aber was kann passieren?
Die Verbindungen zwischen den Neuronen werden für eine Berechnung im Batch falsch berechnet und der Fehler wandert kurz in eine Falsche Richtung, nur damit er beim nächsten Batch wieder in die richtige wandert.

Aber reine Mutmaßung und richtig auskennen tu ich mich auch nicht mit ECC RAm. kost ECC überhaupt soviel mehr?