Projekt gestartet : 32 Node Cluster SKYNET

dio

Here to stay

Registered: Nov 2002
Location: Graz
Posts: 4991

20.02.2004 - 22:19

Zitat von xdfk
https://cluster.tu-graz.ac.at/
hier ein cluster der tu graz is aber schon alt. und geld fuer einen neuen haben die momentan sicher nicht

ich würd für den cluster "töten"

vo wegn alt

Gary

CPU Fetischist

Registered: Apr 2000
Location: Linz / Freistadt
Posts: 1446

20.02.2004 - 23:14

@ BiOs Spitzenlinks, danke

Das Clusterknoppix schaut mich eh schon gut an *g* Ein Masterrechner mit OS und GUI und alles anderen integrieren sich von selbst

Angenommen ich bau so einen und sag 24 Nodes sind max - ist dann der Masterrechner einer von den 24 Rechnern oder ein 25ster ? Das habe ich ned herauslesen können

greetz

Gary

Viper780

Elder
Er ist tot, Jim!

Registered: Mar 2001
Location: Wien
Posts: 51658

21.02.2004 - 08:51

is ein 25igster der meist auch a bessere hardware a gscheite anbindung und vorallem vü ram hat.

Gary

CPU Fetischist

Registered: Apr 2000
Location: Linz / Freistadt
Posts: 1446

21.02.2004 - 14:39

Soda es ist fix - ich werde den Cluster bauen - als Projektzeit habe ich mir 6 Monate vorgenommen - in der Zeit werden nach und nach weitere Nodes implementiert - OS wird Clusterknoppix basierend auf Debian Linux - der Masterrechner wird mein Dual werden den ich noch mit sehr schnellen SCSI Platten ausstatten werde - Der Dual wir zusätzlich in das Gehäuse integriert und über Gbit mit den Nodes verbunden.
Mir ist klar das ich nur parallelisierbare Aufgaben über den Cluster abwickeln kann, aber da gibts ja auch einige nette Dinge.

Jetzt muss ich nur noch schaun welche Hardware über 6 Monate lang verfügbar sein wird, damit ich die gleichen Komponenten verwenden kann. Weil alle 24 Nodes kann ich mir nicht auf einmal leisten (2 - 4 pro Monat müssten sich jedoch ausgehen)
Es wird in diesem Thread immer wieder mal Pics vom aktuellen Status geben.

1. Aufbaustufe

3 x 550 Watt Netzteile oder Netzteil aus einem Grossrechner (muss ich noch schaun)
Bau des Gehäuses für Master und 24 Nodes (inkl. Verkabelung)
Einbau und Konfiguration der ersten 4 Nodes
Switch wird ein Superstack II 3300 von 3com (24 Port) sein den ich noch einen Gbit Port spendieren werde

greetz

Gary

PS: Falls sich wer an diesem aussergewöhnlichen Projekt beteiligen will braucht er mir nur die Teile eines Nodes schicken - bestehend aus Mobo, Ram und Prozessor

PSS: Ich werde sämtliche Prozessoren wasserkühlen - mal schaun ob ich einen Sponsor für die Kühler finde

http://www.linuxwiki.de/ClusterKnoppix

Bearbeitet von Gary am 22.02.2004, 00:45

Viper780

Elder
Er ist tot, Jim!

Registered: Mar 2001
Location: Wien
Posts: 51658

23.02.2004 - 18:26

hm.... nett aber glaubst dast mit 100MBit Lan was reisst?
i befürcht fast das do der transfer a zu grosse latenz hat (ok ma kan jo eh nachträgöich aufrüsten.

hast schon ideen was drauf laufen wird?
warum kaufst dir kein Asus oder MSI mainboard? kosten ca. des selbe udn sollten merh leistung haben (und vorallem besseren support) oder des shuttel is sogar µATX

spunz

Elder
Elder

Registered: Aug 2000
Location: achse des bösen
Posts: 11450

23.02.2004 - 22:20

lan sehe ich garnicht so als problem, wie willst du 8-10mb/sec verarbeiten? soviele daten mußt du mal haben, bzw wohin speichern wenn keine platte im system steckt?

dio

Here to stay

Registered: Nov 2002
Location: Graz
Posts: 4991

23.02.2004 - 22:22

vielleicht hab ich was überlesen aber wärs ned gscheiter a xp1800+ anzuschaffen? da duron hat ja "nur" 192 kbyte l2, da athlon immerhin 256

xdfk

pädagogisch wertvoll

Registered: Sep 2000
Location: Graz
Posts: 6441

23.02.2004 - 23:15

Zitat von diokletian
ich würd für den cluster "töten" vo wegn alt

okok die scsi platten bzw das storage array waer schon was feines

1 TB scsi storage

Gary

CPU Fetischist

Registered: Apr 2000
Location: Linz / Freistadt
Posts: 1446

24.02.2004 - 01:43

So, ich spiele mich jetzt schon seit 2 Tagen mitn Dual (

Spunz da sind die Platten drinnen - alles andere passiert über network) und 2 Nodes die ich auch erfolgreich einbinden konnte.
Knoppix war für den Anfang zwar gut zum testen aber jetzt kommt ne gscheite Distri drauf

@diokletian der Preis spielt hier a Rolle

sonst könnte ich lauter 2400er auch verbauen - aber 24 Stück

Ausserdem kriegt ma die 1800er Duron sicher länger als die XPs.

Einen Node (Mobo,Ram,CPU) zum Testen (PXE Lan Boot) habe ich bereits bei Peluga bestellt.

Ich gebe mir selber noch ne Woche Zeit um die Linux Version auszuwählen und werde das Ganze dann mit 3 unterschiedlichen Nodes ausgiebig testen.

Und dann beginnt der eigentliche Bau des Cluster

Screenshots, falls Ihr welche sehen wollt, wirds am WE geben.

greetz

Gary

btw. Komponentenupdate auf Seite 1

Bearbeitet von Gary am 24.02.2004, 01:49

theone

Banned by Moderators

Registered: Feb 2004
Location: vienna
Posts: 297

24.02.2004 - 02:39

3 Fragen

1.) Wieviel wird alles kosten im Endausbau?
2.) Was willst du drauf rechnen lassen?
3.) Bist reich?

stylist

OC Addicted

Registered: Sep 2002
Location: Germany
Posts: 1035

24.02.2004 - 03:07

Zitat von theone
3 Fragen

1.) Wieviel wird alles kosten im Endausbau?
2.) Was willst du drauf rechnen lassen?
3.) Bist reich?

4.) Hast Du zuviel Zeit?

theone

Banned by Moderators

Registered: Feb 2004
Location: vienna
Posts: 297

24.02.2004 - 03:40

Zitat von stylist
4.) Hast Du zuviel Zeit?

Anscheinend soviel wie du.

TOM

Legend
Oldschool OC.at'ler

Registered: Nov 2000
Location: Vienna
Posts: 7509

24.02.2004 - 06:41

also du willst jetzt alle cpus mit wak kühlen.... wie wird das ablaufen ? merere Rechner in einem Kreislauf, jeder Rechner einen eigenen Kreislauf ? (teuer) Welche Radiatore ?

imho wäre das Luft (auch von der Wartung her) die praktischere Methode oder.... ?

Gary

CPU Fetischist

Registered: Apr 2000
Location: Linz / Freistadt
Posts: 1446

01.03.2004 - 01:50

Huhu,

soda mal ein kleiner Zwischenbericht von mir

Nach einigen Fehlversuchen, die mich einige Tage in Atem gehalten haben, habe ich es endlich geschafft den (noch) Minicluster in Betrieb zu nehmen. Die Hardwareunterstützung seitens Debian / Redhat 8.0 ist erstaunlich gut.
Als erstes probierte ich Clusterknoppix in der neuesten Version. Aber ich wurde schnell wieder auf den Boden der Tatsachen zurückgeholt, als ich bereits beim Kopieren der Daten von CD auf Festplatte Probleme hatte. Egal mit welchem Dateisystem ext2,ext3,reiserFS,XFS - die Installation stürtzte immer ab. Nach 3 Tagen Herumprobieren (Bios, andere Festplatten usw.) gab ich dann auf.
Mein zweiter Versuch war eine komplett neue Redhat 8.0 Installation inklusive Neukompilieren des Kernels mit dem openmosix Kern. Eigentlich hätte alles super geklappt, wäre da nicht der Boot übers Netzwerk mit PXELinux. Das wollte einfach nicht funktionieren

Also wieder zurück zu Clusterknoppix mit dem ich ja jetzt bereits einige Erfahrung sammeln konnte. Diesmal kam aber eine ältere Version in meinen DLManager (November 2003)
Und siehe da - die Installation funktionierte

Nach etlichen Konfigurationsversuchen mit meinen 3 Netzwerkschnittstellen eth0,eth1 und eth2 fand ich nun die richtige Konfiguration das der Master den Nodes brav den DHCP anbietet und zugleich auf dem Master der ja unter KDE läuft das Internet funkt.

Hier ein Screenshot mit 2 Nodes auf die brav Prozesse migriert werden:

Beschreibung: Habe den Master noch mit einigen Schleifen befeuert, weil RC5 nicht auf die Nodes migrieren will (maybe falscher Client)

Aber das heisst für mich, das sich mein Projekt nicht im Sand verlaufen wird

2 weitere Nodes sind schon geordert.

Das Asrock K7VM4 (Node 249) bietet neben der Onboard VGA Karte noch Via RhineII Onboard Lan das brav von Openmosix unterstützt wird. 247 MB Speicher wegen den 8 MB (minimum) shared VGA Memory.

Soda und jetzt kann mit dem Bau des Gehäuses für 24 Nodes begonnen werden

Ich werde euch auf dem Laufenden halten.

greetz

Gary

dio

Here to stay

Registered: Nov 2002
Location: Graz
Posts: 4991

01.03.2004 - 06:13

echt nurmehr geil
thumbs up

dio Here to stay Registered: Nov 2002 Location: Graz Posts: 4991	20.02.2004 - 22:19 Zitat von xdfk https://cluster.tu-graz.ac.at/ hier ein cluster der tu graz is aber schon alt. und geld fuer einen neuen haben die momentan sicher nicht ich würd für den cluster "töten" vo wegn alt
Gary CPU Fetischist Registered: Apr 2000 Location: Linz / Freistadt Posts: 1446	20.02.2004 - 23:14 @ BiOs Spitzenlinks, danke Das Clusterknoppix schaut mich eh schon gut an g Ein Masterrechner mit OS und GUI und alles anderen integrieren sich von selbst Angenommen ich bau so einen und sag 24 Nodes sind max - ist dann der Masterrechner einer von den 24 Rechnern oder ein 25ster ? Das habe ich ned herauslesen können greetz Gary
Viper780 Elder Er ist tot, Jim! Registered: Mar 2001 Location: Wien Posts: 51658	21.02.2004 - 08:51 is ein 25igster der meist auch a bessere hardware a gscheite anbindung und vorallem vü ram hat.
Gary CPU Fetischist Registered: Apr 2000 Location: Linz / Freistadt Posts: 1446	21.02.2004 - 14:39 Soda es ist fix - ich werde den Cluster bauen - als Projektzeit habe ich mir 6 Monate vorgenommen - in der Zeit werden nach und nach weitere Nodes implementiert - OS wird Clusterknoppix basierend auf Debian Linux - der Masterrechner wird mein Dual werden den ich noch mit sehr schnellen SCSI Platten ausstatten werde - Der Dual wir zusätzlich in das Gehäuse integriert und über Gbit mit den Nodes verbunden. Mir ist klar das ich nur parallelisierbare Aufgaben über den Cluster abwickeln kann, aber da gibts ja auch einige nette Dinge. Jetzt muss ich nur noch schaun welche Hardware über 6 Monate lang verfügbar sein wird, damit ich die gleichen Komponenten verwenden kann. Weil alle 24 Nodes kann ich mir nicht auf einmal leisten (2 - 4 pro Monat müssten sich jedoch ausgehen) Es wird in diesem Thread immer wieder mal Pics vom aktuellen Status geben. 1. Aufbaustufe 3 x 550 Watt Netzteile oder Netzteil aus einem Grossrechner (muss ich noch schaun) Bau des Gehäuses für Master und 24 Nodes (inkl. Verkabelung) Einbau und Konfiguration der ersten 4 Nodes Switch wird ein Superstack II 3300 von 3com (24 Port) sein den ich noch einen Gbit Port spendieren werde greetz Gary PS: Falls sich wer an diesem aussergewöhnlichen Projekt beteiligen will braucht er mir nur die Teile eines Nodes schicken - bestehend aus Mobo, Ram und Prozessor PSS: Ich werde sämtliche Prozessoren wasserkühlen - mal schaun ob ich einen Sponsor für die Kühler finde http://www.linuxwiki.de/ClusterKnoppix Bearbeitet von Gary am 22.02.2004, 00:45
Viper780 Elder Er ist tot, Jim! Registered: Mar 2001 Location: Wien Posts: 51658	23.02.2004 - 18:26 hm.... nett aber glaubst dast mit 100MBit Lan was reisst? i befürcht fast das do der transfer a zu grosse latenz hat (ok ma kan jo eh nachträgöich aufrüsten. hast schon ideen was drauf laufen wird? warum kaufst dir kein Asus oder MSI mainboard? kosten ca. des selbe udn sollten merh leistung haben (und vorallem besseren support) oder des shuttel is sogar µATX
spunz Elder Elder Registered: Aug 2000 Location: achse des bösen Posts: 11450	23.02.2004 - 22:20 lan sehe ich garnicht so als problem, wie willst du 8-10mb/sec verarbeiten? soviele daten mußt du mal haben, bzw wohin speichern wenn keine platte im system steckt?
dio Here to stay Registered: Nov 2002 Location: Graz Posts: 4991	23.02.2004 - 22:22 vielleicht hab ich was überlesen aber wärs ned gscheiter a xp1800+ anzuschaffen? da duron hat ja "nur" 192 kbyte l2, da athlon immerhin 256
xdfk pädagogisch wertvoll Registered: Sep 2000 Location: Graz Posts: 6441	23.02.2004 - 23:15 Zitat von diokletian ich würd für den cluster "töten" vo wegn alt okok die scsi platten bzw das storage array waer schon was feines 1 TB scsi storage
Gary CPU Fetischist Registered: Apr 2000 Location: Linz / Freistadt Posts: 1446	24.02.2004 - 01:43 So, ich spiele mich jetzt schon seit 2 Tagen mitn Dual ( Spunz da sind die Platten drinnen - alles andere passiert über network) und 2 Nodes die ich auch erfolgreich einbinden konnte. Knoppix war für den Anfang zwar gut zum testen aber jetzt kommt ne gscheite Distri drauf @diokletian der Preis spielt hier a Rolle sonst könnte ich lauter 2400er auch verbauen - aber 24 Stück Ausserdem kriegt ma die 1800er Duron sicher länger als die XPs. Einen Node (Mobo,Ram,CPU) zum Testen (PXE Lan Boot) habe ich bereits bei Peluga bestellt. Ich gebe mir selber noch ne Woche Zeit um die Linux Version auszuwählen und werde das Ganze dann mit 3 unterschiedlichen Nodes ausgiebig testen. Und dann beginnt der eigentliche Bau des Cluster Screenshots, falls Ihr welche sehen wollt, wirds am WE geben. greetz Gary btw. Komponentenupdate auf Seite 1 Bearbeitet von Gary am 24.02.2004, 01:49
theone Banned by Moderators Registered: Feb 2004 Location: vienna Posts: 297	24.02.2004 - 02:39 3 Fragen 1.) Wieviel wird alles kosten im Endausbau? 2.) Was willst du drauf rechnen lassen? 3.) Bist reich?
stylist OC Addicted Registered: Sep 2002 Location: Germany Posts: 1035	24.02.2004 - 03:07 Zitat von theone 3 Fragen 1.) Wieviel wird alles kosten im Endausbau? 2.) Was willst du drauf rechnen lassen? 3.) Bist reich? 4.) Hast Du zuviel Zeit?
theone Banned by Moderators Registered: Feb 2004 Location: vienna Posts: 297	24.02.2004 - 03:40 Zitat von stylist 4.) Hast Du zuviel Zeit? Anscheinend soviel wie du.
TOM Legend Oldschool OC.at'ler Registered: Nov 2000 Location: Vienna Posts: 7509	24.02.2004 - 06:41 also du willst jetzt alle cpus mit wak kühlen.... wie wird das ablaufen ? merere Rechner in einem Kreislauf, jeder Rechner einen eigenen Kreislauf ? (teuer) Welche Radiatore ? imho wäre das Luft (auch von der Wartung her) die praktischere Methode oder.... ?
Gary CPU Fetischist Registered: Apr 2000 Location: Linz / Freistadt Posts: 1446	01.03.2004 - 01:50 Huhu, soda mal ein kleiner Zwischenbericht von mir Nach einigen Fehlversuchen, die mich einige Tage in Atem gehalten haben, habe ich es endlich geschafft den (noch) Minicluster in Betrieb zu nehmen. Die Hardwareunterstützung seitens Debian / Redhat 8.0 ist erstaunlich gut. Als erstes probierte ich Clusterknoppix in der neuesten Version. Aber ich wurde schnell wieder auf den Boden der Tatsachen zurückgeholt, als ich bereits beim Kopieren der Daten von CD auf Festplatte Probleme hatte. Egal mit welchem Dateisystem ext2,ext3,reiserFS,XFS - die Installation stürtzte immer ab. Nach 3 Tagen Herumprobieren (Bios, andere Festplatten usw.) gab ich dann auf. Mein zweiter Versuch war eine komplett neue Redhat 8.0 Installation inklusive Neukompilieren des Kernels mit dem openmosix Kern. Eigentlich hätte alles super geklappt, wäre da nicht der Boot übers Netzwerk mit PXELinux. Das wollte einfach nicht funktionieren Also wieder zurück zu Clusterknoppix mit dem ich ja jetzt bereits einige Erfahrung sammeln konnte. Diesmal kam aber eine ältere Version in meinen DLManager (November 2003) Und siehe da - die Installation funktionierte Nach etlichen Konfigurationsversuchen mit meinen 3 Netzwerkschnittstellen eth0,eth1 und eth2 fand ich nun die richtige Konfiguration das der Master den Nodes brav den DHCP anbietet und zugleich auf dem Master der ja unter KDE läuft das Internet funkt. Hier ein Screenshot mit 2 Nodes auf die brav Prozesse migriert werden: Beschreibung: Habe den Master noch mit einigen Schleifen befeuert, weil RC5 nicht auf die Nodes migrieren will (maybe falscher Client) Aber das heisst für mich, das sich mein Projekt nicht im Sand verlaufen wird 2 weitere Nodes sind schon geordert. Das Asrock K7VM4 (Node 249) bietet neben der Onboard VGA Karte noch Via RhineII Onboard Lan das brav von Openmosix unterstützt wird. 247 MB Speicher wegen den 8 MB (minimum) shared VGA Memory. Soda und jetzt kann mit dem Bau des Gehäuses für 24 Nodes begonnen werden Ich werde euch auf dem Laufenden halten. greetz Gary
dio Here to stay Registered: Nov 2002 Location: Graz Posts: 4991	01.03.2004 - 06:13 echt nurmehr geil thumbs up

Projekt gestartet : 32 Node Cluster SKYNET

Forum Index > Hardware > Peripherie > Sonstige Peripherie

dio

Gary

Viper780

Gary

Viper780

spunz

dio

xdfk

Gary

theone

stylist

theone

TOM

Gary

dio