Verzeichnis komprimieren: Was bremst??

Bogus

C64 Generation

Registered: Mar 2006
Location: Graz
Posts: 3171

16.02.2015 - 10:45

hi

komprimiere gerade mein thunderbird profil, für ein backup.
das ist lahm bis zum geht nicht mehr. ok....ist recht groß, ABER:

das verzeichnis liegt am fileserver. der bürorechner komprimiert, und muss das wieder gleichzeitig dorthin zurück schreiben.

netzwerkauslastung auf beiden PC's unter 2%
cpu auslastung 7% am filer, 27% am büro pc.

datenträger durchsatz der platte im fileserver ca 3-10 MB/s (summe aller darauf zugreifender prozesse).

warum ist das so lahm, wenn nichts ausgelastet ist...
tipps?

(durchschnittliche geschwindigkeit laut 7zip: 1,6 MB/s)

Master99

verträumter realist

Registered: Jul 2001
Location: vie/grz
Posts: 12753

16.02.2015 - 11:05

ist das ne einzelne platte oder ein raid-verbund?

prinzipiell sind solche vorgänge, also viele kleine dateien die gleichzeitig gelesen und geschrieben werden auf die selbe platte, das worst-case szenario für konventionelle HDDs... gerade wenn sie alleine werkeln oder in einem starren verbund der synchron gehalten werden will (raid1, raid5..)

Spikx

My Little Pwny

Registered: Jan 2002
Location: Scotland
Posts: 13496

16.02.2015 - 11:14

Zitat von Bogus
27% am büro pc.

Auslastung eines Cores oder durchschnittliche Gesamtauslastung aller Cores?

Bogus

C64 Generation

Registered: Mar 2006
Location: Graz
Posts: 3171

16.02.2015 - 11:29

einzelne platte. wd green, 2tb.

auslastung durchschnittlich. kein core auf 100%.

(wow. die zip mit 'ultra' kompression hat 3.2 gb.
ich werd jetzt wirklich mal alles alte auf ner 'archiv platte' lassen, und neu anfangen (müssen).
ich schlepp ja seit mindestens 10-15 jahren noch alte dateien mit.)

Master99

verträumter realist

Registered: Jul 2001
Location: vie/grz
Posts: 12753

16.02.2015 - 11:40

naja ne green ist eben ne gemächliche platte... gerade in diesem szenario helfen mehr RPMs und eine 'dynamischere' arbeitsweise.

3.2GB ausgehend von wieviel unkompr?

@ ultra: zahlt sich imho nur aus wenn man ewig(st) zeit hat. ansonsten ist der zeit/kompressions-ratio der 'schwächeren' varianten imho interessanter.

Spikx

My Little Pwny

Registered: Jan 2002
Location: Scotland
Posts: 13496

16.02.2015 - 12:37

Zitat von Bogus
auslastung durchschnittlich. kein core auf 100%.

Wie viele Cores? 27% bei einem Quad Core währen 100% auf einem Core. Mit welchem Programm komprimierst du? Probier mal 7-zip mit .7z Archiv und 4 Threads.

Bogus

C64 Generation

Registered: Mar 2006
Location: Graz
Posts: 3171

16.02.2015 - 14:44

die green wird die nächsten tage durch ne HGST NAS ersetzt.
(aber heute ist irgendwie 'der falsche tag' um damit anzufangen. baugefühl.....hab keine lust mir daten zu zerschießen weil ich unkonzentriert bin)

unkomprimiert sind es 5,08 GB.

4 cores (amd 5600k). benutze 7-zip mit 4 threads, für ne zip-datei.
ist das 7z-format 'schneller'?

Master99

verträumter realist

Registered: Jul 2001
Location: vie/grz
Posts: 12753

16.02.2015 - 14:52

auf jeden fall komprimierts um einiges besser als klassisches zip-format.

Bogus

C64 Generation

Registered: Mar 2006
Location: Graz
Posts: 3171

16.02.2015 - 15:01

ist etwas besser, jup. allerdings kann ich dabei nur 2 threads einstellen. damit komm ich aber auf 50% cpu last, und durchschnittlich 2,6 MB/s durchsatz laut 7-zip

jetzt is am server aber grad (das mittlerweile extreme nervige) acronisTI angesprungen. ...diese SW geht mir immer mehr auf die nerven.

Bearbeitet von Bogus am 16.02.2015, 15:04

AdRy

Auferstanden

Registered: Oct 2002
Location: Wien
Posts: 5239

16.02.2015 - 15:02

winrar kann multithreading. wie wärs die daten auf den pc zu kopieren und dort lokal zu komprimieren?

Nico

former person of interest

Registered: Sep 2006
Location: -
Posts: 4082

16.02.2015 - 15:03

Die standard kompressionsrate oder schwächere auswählen bringt hier am meisten. Du hast ja eh genug platz nehm ich an.

Bogus

C64 Generation

Registered: Mar 2006
Location: Graz
Posts: 3171

16.02.2015 - 15:06

wegen schwächerer kompression: dann sollte die cpu doch zu 100% ausgelastet sein. (einstellung zip-datei und 4 threads). oder?

hin-und-her kopieren liegt mMn nicht im sinne eines fileservers. immerhin sind die resourcen ja scheinbar nicht ausgereizt.

...der platz ist nicht so das problem. aber das backup werde ich jahrelang mitschleifen, und es wird mehrfach vorhanden sein. da fallen ein paar hundert MB dann doch in's gewicht.

InfiX

she/her

Registered: Mar 2002
Location: Graz
Posts: 14657

16.02.2015 - 15:11

blöde frage... aber wozu 5gb überhaupt komprimieren bei heutigen diskgrößen/preisen?

schafft imho nur unnötige probleme/unsicherheiten.

wir komprimieren zwar im büro auch viele alte rechendaten und sowas, aber das bewegt sich dann im mehrere hundert-gb bereich die eingespart werden.

e: sry hast seh geschrieben, aber ich kann mir trotzdem nicht vorstellen, dass das wirklich ins gewicht fällt.

Bogus

C64 Generation

Registered: Mar 2006
Location: Graz
Posts: 3171

16.02.2015 - 15:30

der eigentliche grund: durch die fehlerhaft verwendete archiv-funktion von thunderbird habe ich mir etliche duplikate erstellt. bevor ist diese mittels add-on löschen lies, wollte ich ein backup haben.
ist also mehr oder weniger zufall, dass diese frage aufgekommen ist.

andererseits lasse ich solche backups meist trotzdem am server; als backup halt.
und am server multipliziert sich die datei dann ein paar mal.

Spikx

My Little Pwny

Registered: Jan 2002
Location: Scotland
Posts: 13496

16.02.2015 - 15:37

Zitat von Bogus
wegen schwächerer kompression: dann sollte die cpu doch zu 100% ausgelastet sein. (einstellung zip-datei und 4 threads). oder?

Es gibt ja noch viel mehr bottle necks. Um herauszufinden, ob überhaupt das Netzwerk oder das NAS der bottle neck ist, einfach die Dateien zuerst mal zu dir kopieren und dann komprimieren lassen.

Ich vermute den bottle neck eher bei deinem PC.

Bogus C64 Generation Registered: Mar 2006 Location: Graz Posts: 3171	16.02.2015 - 10:45 hi komprimiere gerade mein thunderbird profil, für ein backup. das ist lahm bis zum geht nicht mehr. ok....ist recht groß, ABER: das verzeichnis liegt am fileserver. der bürorechner komprimiert, und muss das wieder gleichzeitig dorthin zurück schreiben. netzwerkauslastung auf beiden PC's unter 2% cpu auslastung 7% am filer, 27% am büro pc. datenträger durchsatz der platte im fileserver ca 3-10 MB/s (summe aller darauf zugreifender prozesse). warum ist das so lahm, wenn nichts ausgelastet ist... tipps? (durchschnittliche geschwindigkeit laut 7zip: 1,6 MB/s)
Master99 verträumter realist Registered: Jul 2001 Location: vie/grz Posts: 12753	16.02.2015 - 11:05 ist das ne einzelne platte oder ein raid-verbund? prinzipiell sind solche vorgänge, also viele kleine dateien die gleichzeitig gelesen und geschrieben werden auf die selbe platte, das worst-case szenario für konventionelle HDDs... gerade wenn sie alleine werkeln oder in einem starren verbund der synchron gehalten werden will (raid1, raid5..)
Spikx My Little Pwny Registered: Jan 2002 Location: Scotland Posts: 13496	16.02.2015 - 11:14 Zitat von Bogus 27% am büro pc. Auslastung eines Cores oder durchschnittliche Gesamtauslastung aller Cores?
Bogus C64 Generation Registered: Mar 2006 Location: Graz Posts: 3171	16.02.2015 - 11:29 einzelne platte. wd green, 2tb. auslastung durchschnittlich. kein core auf 100%. (wow. die zip mit 'ultra' kompression hat 3.2 gb. ich werd jetzt wirklich mal alles alte auf ner 'archiv platte' lassen, und neu anfangen (müssen). ich schlepp ja seit mindestens 10-15 jahren noch alte dateien mit.)
Master99 verträumter realist Registered: Jul 2001 Location: vie/grz Posts: 12753	16.02.2015 - 11:40 naja ne green ist eben ne gemächliche platte... gerade in diesem szenario helfen mehr RPMs und eine 'dynamischere' arbeitsweise. 3.2GB ausgehend von wieviel unkompr? @ ultra: zahlt sich imho nur aus wenn man ewig(st) zeit hat. ansonsten ist der zeit/kompressions-ratio der 'schwächeren' varianten imho interessanter.
Spikx My Little Pwny Registered: Jan 2002 Location: Scotland Posts: 13496	16.02.2015 - 12:37 Zitat von Bogus auslastung durchschnittlich. kein core auf 100%. Wie viele Cores? 27% bei einem Quad Core währen 100% auf einem Core. Mit welchem Programm komprimierst du? Probier mal 7-zip mit .7z Archiv und 4 Threads.
Bogus C64 Generation Registered: Mar 2006 Location: Graz Posts: 3171	16.02.2015 - 14:44 die green wird die nächsten tage durch ne HGST NAS ersetzt. (aber heute ist irgendwie 'der falsche tag' um damit anzufangen. baugefühl.....hab keine lust mir daten zu zerschießen weil ich unkonzentriert bin) unkomprimiert sind es 5,08 GB. 4 cores (amd 5600k). benutze 7-zip mit 4 threads, für ne zip-datei. ist das 7z-format 'schneller'?
Master99 verträumter realist Registered: Jul 2001 Location: vie/grz Posts: 12753	16.02.2015 - 14:52 auf jeden fall komprimierts um einiges besser als klassisches zip-format.
Bogus C64 Generation Registered: Mar 2006 Location: Graz Posts: 3171	16.02.2015 - 15:01 ist etwas besser, jup. allerdings kann ich dabei nur 2 threads einstellen. damit komm ich aber auf 50% cpu last, und durchschnittlich 2,6 MB/s durchsatz laut 7-zip jetzt is am server aber grad (das mittlerweile extreme nervige) acronisTI angesprungen. ...diese SW geht mir immer mehr auf die nerven. Bearbeitet von Bogus am 16.02.2015, 15:04
AdRy Auferstanden Registered: Oct 2002 Location: Wien Posts: 5239	16.02.2015 - 15:02 winrar kann multithreading. wie wärs die daten auf den pc zu kopieren und dort lokal zu komprimieren?
Nico former person of interest Registered: Sep 2006 Location: - Posts: 4082	16.02.2015 - 15:03 Die standard kompressionsrate oder schwächere auswählen bringt hier am meisten. Du hast ja eh genug platz nehm ich an.
Bogus C64 Generation Registered: Mar 2006 Location: Graz Posts: 3171	16.02.2015 - 15:06 wegen schwächerer kompression: dann sollte die cpu doch zu 100% ausgelastet sein. (einstellung zip-datei und 4 threads). oder? hin-und-her kopieren liegt mMn nicht im sinne eines fileservers. immerhin sind die resourcen ja scheinbar nicht ausgereizt. ...der platz ist nicht so das problem. aber das backup werde ich jahrelang mitschleifen, und es wird mehrfach vorhanden sein. da fallen ein paar hundert MB dann doch in's gewicht.
InfiX she/her Registered: Mar 2002 Location: Graz Posts: 14657	16.02.2015 - 15:11 blöde frage... aber wozu 5gb überhaupt komprimieren bei heutigen diskgrößen/preisen? schafft imho nur unnötige probleme/unsicherheiten. wir komprimieren zwar im büro auch viele alte rechendaten und sowas, aber das bewegt sich dann im mehrere hundert-gb bereich die eingespart werden. e: sry hast seh geschrieben, aber ich kann mir trotzdem nicht vorstellen, dass das wirklich ins gewicht fällt.
Bogus C64 Generation Registered: Mar 2006 Location: Graz Posts: 3171	16.02.2015 - 15:30 der eigentliche grund: durch die fehlerhaft verwendete archiv-funktion von thunderbird habe ich mir etliche duplikate erstellt. bevor ist diese mittels add-on löschen lies, wollte ich ein backup haben. ist also mehr oder weniger zufall, dass diese frage aufgekommen ist. andererseits lasse ich solche backups meist trotzdem am server; als backup halt. und am server multipliziert sich die datei dann ein paar mal.
Spikx My Little Pwny Registered: Jan 2002 Location: Scotland Posts: 13496	16.02.2015 - 15:37 Zitat von Bogus wegen schwächerer kompression: dann sollte die cpu doch zu 100% ausgelastet sein. (einstellung zip-datei und 4 threads). oder? Es gibt ja noch viel mehr bottle necks. Um herauszufinden, ob überhaupt das Netzwerk oder das NAS der bottle neck ist, einfach die Dateien zuerst mal zu dir kopieren und dann komprimieren lassen. Ich vermute den bottle neck eher bei deinem PC.

Verzeichnis komprimieren: Was bremst??

Forum Index > Hardware > Systeme > Desktops

Bogus

Master99

Spikx

Bogus

Master99

Spikx

Bogus

Master99

Bogus

AdRy

Nico

Bogus

InfiX

Bogus

Spikx