"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

Photo-/Videobearbeitung: Datenplatten als RAID10 oder Intel Smart Storage Caching

downhillschrott 21.06.2011 - 11:37 1821 10
Posts

Valera

Here to stay
Registered: Dec 2005
Location: Mint
Posts: 683
Hallo,

für Photo- und Videobearbeitung schaffe ich mir einen neuen PC an.
Intel i5-2500K + Z68 Board, 16GB RAM und System (Windoof 7 64 Bit + Programme) auf einer 120GB Intel SSD320.

Die Daten sollen auf einem zweiten "Laufwerk" liegen. (Backup auf NAS im Hintergrund also Datensicherung ist kein Thema)

Jetzt meine Fragen zu diesem zweiten Laufwerk (Gesamtgröße ca 2TB):

1) Macht es mehr Sinn (Geschwindigkeit) ein RAID10 aus zB 4Stk Samsung F3 1TB zu bauen, oder eine 2TB Platte zu nehmen und mit dem intel Smart Storage und einer SSD zu beschleunigen? (Stromverbrauch, Geräusch und Anschaffungskosten wären geringer als ein RAID10)

2) Wenn es eurer geschätzten Meinung nach ;) mit Intel Smart Storage sinnvoller ist (zB "gleich" schnell wie RAID10), kann man dazu einen Bereich der System SSD abzwacken (dann evtl größere System SSD), oder muß man dafür eine eigene SSD installieren? Konnte in den Intel Infos darüber nix finden. :confused:

Skatan

peace among worlds!
Avatar
Registered: Feb 2004
Location: Trieben
Posts: 4231
wieso willst du überhaupt ein raid10 wenn du eh ein nas als backup hast?
ich würd mir da 2 platten sparen und ein raid 0 machen.

mit dem anderen thema hab ich leider keine erfahrung

userohnenamen

leider kein name
Avatar
Registered: Feb 2004
Location: -
Posts: 15844
Raid10 wird dir keine Geschwindigkeit bringen, von daher für diesen einsatz eher sinnbefreit
würde da auch ein raid0 vorschlagen mit schnellen platten (am besten mit zwei velociraptoren)

tinker

SQUEAK
Avatar
Registered: Nov 2005
Location: NÖ
Posts: 5200
Zitat von userohnenamen
Raid10 wird dir keine Geschwindigkeit bringen, von daher für diesen einsatz eher sinnbefreit
naja, das 1er-raid bringt ja afaik sowieso keine geschwindigkeit und ist nur zwecks sicherheit da. oder bremst es das 0er? wär irgendwie unlogisch

aber wie skatan schon gesagt hat, würd ich mir aufgrund des nas-backups auch zwei platten sparen...

Valera

Here to stay
Registered: Dec 2005
Location: Mint
Posts: 683
ad RAID 0 vs 10:

1) Sparen: Also ob ich 90€ oder 180€ für die Platten ausgebe ist echt irrelevant.
2) Geschwindigkeit: Soweit ich informiert bin, spannt ein RAID10 ein RAID0 über zwei RAID1. Lesend bin ich daher auf jeden Fall um einiges schneller als eine Einzelplatte und gleich schnell wie RAID0. Schreiben bin ich vermutlich langsamer als ein reines RAID0 aber sicher schneller als eine Einzelplatte.
3) Backup: Naja, nur weil ich ein Backup mache, muß ich nicht einen Harakirimode mit den Daten fahren. System wäre was anderes, aber wenn ich ZB ein Video 10 Stunden lang bearbeite und dann fällt eine Platte aus.. so viel Zeit kann mir ein RAID0 gegenüber einem RAID10 selbst über 2 Jahre Betrieb glaube ich nicht sparen.

ad Velociraptor: So schnell sind die nicht (mehr). Eine schnelle 2TB Platte leistet bei Lesen/Schreiben fast das gleiche. Mulituserumgebung - wo kurze Zugriffszeiten wichtig sind - habe ich keine.
Also insoferne wäre es eine Überlegung wert, nicht 1TB sondern 2TB Platten zu nehmen, auch wenn der Platz nicht benötigt wird.

whitegrey

Wirtschaftsflüchtling
Avatar
Registered: Dec 2000
Location: 95% Wien 5% Linz
Posts: 7302
Ich kann dir nur sagen was im Video-Bereich "gängig" ist;

RAID 0 (günstigste "interne" Lösung)
RAID 5 (insgesamt am gängigsten)
RAID 6 (wenn Laufzeit-Schutz wichtig ist)

RAID 1 wird eigentlich nur bei externen Platten rein für die erste Kopie vom Rohmaterial verwendet (ist natürlich schwer Workflow-abhängig). Intern fährt das eigentlich keiner - RAID 10 genauso. Mir wäre da nichts bekannt...

Weil du RAID 0 so bekrittelst mal ein Einwand;
Das kompensiert man normalerweise ganz locker über den Workflow -> auf dem RAID (0/1/5/10... whatever) liegt normalerweise _nur_ das Videomaterial im nativen Schnittcodec sowie die Render Caches/Temp-Ordner. Der Projektordner mit der Projektdatei/Schnittliste kommt auf die schnellste Platte - in dem Fall wohl die SSD. Und jetzt kommt der Trick; den Autosave vom Schnittprogramm legt man so an, dass er auf einer anderen Platte liegt als die Projektdatei/Schnittliste (sollte jedes anständige Schnittprogramm beherrschen - wobei ich nur mit FCP arbeite und die anderen Programme zu wenig kenne). Somit hat man eine gute Voraussetzung, dass man die Arbeit nicht "verliert" selbst wenn das RAID ausfällt oder nur ein RAID 0 ist. Zusätzlich 1x täglich am Ende der Arbeit ein Backup der Schnittliste auf's NAS und man hat 3 Kopien, dann kann der komplette Rechner flöten gehen und es macht nicht viel. Das Rohmaterial bzw. je nachdem wie man arbeitet transkodierte Material muss sowieso völlig unabhängig vom Projekt gesichert sein (ganz wichtig! Und eher nicht auf HDDs) - schon vor dem Schnitt oder nach dem Ingest/Import.

Überleg dir die generelle Arbeitsweise und den Backup-Plan noch mal... welchen RAID-Level hat das NAS und wie archivierst du das Rohmaterial?

edit: das gilt nur für den Videoschnitt-part -> Fotoverwaltung ist wohl wieder ein eigenes Thema - da bin ich kein Experte...
Bearbeitet von whitegrey am 21.06.2011, 14:21

Valera

Here to stay
Registered: Dec 2005
Location: Mint
Posts: 683
Das ist ein sehr guter Einwand.

Demzufolge wäre es sinnvoll, die Projekt-/Schnittdaten auf die System SSD zu geben (sollte Performancemäßig kein Problem sein) da diese meist verglichen mit den Rohdaten eher klein sind. (Ich muß aus diesem veralteten HDD Laufwerksdenken raus wo alles physisch auf getrennten Laufwerken landen sollte)

Die Rohdaten und gerenderten Daten dann auf ein RAID(whatever).

Weil du nach Backup gefragt hast:
Sämtliche Daten (Rohdaten/Schnitt/Rendering) wandern dann projektbezogen auf das NAS. Das NAS fährt RAID5 und dessen Ordner werden selber wiederum auf große Einzelplatten (2-3TB) gesichert.
Eine andere Alternative als HDDs gibt es imho nicht. Optische Laufwerke sind zu klein. Oder man sichert projektbezogen auf Blue-Rays, aber wenn ich zurückblicke, dann sind sämtliche Daten die ich immer wieder von HDDs umkopiert habe (teilweise 20 Jahre alt) noch vorhanden. Ältere CDs sind nicht mehr lesbar.

Für das Rohmaterial (gesamt) ist derzeit eigentlich nur am NAS genügend Platz. Somit ist deine Anregung darüber mal nachzudenken sinnvoll. Denn die Rohdaten als Kopie in der Gesamtheit auf dem PC zu lassen macht durchaus Sinn (man erspart sich das umkopieren). Das spräche aber dann für große Platten am Arbeits-PC.
Aber auch wiederum für ein "sichereres" RAID. Bei einer kleinen Anzahl an Platten ist RAID10 halt schneller als RAID5.

Nur weil es nicht so üblich ist, heißt es nicht, dass mans nicht machen soll. Verglichen mit farbkalibrierten Monitor, CPU etc sind die Mehrkosten für 2 zusätzliche Platten doch eher im "ferner liefen" Bereich und soferne es nicht andere Nachteile gibt sehe ich da keinen Grund es nciht zu machen? :confused:

Ich kanns nur aus meinen Erfahrungen aus dem Serverbereich sagen: Ein RAID10 mit 4 SAS 10k Platten war schneller als ein RAID5 mit den gleichen aber 7 SAS 10k Platten. (Echte Hardware Raidcontroller mit 4-Kern Xeon in SQL Datenbank und Fileserveranwendung.)

Zu Photo:
Ist im Vergleich zu Video zu vernachlässigen. Die RAW Files haben derzeit ~15MB die jpgs ~4MB. Pro Projekt sind das ca. 1-3GB Daten. Das ist im Vergleich zu Video nicht viel. Die Verwaltung erfolgt ohne Datenbank. Ich hab damit schlechte Erfahrungen mit der Kompatibilität, Systemwechsel und Update. Daher erfolgt das mit "Bordmitteln" (Ordnerstruktur, Schlagworte) sowie den EXIF Tags. Auf längere Sicht komme ich um eine Datenbank wohl nicht herum, aber ich habe da bis jetzt kein System gefunden dem ich eine Zukunft über die nächsten 3 Jahre hinaus gebe.

Zu der WD VR: Die ist außerdem viel zu teuer. Wenn ich wirklich schnelle Platten will, dann gleich eine Seagte Cheetah 15k. Die ist schneller, zuverlässiger und kosten auch nicht mehr viel mehr. SAS Controller müßte man dann halt vorsehen. Aber das wird mir, egal ob SATA oder SAS, zu laut.

whitegrey

Wirtschaftsflüchtling
Avatar
Registered: Dec 2000
Location: 95% Wien 5% Linz
Posts: 7302
Gut, du scheinst das Grundprinzip zu verstehen - mehr als diesen Denkanstoss zu geben wollte ich nicht :)

Jep - die Projektdatei selbst ist selten mehr als ein paar 100 Mb gross - oder besser gesagt; sie sollte es nicht sein... Und eine echte Schnittliste (EDL/XML) hat ein paar 100 Kb -> und das ist eigentlich eine komplett eigenständige Sicherung vom Schnitt. Damit kann man den Schnitt jederzeit wiederbeleben zusammen mit dem Rohmaterial/Video-Scratch (meistens gibt es sogar ne eigene Relink-Funktion wo man nicht mal auf die Ordnerstruktur achten muss - wobei Ordnung immer gut ist). Also das extern auf eine andere physische Platte gesichert - was theoretisch auch Autosave im 10-Minuten Takt erledigen kann - ist die halbe Miete.

Heisst natürlich nicht, dass das jetzt überall so gemacht werden muss... genau darum geht es beim Entwickeln eines Workflows; sich mal Gedanken darüber machen und sich dann eine praktische Lösung mit der Hardware und Software die man zur Verfügung hat erarbeiten... oft tauchen dann erst in der Praxis Stolperfallen auf die in der Theorie gar nicht ersichtlich waren. Sowas wird dann normalerweise laufend optimiert und angepasst bis es nahezu perfekt ist (kann mitunter Jahre dauern :D).

Und sorry für mein theoretisches Bla-Bla, ich kenne da keine Details - weder Softwarepaket noch Kamera noch Qualitätsansprüche und Endformate... im Home-Sektor muss man aber selten sendefähiges Material produzieren, da ist das alles halb so wild...

Zum eigentlichen Thema; Ich kenne RAID 10 einfach zu wenig um konkrete Aussagen zu treffen - mit RAID 5 hatte ich bisher selten Probleme... zumindest privat - in der Firma ist uns schon ein FC RAID 5 komplett flöten gegangen aber das ist unter die Kategorie sskm gefallen -> die Warnmeldungen waren nicht ordentlich konfiguriert und keiner hat mitbekommen, dass eine Platte degraded war bis es die zweite erwischt hat -> und da war es schon zu spät. In einer Firma hat man natürlich zusätzlich DLTs somit hat uns das nur einiges an Zeit gekostet aber nicht das Genick gebrochen :)

Zu den Platten-Geschwindigkeiten für Videoschnitt;
Da müsste man jetzt wissen mit welchem Codec, in welcher Auflösung und auf wie vielen Spuren geschnitten wird - für FullHD braucht man aber sicher kein SAS RAID. Die Datenraten halten sich da eher in Grenzen...

Crash Override

BOfH
Registered: Jun 2005
Location: Germany
Posts: 2951
Eher als ein RAID10 fürd ich 2 mal ein RAID1 nehmen, einmal für die Quell und einmal für die Zieldaten. Dann müssen die Plattenköpfe nicht ständig zum Lesen und Schreiben hin und her und dadurch wächst die Datenrate durch weniger Zugriffszeiten.

Was für ein NAS und was für eine Netzwerkinfrastruktur wird verwendet?

Valera

Here to stay
Registered: Dec 2005
Location: Mint
Posts: 683
Dann würde ich aber eher 2 große Einzelplatten oder SSDs nehmen.. denn RAID1 bringt Geschwindigkeitsmäßig nur sehr wenig und beim Schreiben kostet es eher.

NAS: 2Stk Intel SS4200 (Celeron 1,6GHz mit 512MB RAM) mit 4x2TB RAID5 .. das benötigt heuer noch ein Upgrade fürchte ich. Unverständlicherweise hat dieses NAS einen schlechten Ruf. Bei mir funktioniert es seit der Anschaffung vor ca 2 Jahren zu 100%. Sequentiell (Video/Photo kopieren) macht das NAS 70MB/sek übers Netzwerk. Mal sehen wie sich das entwickelt, sonst baue ich mir wieder mal selber einen Linux Fileserver. Die schnellen NAS Gehäuse sind allesamt recht teuer und bis auf QNAP hat jede irgendwo einen Haken.
Bei den Intel stören mich nur 2 Dinge: 1) kein Replizieren über rsync möglich und 2) im Falle eines Stromausfalls gibt es keine Möglichkeit andere Geräte die auch an der USV hängen zu verständigen. Klar könnte man den DOM ersetzen und ein eigenes System aufsetzen aber das ist mir zu mühsam. :p

Netzwerk: Gigabit mit CAT5E und Netgear 8port smart managed switch (unterstützt statisches Port Trunking - da könnte ich noch durch Bündelung was holen wenn ein neuer Netzwerkspeicher kommen sollte der die 120MB/sek ankratzt)

Ich danke mal für die Anregungen. Jetzt wird der Rechner mal grundsätzlich angeschafft, und dann probiere ich ein paar Varianten durch. Platten liegen eh noch bei mir rum.

Viper780

Moderator
Er ist tot, Jim!
Avatar
Registered: Mar 2001
Location: Wien
Posts: 48863
Ich hab selber ein SS4200 und das rennt ganz gut - du kannst 2GB Ram und entweder CPUs der E4x00 Serie oder einen E5200 verbauen.

mit etwas Geduld kannst du ja auch FreeNAS (wie bei mir) oder jedes andere OS aufspielen. dank eSATA der Portreplikator fähig ist kannst du da fast beliebig erweitern.
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz