"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

overclockers.at präsentiert: Rebench

mat 26.05.2017 23010 51
rebench-preview_222786.png
In den letzten Wochen haben wir uns ausführlich mit AMDs Ryzen beschäftigt. Dabei ist nicht nur das größte Review herausgekommen, an dem wir je gearbeitet haben, sondern zeitgleich auch ein eigens entwickeltes Tool für die Automatisierung von Benchmarks, das für die Fülle an Daten in unserem bald erscheinenden Artikel verantwortlich ist. Rebench ermöglicht dabei die Zusammenstellung von Test-Kategorien mit zahlreichen, vorkonfigurierten Benchmarks, die per Knopfdruck automatisiert abgearbeitet werden. Dadurch können wir in Zukunft effizient Hardware testen und die Ergebnisse übersichtlich für euch online stellen.

Seit vielen Jahren testen wir mittlerweile Hardware für euch, auch wenn es in letzter Zeit etwas weniger geworden ist. Das hat auch gute Gründe, denn Hardware-Tests sind unglaublich anstrengend und erfordern tagelange Konzentration des Redakteurs, der immer und immer wieder dieselben Handgriffe macht, um die Benchmark-Werte zu ermitteln, in Excel-Tabellen aufzunehmen, zu analysieren, bei Bedarf erneut zu testen und in abschließend in eine Benchmark-Engine zur Veröffentlichung einzutragen. Dieser Prozess muss bei einem Test hunderte Male wiederholt werden, bis sich das Puzzle in kleinen Stück zu einem Gesamtbild zusammensetzt. Alles in allem ein zermürbender, zeitfressender und undankbarer Prozess, der sich über eine Woche oder länger ziehen kann - speziell wenn die Testdatenbank neu aufgebaut werden muss, weil die Daten zu alt sind oder ein neues Betriebssystem ins Spiel kommt.

Genau in dieser Situation waren wir auch mit Ryzen wieder: Unsere letzten CPU-Benchmarks sind eine halbe Ewigkeit her und basieren auf Windows 7, das von neuen Prozessorarchitekturen wie Kaby Lake nicht mehr offiziell unterstützt wird und insgesamt nicht mehr repräsentativ für derartige Test ist. Das hieß für uns wohl oder übel, dass wir den ganzen Benchmark-Parcours neu aufstellen und alle CPUs aus unserem Testkabinett erneut durchtesten müssen. Und selbst wenn wir uns dafür zwei oder mehr Wochen Zeit nehmen - soviel Zeit ist so gut wie nie vorhanden, auch wenn man die CPU pünktlich vor dem Launch bekommt -, an die Qualität und Menge an Daten die ein ComputerBase rechtzeitig veröffentlicht, kommen wir trotzdem nicht heran. Deshalb haben wir uns dafür entschieden, dieses Mal in den sauersten aller Äpfel zu beißen und deutlich mehr Zeit und Anstrengungen aufzuwenden, um Hardware-Reviews ein für alle Mal auf eine langfristig sinnvolle und in der Durchführung effiziente Lösung umzustellen. Diese Lösung heißt ab sofort: Rebench.


Rebench ist in C++ mit Win32, MFC und STL geschrieben und lädt "Benchmark Definitions" im JSON-Dateiformat ein, die bestimmte Eigenschaften und einen Typ aufweisen. Jeder Typ hat im Hintergrund eine implementierte Klasse, die sich um die Feinheiten der Ausführung des Benchmarks und das Auslesen der Ergebnisdateien kümmert. Dafür stehen zahlreiche vordefinierte Funktionen aus einer allgemeinen Benchmark-Klasse zur Verfügung, die die Integration eines Benchmarks zu einem Kinderspiel macht; speziell wenn dieser bereits Möglichkeiten zur Automatisierung bietet. So eine Benchmark Definition schaut zum Beispiel für 3DMark Timespy so aus:

Code: JSON
{
  "name"        : "3DMark - Timespy",
  "type"        : "3dmark",
  "executable"  : "C:\\Program Files\\Futuremark\\3DMark\\3DMarkCmd.exe",
  "groupid"		: "3dmark",
  "results"		:
  {
	"result" :
	{
	  "graph"   : "marks",
	  "head"    : [ "Sample", "Marks" ],
	  "type"    : "int",
	  "subtitle": "%GPUSHORT%, 2560x1440, DirectX 12",
	  "details" : "%BENCHVER%\n%GPUDRIVERVER%\n%WINVER%"
	}
  },
  "custom" :
  {
    "definitionxml" : "3DMark\\timespy.3dmdef",
    "resultnode"    : "TimeSpyPerformance3DMarkScore"
  }
}

Wie das in der Praxis in einem Artiel aussieht, zeigen wir euch am besten gleich in Form unserer aktualisierten Benchmark-Engine, die nun ganze Kategorien von Benchmarks darstellen und per Klick einzelne Benchmarks asychron nachladen kann:

CPU Benchmarks

Gesamt
  • Gesamt
  • Preis/Leistung
  • 7-Zip
  • Blender (BMW27)
  • CINEBENCH R15
  • GeekBench 4
    • Single-Core
    • Multi-Core
  • Google Octane
  • HandBrake (H.265)
  • OpenSSL RSA-4096
    • Verifys/s
    • Signs/s
  • pifast (10M)
  • AIDA64 Memory
    • Read
    • Copy
    • Write

Doch das ist noch nicht alles: Rebench kann nicht nur synthetische Benchmarks ausführen, sondern auch das die Leistung in Spielen messen und den Ablauf deutlich erleichtern. Beim Start eines Spiels wird bereits eine ausgesuchte Grafikkonfiguration gesetzt (zB: 2560x1440, kein Antialiasing, maximale Details), danach startet das Spiel und stellt per F9 jederzeit die Aufnahme von Frame-Statistiken mittels integrierter PresentMon-Bibliothek bereit. Gespielt wird derzeit noch selbst, da wir noch keine verlässliche Automatisierung von realisitischem Gameplay auf die Beine stellen konnten - das heißt aber nicht, dass wir aufgeben ;). Der Rest bleibt dafür automatisch, denn nach dem Ablauf des konfigurierten Testzeitraums werden die aufgezeichneten Daten von Rebench ohne zusätzlichem Handgriff zu sinnvollen Diagrammdaten verarbeitet. Das bedeutet nicht nur die Darstellung der durchschnittlichen Frameraten, sondern künftig auch die Darstellung von prozentuellen Framerate-Bereichen, die im Laufe des Benchmark-Runs aufgezeichnet wurden.

Gaming Benchmarks

Gesamt
  • Gesamt
  • Preis/Leistung
  • Assassin's Creed Syndicate
    • 2560x1440 (kein AA)
    • 4K (kein AA)
  • DOOM
    • 4K mit OpenGL 4.5 (kein AA)
    • 4K mit Vulkan (kein AA)
  • Grand Theft Auto V
    • 2560x1440 (kein AA)
    • 4K (kein AA)
  • Project Cars
    • 2560x1440 (kein AA)
    • 4K (kein AA)
  • The Division
    • 2560x1440
    • 4K
  • The Witcher 3
    • 2560x1440 (kein AA)
    • 4K (kein AA)
  • Watch Dogs 2
    • 2560x1440 (kein AA)
    • 4K (kein AA)

Der aktuelle Teil der Assassin's Creed-Reihe zeigt ein sehr detailliertes London in den Zeiten der industriellen Revolution. Unser Benchmark-Run dauert 90 Sekunden lang und beginnt bei der Ankunft in der Stadt, wo wir einen kleinen Taschendieb durch die engen Gassen verfolgen, danach zwei Bösewichte ausschalten und abschließend mit Rebecca um die Wette laufen.

Project Cars ist immer noch eines der schönsten Rennspiel, die je für den PC entwickelt wurden. Wir starten ein freies Training auf der "Azure Coast", 3. Etappe und fahren 60 Sekunden lang auf der einsamen Küstenstraße.

Der zweite Teil des Open World Games führt uns durch ein detailliertes San Francisco. In unserem Benchmark-Run spielen wir die Hauptmission "Cyberdriver", die im Dedsec-Hauptquartier startet und uns anschließend 75 Sekunden lang mit dem Auto durch die stark befahrene Innenstadt schickt.


Ebenfalls automatisiert werden nun die Messungen von Temperatur und Energieaufnahme. Dafür verwenden wir das ausgezeichnete Monitoring-Tool HWiNFO von Martin Malik, das mit seiner Flexibilität problemlos Messungen quer über alle Plattformen realisieren lässt. Zusätzlich kommt ein Corsair Netzteil der i-Serie zum Einsatz, das mithilfe von Corsair Link das digitale Ablesen der Energieaufnahme des gesamten Systems ermöglicht. Die mühsame Nutzung eines zusätzlichen Strommessers gehört damit endlich der Vergangenheit an.

Temperatur und Stromverbrauch

CPU-Temperatur Idle
  • CPU-Temperatur
    • Idle
    • Firestarter
  • Stromverbrauch
    • Idle
    • CINEBENCH R15
    • Firestarter

Mit all diesen integrierten Benchmark-Möglichkeiten lässt sich nun in Rebench komfortabel ein Projekt erstellen, dem Benchmarks, Testkandidaten (bei uns "Targets" genannt) und Test-Kategorien hinzugefügt werden können. Ein Projekt kann jederzeit geladen und gespeichert werden, ermöglicht eine Batch-Ausführungen von mehreren Benchmarks mit konfigurierten Pausen, das Nachbenchen von einzelnen oder mehreren Benchmarks bei rätselhaften Zahlen und abschließend das Hochladen in unsere Benchmark-Datenbank auf overclockers.at. Letzteres erfordert einen schmerzfreien Klick und dauert nicht einmal zwei Sekunden, dann stehen die Werte bereits in einem Post zur Verfügung, inklusive zusammenfassenden Performance- und Preis/Leistungs-Diagrammen versteht sich:

Gesamt

Gesamtpunktezahl von 35 Ergebnissen

SamplePoints
i7-6950X91.58
i7-5960X91.2
R7 1700X @3,9 GHz91.14
i7-7700K90.4
R5 1600 @4 GHz88.54
R7 1700X88.5
i7-6800K88.33
i7-7600K87.65
i7-6700K87.06
i7-5820K86.49
R5 160083.74
i7-4770K83.14
R5 1400 @3,9 GHz82.6
i7-3770K81.6
i3-7350K79.77
R5 140077.82
FX 959071.74
Die Gesamtpunktezahl stellt sich aus der Summe aller Benchmark-Ergebnisse zusammen. Das Produkt mit dem besten Wert erhält 100 Punkte, ein Produkt mit einem genau halb so guten Resultat nur 50. Die erzielte Punktezahl pro Benchmark ist also relativ zum besten Wert/Produkt in jedem Benchmark zu sehen.

Preis/Leistung

Stand: 26.05.2017

SampleEuro/Point
i3-7350K1.99
i7-3770K2.02
R5 1400 @3,9 GHz2.03
R5 14002.16
i7-4770K2.29
FX 95902.38
R5 1600 @4 GHz2.53
R5 16002.67
i7-7600K2.73
i7-6700K3.78
i7-7700K3.86
R7 1700X @3,9 GHz4.26
R7 1700X4.38
i7-5820K4.72
i7-6800K4.78
i7-5960X12.6
i7-6950X18.92
Der Bestpreis wird über den kleinsten Preis im ersten, derzeit gelisteten, namhaften Shop laut Geizhals ermittelt. Nicht mehr im Handel erhältliche Produkte werden mithilfe von ebay und Willhaben mit einem geschätzten Gebrauchtpreis versehen.
Stand: 26.05.2017

Für getrenntete Vergleiche von unterschiedlichen Test-Setup-Konfigurationen können eigene Targets und Kategorien angelegt werden, um diese ebenfalls übersichtlich zu visualisieren. Das könnten zum Beispiel unterschiedliche CPU- oder Speichertaktraten sein, aber auch Vergleiche von diversen Einstellungen im Betriebssystem. Ein gutes Beispiel für den Einsatz von getrennten Kategorien ist in unserem Ryzen-Review die Gegenüberstellung der Energiesparpläne "ausbalanciert" und das vom Chipsatz-Treiber hinzugefügte "Ryzen Balanced":

Ryzen Balancend VS ausbalanciert

Gesamt
  • Gesamt
  • 7-Zip
  • AIDA64 Memory
    • Read
    • Copy
    • Write
  • Blender (BMW27)
  • CINEBENCH R15
  • GeekBench 4
    • Single-Core
    • Multi-Core
  • Google Octane
  • HandBrake (H.265)
  • OpenSSL RSA-4096
    • Verifys/s
    • Signs/s
  • pifast (10M)
  • 3DMark
    • Fire Strike Extreme
    • Timespy
  • PCMark 8
    • Creative
    • Home
    • Office
    • Work
  • VRMark
    • Blue Room
    • Orange Room
  • CPU-Temperatur
    • Idle
    • Firestarter
  • Stromverbrauch
    • Idle
    • CINEBENCH R15
    • Firestarter

Apropos Ryzen: Unser Review steht kurz vor der Veröffentlichung, auch wenn ihr hier schon eine gute Portion der Benchmarks davon vorfindet (diverse Beschreibungen fehlen noch, einige Begrifflichkeiten müssen wir noch ändern usw). Insgesamt sind übrigens nicht weniger als 700 MB an Ergebnis-Daten für den Test erstellt worden, die sich auf 19 Targets mit bis zu 35 Benchmarks aufteilen. Eine undankbare, vielleicht sogar undenkbare Aufgabe, das mit der Hand zu testen und verlässliche Werte zu erhalten.

Wer nun den Download-Button sucht, der wird ihn nicht finden. Rebench ist derzeit ausschließlich für die interne Verwendung durch unsere Redakteure bei unseren Hardware-Tests gedacht, um deren Qualität zu verbessern. Wer dennoch Interesse daran hat, meldet sich am besten bei uns per E-Mail. Eine Lizenzierung für andere Redaktionen bzw. Hersteller wollen wir im Vorfeld nicht ausschließen, auch wenn es dafür noch keine offiziellen Pläne gibt.
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz