overclockers.at präsentiert: Rebench

In den letzten Wochen haben wir uns ausführlich mit AMDs Ryzen beschäftigt. Dabei ist nicht nur das größte Review herausgekommen, an dem wir je gearbeitet haben, sondern zeitgleich auch ein eigens entwickeltes Tool für die Automatisierung von Benchmarks, das für die Fülle an Daten in unserem bald erscheinenden Artikel verantwortlich ist. Rebench ermöglicht dabei die Zusammenstellung von Test-Kategorien mit zahlreichen, vorkonfigurierten Benchmarks, die per Knopfdruck automatisiert abgearbeitet werden. Dadurch können wir in Zukunft effizient Hardware testen und die Ergebnisse übersichtlich für euch online stellen.

Seit vielen Jahren testen wir mittlerweile Hardware für euch, auch wenn es in letzter Zeit etwas weniger geworden ist. Das hat auch gute Gründe, denn Hardware-Tests sind unglaublich anstrengend und erfordern tagelange Konzentration des Redakteurs, der immer und immer wieder dieselben Handgriffe macht, um die Benchmark-Werte zu ermitteln, in Excel-Tabellen aufzunehmen, zu analysieren, bei Bedarf erneut zu testen und in abschließend in eine Benchmark-Engine zur Veröffentlichung einzutragen. Dieser Prozess muss bei einem Test hunderte Male wiederholt werden, bis sich das Puzzle in kleinen Stück zu einem Gesamtbild zusammensetzt. Alles in allem ein zermürbender, zeitfressender und undankbarer Prozess, der sich über eine Woche oder länger ziehen kann - speziell wenn die Testdatenbank neu aufgebaut werden muss, weil die Daten zu alt sind oder ein neues Betriebssystem ins Spiel kommt.

Genau in dieser Situation waren wir auch mit Ryzen wieder: Unsere letzten CPU-Benchmarks sind eine halbe Ewigkeit her und basieren auf Windows 7, das von neuen Prozessorarchitekturen wie Kaby Lake nicht mehr offiziell unterstützt wird und insgesamt nicht mehr repräsentativ für derartige Test ist. Das hieß für uns wohl oder übel, dass wir den ganzen Benchmark-Parcours neu aufstellen und alle CPUs aus unserem Testkabinett erneut durchtesten müssen. Und selbst wenn wir uns dafür zwei oder mehr Wochen Zeit nehmen - soviel Zeit ist so gut wie nie vorhanden, auch wenn man die CPU pünktlich vor dem Launch bekommt -, an die Qualität und Menge an Daten die ein ComputerBase rechtzeitig veröffentlicht, kommen wir trotzdem nicht heran. Deshalb haben wir uns dafür entschieden, dieses Mal in den sauersten aller Äpfel zu beißen und deutlich mehr Zeit und Anstrengungen aufzuwenden, um Hardware-Reviews ein für alle Mal auf eine langfristig sinnvolle und in der Durchführung effiziente Lösung umzustellen. Diese Lösung heißt ab sofort: Rebench.


Rebench ist in C++ mit Win32, MFC und STL geschrieben und lädt "Benchmark Definitions" im JSON-Dateiformat ein, die bestimmte Eigenschaften und einen Typ aufweisen. Jeder Typ hat im Hintergrund eine implementierte Klasse, die sich um die Feinheiten der Ausführung des Benchmarks und das Auslesen der Ergebnisdateien kümmert. Dafür stehen zahlreiche vordefinierte Funktionen aus einer allgemeinen Benchmark-Klasse zur Verfügung, die die Integration eines Benchmarks zu einem Kinderspiel macht; speziell wenn dieser bereits Möglichkeiten zur Automatisierung bietet. So eine Benchmark Definition schaut zum Beispiel für 3DMark Timespy so aus:

Code: JSON

{
  "name"        : "3DMark - Timespy",
  "type"        : "3dmark",
  "executable"  : "C:\\Program Files\\Futuremark\\3DMark\\3DMarkCmd.exe",
  "groupid"		: "3dmark",
  "results"		:
  {
	"result" :
	{
	  "graph"   : "marks",
	  "head"    : [ "Sample", "Marks" ],
	  "type"    : "int",
	  "subtitle": "%GPUSHORT%, 2560x1440, DirectX 12",
	  "details" : "%BENCHVER%\n%GPUDRIVERVER%\n%WINVER%"
	}
  },
  "custom" :
  {
    "definitionxml" : "3DMark\\timespy.3dmdef",
    "resultnode"    : "TimeSpyPerformance3DMarkScore"
  }
}

Wie das in der Praxis in einem Artiel aussieht, zeigen wir euch am besten gleich in Form unserer aktualisierten Benchmark-Engine, die nun ganze Kategorien von Benchmarks darstellen und per Klick einzelne Benchmarks asychron nachladen kann:


Doch das ist noch nicht alles: Rebench kann nicht nur synthetische Benchmarks ausführen, sondern auch das die Leistung in Spielen messen und den Ablauf deutlich erleichtern. Beim Start eines Spiels wird bereits eine ausgesuchte Grafikkonfiguration gesetzt (zB: 2560x1440, kein Antialiasing, maximale Details), danach startet das Spiel und stellt per F9 jederzeit die Aufnahme von Frame-Statistiken mittels integrierter PresentMon-Bibliothek bereit. Gespielt wird derzeit noch selbst, da wir noch keine verlässliche Automatisierung von realisitischem Gameplay auf die Beine stellen konnten - das heißt aber nicht, dass wir aufgeben . Der Rest bleibt dafür automatisch, denn nach dem Ablauf des konfigurierten Testzeitraums werden die aufgezeichneten Daten von Rebench ohne zusätzlichem Handgriff zu sinnvollen Diagrammdaten verarbeitet. Das bedeutet nicht nur die Darstellung der durchschnittlichen Frameraten, sondern künftig auch die Darstellung von prozentuellen Framerate-Bereichen, die im Laufe des Benchmark-Runs aufgezeichnet wurden.


Ebenfalls automatisiert werden nun die Messungen von Temperatur und Energieaufnahme. Dafür verwenden wir das ausgezeichnete Monitoring-Tool HWiNFO von Martin Malik, das mit seiner Flexibilität problemlos Messungen quer über alle Plattformen realisieren lässt. Zusätzlich kommt ein Corsair Netzteil der i-Serie zum Einsatz, das mithilfe von Corsair Link das digitale Ablesen der Energieaufnahme des gesamten Systems ermöglicht. Die mühsame Nutzung eines zusätzlichen Strommessers gehört damit endlich der Vergangenheit an.


Mit all diesen integrierten Benchmark-Möglichkeiten lässt sich nun in Rebench komfortabel ein Projekt erstellen, dem Benchmarks, Testkandidaten (bei uns "Targets" genannt) und Test-Kategorien hinzugefügt werden können. Ein Projekt kann jederzeit geladen und gespeichert werden, ermöglicht eine Batch-Ausführungen von mehreren Benchmarks mit konfigurierten Pausen, das Nachbenchen von einzelnen oder mehreren Benchmarks bei rätselhaften Zahlen und abschließend das Hochladen in unsere Benchmark-Datenbank auf overclockers.at. Letzteres erfordert einen schmerzfreien Klick und dauert nicht einmal zwei Sekunden, dann stehen die Werte bereits in einem Post zur Verfügung, inklusive zusammenfassenden Performance- und Preis/Leistungs-Diagrammen versteht sich:



Für getrenntete Vergleiche von unterschiedlichen Test-Setup-Konfigurationen können eigene Targets und Kategorien angelegt werden, um diese ebenfalls übersichtlich zu visualisieren. Das könnten zum Beispiel unterschiedliche CPU- oder Speichertaktraten sein, aber auch Vergleiche von diversen Einstellungen im Betriebssystem. Ein gutes Beispiel für den Einsatz von getrennten Kategorien ist in unserem Ryzen-Review die Gegenüberstellung der Energiesparpläne "ausbalanciert" und das vom Chipsatz-Treiber hinzugefügte "Ryzen Balanced":


Apropos Ryzen: Unser Review steht kurz vor der Veröffentlichung, auch wenn ihr hier schon eine gute Portion der Benchmarks davon vorfindet (diverse Beschreibungen fehlen noch, einige Begrifflichkeiten müssen wir noch ändern usw). Insgesamt sind übrigens nicht weniger als 700 MB an Ergebnis-Daten für den Test erstellt worden, die sich auf 19 Targets mit bis zu 35 Benchmarks aufteilen. Eine undankbare, vielleicht sogar undenkbare Aufgabe, das mit der Hand zu testen und verlässliche Werte zu erhalten.

Wer nun den Download-Button sucht, der wird ihn nicht finden. Rebench ist derzeit ausschließlich für die interne Verwendung durch unsere Redakteure bei unseren Hardware-Tests gedacht, um deren Qualität zu verbessern. Wer dennoch Interesse daran hat, meldet sich am besten bei uns per E-Mail. Eine Lizenzierung für andere Redaktionen bzw. Hersteller wollen wir im Vorfeld nicht ausschließen, auch wenn es dafür noch keine offiziellen Pläne gibt.

» Beitrag diskutieren (51 Kommentare)