DLSS, FSR, XeSS und andere erfundene Pixel - Seite 5

Seite 5 von 11 - Forum: Artificial Intelligence auf overclockers.at

URL: https://www.overclockers.at/artificial-intelligence/dlss-fsr-xess-und-andere-erfundene-pixel_264467/page_5 - zur Vollversion wechseln!

charmin schrieb am 08.01.2025 um 15:14

Zitat aus einem Post von InfiX
nein, die sind nämlich mathematisch rekonstruierbar, da wird nichts "erfunden", das sind "einfache" formeln.

nicht alles was hinkt ist auch ein vergleich.

Natürlich wird da was erfunden. Nämlich der Teil, der zwischen den bekannten Datenpunkten liegt.
Dass I-frames mathematisch erzeugt sind, macht es nicht automatisch zu einer exakten Abbildung vom echten Video sondern
es bleibt eine berechnete (neu erzeugte) Version des fehlenden Inhalts. Ergo Fake.

Zitat aus einem Post von InfiX
aus einem frame das noch nicht existiert kannst nix rekonstruieren, dafür muss man kein AI spezialist sein.
für alles andere müsstest mindestens bis zum nächsten frame warten und damit hättest dann eine sehr hohe latenz.

Nein man hat keine "sehr hohe" Latenz. Bei 60 FPS hat man 1/60 s = 16.6 ms.
In der Game Engine wird berechnet wo sich ein objekt beim nächsten Frame befinden soll.
Genau dasselbe lernt das CNN oder der Transformer in DLSS. Nvidia verwendet sogar dieselbe Technik aus der Videokompression zusätzlich dafür:

Zitat
Augments DLSS 2.0 by making use of motion interpolation.

Quelle: https://en.wikipedia.org/wiki/Deep_...mpling#DLSS_3.0

Und das geht sehr genau für die paar millisekunden.
Ob ich jetzt die Objekte in echt berechne für die Position in ein paar Millisekunden oder die Engine berechnet das.. nicht viel Unterschied.

Aus dem Frame der noch nicht existiert muss man eh nix rekonstruieren, aber aus sämtlichen Frames die vorher existieren.
Und das man den Bewegungsvektor von den Objekten im Spiel für ein paar millisekunden berechnet is ein easy task.

Zitat aus einem Post von InfiX
du könntest auch einfach meine frage beantworten.

wie interpolierst du zwischen 2 bildern, wenn das 2. bild noch nicht existiert?

nein? ok. also ist jedes nachfolgende frame erfunden.
ein plumpes "na du kennst dich halt nicht aus" als antwort wird mich auch nicht von dem standpunkt abbringen

und nachdem es um videospiele geht wo nichts im vornherein klar ist und sich der input oder die reaktion darauf jederzeit ändern kann ist es nochmal schwieriger irgendetwas vorherzusagen.

wenn ich so uninformiert bin dann zeig mir doch welche glaskugel da verwendet wird, mich würden auch die nächsten lottozahlen interessieren.

Es wird, wie gesagt, nicht zwischen 2 Bilder interpoliert. Es is auch keine Glaskugel, sondern eine Hochrechnung.
DLSS nutzt Daten wie "the raw low-resolution input, motion vectors, depth buffers, and exposure / brightness information." und berechnet den plausibelsten nächsten Frame.
Bei jedem neuen Frame wird das wieder angepasst. DLSS extrapoliert frames basierend auf echten Daten statt reiner Fantasie.

Was hat DLSS jetzt mit Lottozahlen zu tun?

Zitat aus einem Post von InfiX
predictive heisst auf deutsch aber auch nichts anderes als erfunden

klar man kann richtig liegen... oder auch nicht... dann bekommt man halt schöne artefakte.
e: ^das war auf dune's post bezogen.

@Jedimaster, das schaut aber eher danach aus als wär da irgendein schärfefilter aktiv, das lässt sich vermutlich in den grakasettings ändern?
ich find das ehrlich gesagt zu überschärft ^^

predictive heisst nicht erfunden, sondern in dem Fall einfach nur eine Extrapolation der Daten.
Aber das weisst du und hast dich trotzdem dazu entschieden "erfunden" zu schreiben.

Zitat aus einem Post von InfiX
nein?

jeder pixel basiert auf einer berechnung aus grunddaten, 3D modelle, texturdaten etc. das alles wird für jeden pixel aus diesen grunddaten durch shaderformeln etc. berechnet, da wird nichts erfunden.

Doch, die GPU erfindet ständig Details die irgendwie plausibel wirken sollen mithilfe von Shadern. "Echt(er)" berechnen wäre Raytracing im Lichtbereich. Aber auch das ist böse weil das Infix auch blöd findet und wir uns das ständig anhören müssen.
Shader approximieren, inter-, extrapolieren auch sauviel Daten, alles fake also.
Ein paar beispiele: Gouraud Shading, Phong Shading, Bump Mapping (fake high poly textur auf low poly objekt), oder Normal Mapping mit fake Oberflächenstruktur.
Aber auch hier wirst du irgendwo deine persönliche Linie ziehen, was nun fake ist und was nicht, und die Argumente ignorieren.

Zitat aus einem Post von InfiX
danke, aber nein, dafür hab ich weder die zeit noch die nerven um auf alles vollinhaltlich zu antworten und auf manches hab ich evtl. auch gar keine antwort, deswegen quote ich ja auch explizit den teil worauf ich mich beziehe.

ich finds auf jedenfall schade, dass nvidia mir ein weiteres hobby kaputt macht und damit werd ich wohl in meiner überzeugung denen nie mehr auch nur einen cent zu geben bestätigt.
es macht mir nicht nur spiele sondern leider auch die ganze begeisterung über neue hardware und technische weiterentwicklungen madig.

...jaja ich hab mir vor kurzem erst eine nvidia karte gekauft... aber zum glück gebraucht... und weil ich halt unbedingt CUDA gebraucht hab... gleiches thema gleicher grund warum nvidia bei mir unten durch ist.

Ja, am besten gleich zig mal in Nvidia Thread rumbashen... oh wait.

Jedimaster schrieb am 08.01.2025 um 15:35

Sind wir schon beim full blown flamewar, wenn ja, hier ein passendes Meme

Imho sollten wir jetzt aber alle wieder nen Gang runterschalten und abwarten was jetzt wirklich released wird, wie es tatsächlich mit der Raw-Performance aussieht und wie slushy die bis zu 7fach komprimierten Texturen dann wirklich aussehen. Das diesmal viel BS verkauft wurde wird keiner abstreiten können, siehe 5070 hat die Performance der 4090 dank der Power of Ai-Aussage.

Schaun ma mal was wird, auch wenn ich persönlich halt auch bedenken bezüglich Qualität hab, was recht ironisch ist, da ich oft mal ein Game wo's drauf ankommt auf potato² runterdreh um soviele fps wie mögich zu haben.

Starsky schrieb am 08.01.2025 um 15:46

Zitat aus einem Post von Jedimaster
Sind wir schon beim full blown flamewar, wenn ja, hier ein passendes Meme

Imho sollten wir jetzt aber alle wieder nen Gang runterschalten und abwarten was jetzt wirklich released wird, wie es tatsächlich mit der Raw-Performance aussieht und wie slushy die bis zu 7fach komprimierten Texturen dann wirklich aussehen. Das diesmal viel BS verkauft wurde wird keiner abstreiten können, siehe 5070 hat die Performance der 4090 dank der Power of Ai-Aussage.

Schaun ma mal was wird, auch wenn ich persönlich halt auch bedenken bezüglich Qualität hab, was recht ironisch ist, da ich oft mal ein Game wo's drauf ankommt auf potato² runterdreh um soviele fps wie mögich zu haben.

Lol, das Meme kannst auch mit AMD, RDNA4 und FSR4 bringen.

Aber ernsthafterweise wird das klassische CPU und GPU Denken wohl aussterben und vermutlich alles zentral von einer dicken NPU errechnet werden.

charmin schrieb am 08.01.2025 um 15:46

Die 5070 und 4090 Geschichte ist lächerlich.
Aber erinnert euch Mal zurück über all die Jahre. Sämtliche Vorstellungen, egal ob Intel, NV, AMD etc, waren immer so. Einfach Marketing BS Bingo vom feinsten. Wems interessiert wie DLSS überblicksmäßig funktioniert wird auf Wikipedia fündig.

full ack @Starsky

Jedimaster schrieb am 08.01.2025 um 15:50

Natürlich ists mit der 9070 von AMD dasselbe, mich zipfts halt an das das da neue "Way to go" werden wird.

charmin schrieb am 08.01.2025 um 15:54

Zitat aus einem Post von Jedimaster
Natürlich ists mit der 9070 von AMD dasselbe, mich zipfts halt an das das da neue "Way to go" werden wird.

Wie gesagt. Wir sind jetzt bei 600W bei den Spitzen GPUs. Man muss Wege finden um die Performance zu optimieren. Klar jetzt kommt wieder der Aufschrei mit "sollen die Entwickler halt die Spiele ordentlich optimieren" aber gleichzeit sind die Entwickler im Dauer-Crunch. Wenn's so einfach wäre, alle paar Jahre noch viel mächtigere Hardware zu erfinden würds Nvidia wohl so machen. Dinge wie DLSS zu entwickeln kostet irre Geld, warum zur Hölle sollte man das machen wenn's eh sonst so einfach ginge...

sk/\r schrieb am 08.01.2025 um 16:04

die diskussion find ich interessant.
am end vom tag ist nämlich _alles_ mathematik.
also das ein pixel für pixel für pixel "in echt" erzeugt wird.
aber auch das ein "fake" pixel zwischen zwei "echten" pixeln generiert wird.

es ist ja nur eine frage der genauigkeit, also des genauen rechnens, (die immer besser wird) bis man keinen unterschied mehr kennt.
imho natürlich.

aktuell stecken da noch viele kinderkrankheiten drin. das wird aber sicher von gen zu gen besser.

Jedimaster schrieb am 08.01.2025 um 16:05

Jein, es halt halt nen verdammten Nachgeschmack von Intel's "Moores Law is dead" von 2014 oder so wo's gmeint haben besser gehts jetzt nimma weil material gibt net mehr her usw... was wirklich los war (kein Zwang was zu entwickeln) ham wir dann 2018 gsehn wie dank Ryzen sämtliche Alarmglocken geleutet ham.

Mag jetzt nicht dieselbe Situation sein, aber wie heute had AMD auch damals angekündigt nimma "High End" liefern zu wollen/können und schön is das ganze 5 Jahre lang stagniert.

InfiX schrieb am 08.01.2025 um 16:14

Zitat aus einem Post von charmin
Natürlich wird da was erfunden. Nämlich der Teil, der zwischen den bekannten Datenpunkten liegt.
Dass I-frames mathematisch erzeugt sind, macht es nicht automatisch zu einer exakten Abbildung vom echten Video sondern
es bleibt eine berechnete (neu erzeugte) Version des fehlenden Inhalts. Ergo Fake.

nein, schau, ich will dir jetzt keine wissenschaftliche abhandlung darüber schreiben wie video-kompression funktioniert, aber du hast mehrere frames über einen längeren zeitraum aus der mathematische grundlagen für die dekompression errechnet werden, auf basis dieser rekonstruiert/errechnet der decoder dann die (zuvor bereits vorhandenen und nicht erfundenen) frames, dabei gehen natürlich informationen verloren -> lossy compression. dazu erfunden wird _nichts_ alles was errechnet wird basiert auf zuvor zugrunde liegenden daten.

deswegen nimmt man video ja im besten fall direkt in raw auf (bzw. halt eine möglichst minimale kompression mit dem was im speicher der kamera landet), da eine vernünftige kompression ohne die temporale komponente eben nicht funktioniert.
alles andere führt zu pixelbrei, sieht nicht schön aus, aber erfunden wird wenigstens immer noch nichts.

bei einem spiel stehen die zukünftigen frames aber noch nicht fest, die temporale komponente fehlt, und kann nur "predicted" werden, da man nicht weiss was sich in den nächsten frames tun wird, da es sich jederzeit ändern kann, zudem werden nicht bereits vorhandene frames komprimiert sondern neue dazu erzeugt, aus daten die es für diese frames nie gegeben hat (ausnahme siehe unten), wenn ich jetzt also zumindest das eine nächste frame dazunehme (latenz ist additiv, die 16ms für ein frame bei 60fps kommen zu allem anderen was im computer latenz erzeugt dazu) weiss ich trotzdem nicht was zwischen diesen 2 frames tatsächlich passiert ist, ich kann entweder eine simple mathematische interpolation machen (simple motion smoothing algorithmen *würg*), oder eben durch prediction auf basis von AI modellen mir ausdenken was da gewesen sein könnte, und jetzt hab ich etwas erfunden, das vorher nicht da war = fake, mag kein schönes wort sein, ist aber so.

dass predictive nicht wörtlich übersetzt erfunden heisst ist mir klar, ja

mir geht es aber darum was das im übertragenen sinn für die erzeugten frames bedeutet.

nun haben spiele natürlich den vorteil, dass es daten gibt die beim simplen aufnehmen von video nicht da sind, z.b. wenn sich 2 objekte in verschiedene richtungen bewegen, dann kann das durch motion vectors mit in die berechnung einfließen während beim video das nur durch die analyse mehrerer frames funktionieren kann da die kamera ja nur ein gesamtheitliches bild aufnimmt.
soll heissen, es ist immer noch besser also die bloße interpolation zwischen 2 bildern zwischen denen jegliche information fehlt, aber trotzdem nicht das gleiche wie videokompression, es muss immer noch einiges dazu gedichtet werden.

dieses fake frame mag für viele zufriedenstellend sein, für mich nicht, bzw. vor allem nicht was das im übertragenen sinne für die optimierung von spielen und deren zukünftiger entwicklung bedeutet, das ist eigentlich der hauptpunkt an der ganzen sache.
weil wie gesagt, ich muss die technik ja eigentlich nicht nutzen wenn ich nicht will... bis es eben vorraussetzung wird, und das will genau nvidia eben am liebsten haben.

Zitat aus einem Post von charmin
Doch, die GPU erfindet ständig Details die irgendwie plausibel wirken sollen mithilfe von Shadern. "Echt(er)" berechnen wäre Raytracing im Lichtbereich. Aber auch das ist böse weil das Infix auch blöd findet und wir uns das ständig anhören müssen.
Shader approximieren, inter-, extrapolieren auch sauviel Daten, alles fake also.
Ein paar beispiele: Gouraud Shading, Phong Shading, Bump Mapping (fake high poly textur auf low poly objekt), oder Normal Mapping mit fake Oberflächenstruktur.
Aber auch hier wirst du irgendwo deine persönliche Linie ziehen, was nun fake ist und was nicht, und die Argumente ignorieren.

nein, nein und nein.
die GPU erfindet keine details, die shader sind vordefinierte formeln die aus den vorhandenen daten die darstellung eines pixels am monitor bestimmen, da findet keine "prediction" durch AI oder ähnliches statt.
diese daten sind vorhanden, und bleiben immer die gleichen, es werden keine zusätzlichen grundlagen erzeugt die es vorher nicht gab.
raytracing ist nur eine andere art der berechnung eines pixels, ändert an der grundlegenden funktion nichts.
das problem mit raytracing hat nur im übertragenen sinne mit DLSS&co zu tun da durch raytracing und dessen massiven performance hunger es quasi zur pflicht wird, bzw. eben auch damit, dass durch raytracing optimierungen seites der devs wegfallen weil eh alles "automatisch" berechnet wird.
bei raytracing kommt noch dazu, dass es zumindest derzeit unmöglich ist es für jeden pixel exakt zu berechnen, man braucht ned umsonst renderfarmen für filme o.ä. ^^ d.h. das ergebnis ist immer "noisy" dadurch ist man erst auf interpolationswerkzeuge angewiesen um daraus wieder ein stimmiges bild zu machen.

Zitat aus einem Post von charmin
Ja, am besten gleich zig mal in Nvidia Thread rumbashen... oh wait.

kannst es ja löschen wenn es dir nicht passt

aber ja solange nvidia aktiv mein hobby zerstört werde ich auf ihnen herumbashen.
genauso wie auf intel oder auch AMD wenn sie wieder mal was verhauen, *looking at you VCN3*
nachdem nvidia derzeit den markt vorgibt und AMD z.b. mit FSR darauf lediglich reagiert (gezwungenermaßen), kann ich schlecht FSR bashen, die ursache ist und bleibt DLSS, aber im endeffekt ists natürlich das gleiche (bezogen auf die AI techniken)

aber, und entschuldige mir dieses vorurteil, ich komm mir bei jemandem der crypto und generative AI "geil" findet eh immer nur vor als würde ich gegen eine wand reden.

blood schrieb am 08.01.2025 um 16:18

was mich an FSR, DLSS und framegen stört, ist die tatsache, dass hier mehr und mehr verantwortung den gamedevs zugeschoben wird, diese ganzen features auch gescheit zu implementieren.
außerdem hat optimierung und gute performance heutzutage für viele studios leider nur geringe priorität und upscaler und framegen werden vermehrt dazu missbraucht, um diese missstände auszugleichen.

charmin schrieb am 08.01.2025 um 17:12

Zitat aus einem Post von InfiX
nein, schau, ich will dir jetzt keine wissenschaftliche abhandlung darüber schreiben wie video-kompression funktioniert, aber du hast mehrere frames über einen längeren zeitraum aus der mathematische grundlagen für die dekompression errechnet werden, auf basis dieser rekonstruiert/errechnet der decoder dann die (zuvor bereits vorhandenen und nicht erfundenen) frames, dabei gehen natürlich informationen verloren -> lossy compression. dazu erfunden wird _nichts_ alles was errechnet wird basiert auf zuvor zugrunde liegenden daten.

was sind bitte "mathematische grundlagen" ?

Zitat aus einem Post von InfiX
deswegen nimmt man video ja im besten fall direkt in raw auf (bzw. halt eine möglichst minimale kompression mit dem was im speicher der kamera landet), da eine vernünftige kompression ohne die temporale komponente eben nicht funktioniert.

doch tut es, nennt sich jpeg.

Zitat aus einem Post von InfiX
alles andere führt zu pixelbrei, sieht nicht schön aus, aber erfunden wird wenigstens immer noch nichts.

doch tut es, du näherst die pixelwerte mit summen aus irgendwelchen sin und cos schwingungen an und das wird dann auch noch quantisiert.
Das Ergebnis ist eben nicht identisch mit dem Ausgangsmaterial.

Zitat aus einem Post von InfiX
bei einem spiel stehen die zukünftigen frames aber noch nicht fest, die temporale komponente fehlt, und kann nur "predicted" werden, da man nicht weiss was sich in den nächsten frames tun wird, da es sich jederzeit ändern kann, zudem werden nicht bereits vorhandene frames komprimiert sondern neue dazu erzeugt, aus daten die es für diese frames nie gegeben hat (ausnahme siehe unten), wenn ich jetzt also zumindest das eine nächste frame dazunehme...

Nein, die temporale Komponente fehlt nicht, du hast n frames in die Vergangenheit.

Zitat aus einem Post von InfiX
(latenz ist additiv, die 16ms für ein frame bei 60fps kommen zu allem anderen was im computer latenz erzeugt dazu)

Nein die kommen nicht dazu, weil die Messung genau so funktioniert. Eingabe bis Ausgabe am Monitor und das beinhaltet den Frameaufbau und ein Computer kann dinge sogar parallel verarbeiten

Zitat aus einem Post von InfiX
...weiss ich trotzdem nicht was zwischen diesen 2 frames tatsächlich passiert ist, ich kann entweder eine simple mathematische interpolation machen (simple motion smoothing algorithmen *würg*), oder eben durch prediction auf basis von AI modellen mir ausdenken was da gewesen sein könnte, und jetzt hab ich etwas erfunden, das vorher nicht da war = fake, mag kein schönes wort sein, ist aber so.

Interpolation sind auch erfundene Daten. Wennst texturen bilinear interpolierst, dann sind das daten die erfunden sind. Die Modelle sind bei DLSS nur komplexer.

Zitat aus einem Post von InfiX
nein, nein und nein.
die GPU erfindet keine details, die shader sind vordefinierte formeln die aus den vorhandenen daten die darstellung eines pixels am monitor bestimmen, da findet keine "prediction" durch AI oder ähnliches statt.

Die "AI" ist einfach ein neuronales netz, was eine mathematisch Funktion lernt, und die wird angewandt. Kann ma bitte aufhören als wäre da eine echte künstliche Intelligenz dahinter und würde das träumen oder so.
Es ist eine Datentransformation basierend auf gelernten Mustern und nicht händisch hingeschrieben wie bei irgend einem Shader.

Zitat aus einem Post von InfiX
diese daten sind vorhanden, und bleiben immer die gleichen, es werden keine zusätzlichen grundlagen erzeugt die es vorher nicht gab.

Ah schau! Da wird also die Linie gezogen von dir. Shader Algorithmen mit inter- und extrapolierten daten ist OK. Extrapolierte Bilder bei DLSS nicht OK. Check.

Zitat aus einem Post von InfiX
kannst es ja löschen wenn es dir nicht passt
aber ja solange nvidia aktiv mein hobby zerstört werde ich auf ihnen herumbashen.
genauso wie auf intel oder auch AMD wenn sie wieder mal was verhauen, *looking at you VCN3*
nachdem nvidia derzeit den markt vorgibt und AMD z.b. mit FSR darauf lediglich reagiert (gezwungenermaßen), kann ich schlecht FSR bashen, die ursache ist und bleibt DLSS, aber im endeffekt ists natürlich das gleiche (bezogen auf die AI techniken)

Man kann sich echt alles richten wie man mag und sich vieles einreden scheinbar.
Aber ums nochmal zusammenzufassen: Nvidia böse, weils dein Hobby zerstört. Check.
AMD nicht böse, weil die ja nur auf Nvidia reagieren müssen, die Armen! (komisch irgendwie, wollen die etwa auch Infix' Hobby zerstören?) Check.
Intel hat dann noch XeSS, kruzefix, jetz wollen die auch unser Hobby zerstören.

Dass das Nvidia Marketing bei der Präsentation absolut nicht OK war ist hoffentlich jedem bewusst.
Ich möchte einfach nur normal diskutieren können und ned jede 3te Seite einen Infix Reingrätscher zu bekommen weil sie angfressn is auf Nvidia weils ihr Hobby zerstört.

Dune schrieb am 08.01.2025 um 17:21

Kann's sein, dass du alles ein bisschen persönlicher ("früher war alles leiwand") nimmst, als es letztlich ist? Es geht immerhin um Grafikkarten.

Ich find's schade dass du im AI Sub gefühlt jedes zweite Thema mit Befindlichkeiten betonierst. Das ist sonst eher ein Verhalten was man im WEP beobachten darf, und es passiert mir natürlich auch, aber es geht im Endeffekt immer noch nur um GPUs. Und früher war auch nicht alles so super, wie es heute vielleicht scheint. Das bereichert die Diskussion halt nicht wirklich und dein Standpunkt ist weitgehend bekannt.

TOM, Starsky et al haben's imho gut auf den Punkt gebracht. Die Technik ist gekommen um zu bleiben. Take it or leave it.

InfiX schrieb am 08.01.2025 um 17:24

schau charmin, ich habs mit einem langen argumentativen post probiert, wenn jetzt wieder nur polemik und aktives nicht verstehen wollen zurück kommt bringt die diskussion wirklich nix, ist mir echt schade um die zeit.

Zitat aus einem Post von Dune
Take it or leave it.

nein.
das ist nicht die art wie ich durchs leben gehe, wenn mich etwas stört, dann spreche ich das auch an, take it or leave it.

zum glück sind wir hier in einem...

Zitat
forum
/ˈfɔːrəm/
noun
1.
a meeting or medium where ideas and views on a particular issue can be exchanged.
"we hope these pages act as a forum for debate"

charmin schrieb am 08.01.2025 um 17:24

Zitat aus einem Post von InfiX
schau charmin, ich habs mit einem langen argumentativen post probiert, wenn jetzt wieder nur polemik und aktives nicht verstehen wollen zurück kommt bringt die diskussion wirklich nix, ist mir echt schade um die zeit.

Hilft halt nix, wenn die Argumentation falsch ist.

Glaub mir, kann ich vollen Herzens zurückgeben.

Zitat aus einem Post von InfiX
zum glück sind wir hier in einem...

Ma danke, dachte schon Forum heisst: "Anderen ständig mitteilen zu müssen wie sehr man etwas hasst".
Glück gehabt.

InfiX schrieb am 08.01.2025 um 17:27

Zitat aus einem Post von charmin
Hilft halt nix, wenn die Argumentation falsch ist.

Glaub mir, kann ich vollen Herzens zurückgeben.

danke, ebenfalls

aber mir ist jetzt wie gesagt die zeit zu schade jede falsche oder falsch verstandene aussage von dir zu erwidern. schönen tag noch.