"We are back" « oc.at

DLSS, FSR, XeSS und andere erfundene Pixel

Dune 08.01.2025 - 10:55 6515 149
Posts

charmin

Elder
^_^
Avatar
Registered: Dec 2002
Location: aut_sbg
Posts: 15160
Passt, wo wir das geklärt haben können wir wieder OT gehen:

Ich bin gerade auf der Suche nach DLSS Ressourcen:

Hier gibts eine Präsentation zu DLSS2.0, ich muss aber noch das Video suchen. Es ist nicht soviel text drinnen leider.

http://behindthepixels.io/assets/files/DLSS2.0.pdf

tinker

SQUEAK
Avatar
Registered: Nov 2005
Location: NÖ
Posts: 5249
Hier is das white paper zu DLSS 3:

https://images.nvidia.com/aem-dam/S...gpu-science.pdf

charmin

Elder
^_^
Avatar
Registered: Dec 2002
Location: aut_sbg
Posts: 15160
Ah, steht schon mehr drin, danke.
Ich führs mir mal zu Gemüte.

InfiX

she/her
Avatar
Registered: Mar 2002
Location: Graz
Posts: 14449
so, bin grad wieder ein bisserl gechillter und mir ist fad...

Zitat aus einem Post von charmin
was sind bitte "mathematische grundlagen" ?
zahlen, variablen, daten.


Zitat
doch tut es, nennt sich jpeg.
davon war nie die rede, es ging um den vergleich zwischen kompression von video (bewegtbildern) bzw. dem decoding davon verglichen mit DLSS angewandt auf bewegtbilder eines videospiels.
warum du jetzt plötzlich mit jpeg daherkommst keine ahnung.
aber auch bei jpeg wird beim decoding nichts dazuerfunden sondern lediglich auf basis der vorhandenen daten das bild zurückgerechnet.


Zitat
doch tut es, du näherst die pixelwerte mit summen aus irgendwelchen sin und cos schwingungen an und das wird dann auch noch quantisiert.
Das Ergebnis ist eben nicht identisch mit dem Ausgangsmaterial.
nein, das ist schlichtweg falsch, die pixelwerte werden auf basis vorhandener daten errechnet, das ergebnis ist nicht identisch mit dem ausgangsmaterial da bei der kompression informationen verloren gegangen sind, hatte ich bereits erwähnt -> lossy compression.
diese informationen werden nicht wieder dazuerfunden sondern fehlen schlichtweg, alles andere würde unter "AI reconstruction" o.ä. laufen.

Zitat
Nein, die temporale Komponente fehlt nicht, du hast n frames in die Vergangenheit.
i-tüpferl reiterei, du weisst genau wie ich wie es gemeint war :)
die temporale komponente besteht nur aus tatsächlich gerenderten frames (bzw. z.B. auch den bewegungsvektoren, siehe meine ausnahme) alles dazwischen war nie als ausgangslage zur berechnung vorhanden.

Zitat
Nein die kommen nicht dazu, weil die Messung genau so funktioniert. Eingabe bis Ausgabe am Monitor und das beinhaltet den Frameaufbau und ein Computer kann dinge sogar parallel verarbeiten ;)
vielleicht glaubst du ja einem video mit technischem know-how direkt von nvidia?
https://www.youtube.com/watch?v=Fj-wZ_KGcsg

diese latenz komponenten sind immer vorhanden, wenn du jetzt das rendering um ein frame verzögerst kommt das kumulativ dazu.
wenn du dazu eine gegenteilige info findest immer her damit.

Zitat
Interpolation sind auch erfundene Daten. Wennst texturen bilinear interpolierst, dann sind das daten die erfunden sind. Die Modelle sind bei DLSS nur komplexer.
nein, sind sie nicht, bilineare interpolation (die übrigens eher meh ist) ist eine simple form die aus bereits vorhandenen informationen die neue information berechnet, diese basiert direkt auf diesen informationen ohne jeglicher externen veränderung.
https://en.wikipedia.org/wiki/Bilinear_interpolation
es wird nichts erfunden, es wird lediglich wie der name schon sagt... interpoliert.

Zitat
Die "AI" ist einfach ein neuronales netz, was eine mathematisch Funktion lernt, und die wird angewandt. Kann ma bitte aufhören als wäre da eine echte künstliche Intelligenz dahinter und würde das träumen oder so.
Es ist eine Datentransformation basierend auf gelernten Mustern und nicht händisch hingeschrieben wie bei irgend einem Shader.

die "modelle" sind genau der springende punkt, denn diese daten haben mit den eigentlichen renderdaten nichts zu tun, hier werden plötzlich externe daten herangezugen um die AI zu "trainieren" selbstständig nicht vorhandene informationen zu erzeugen, natürlich fließen hier auch die ursprungsdaten mit ein in die berechnung, aber das resultierende ergebnis basiert nicht mehr _nur_ auf den zugrundeliegenden renderdaten -> es wird etwas neues erzeugt das mit den ursprungsdaten nicht zwingend direkt zusammenhängt -> erfunden -> fake.

da kannst dich jetzt 27 stunden an der semantik aufhängen von mir aus...

Zitat
Ah schau! Da wird also die Linie gezogen von dir. Shader Algorithmen mit inter- und extrapolierten daten ist OK. Extrapolierte Bilder bei DLSS nicht OK. Check.
nein, weil es schlichtweg was anderes ist, auch wenn du das zwanghaft nicht verstehen willst.
ein shader errechnet das bild nachvollziehbar aus den original zugrundeliegenden daten.

Zitat
Man kann sich echt alles richten wie man mag und sich vieles einreden scheinbar.
Aber ums nochmal zusammenzufassen: Nvidia böse, weils dein Hobby zerstört. Check.
AMD nicht böse, weil die ja nur auf Nvidia reagieren müssen, die Armen! (komisch irgendwie, wollen die etwa auch Infix' Hobby zerstören?) Check.
Intel hat dann noch XeSS, kruzefix, jetz wollen die auch unser Hobby zerstören.
auf die sinnlose polemik brauch ich eh nicht eingehen, aber bitte erspar dir unwahre behauptungen, ich hab sogar explizit auch auf AMD hingehaut, nein AMD ist nicht "nicht böse" ist aber derzeit zumindest in der GPU welt rein ethisch gesehen das geringere übel für mich, das kann aber jeder für sich selbst entscheiden.
und ja nvidia ist in meinen augen vorrangig "schuld" an den "AI" komponenten von DLSS, FSR, XeSS "ob sie wollen oder nicht" wenn du es so willst :)

Zitat
Ich möchte einfach nur normal diskutieren können
dann spar dir evtl so ansagen wie "reingrätscher" oder "du hast keine ahnung" (im übertragenen sinne), das wäre einer normalen diskussion dienlich.

und nein, nicht jeder einzelne post muss einer diskussion würdig sein.

Starsky

Erdbeeren für ALLE!
Registered: Aug 2004
Location: Proletenacker
Posts: 14670
@Infix, Ethik in den Kontext mit börsennotierten Unternehmen zu setzen ist irgendwie befremdlich.

charmin

Elder
^_^
Avatar
Registered: Dec 2002
Location: aut_sbg
Posts: 15160
In deinem Post ist einfach soviel falsch. Sorry, ich spiel das Spiel nicht mehr mit. Wir habens verstanden. Nvidia zerstört dein Hobby und wir müssens in jedem AI und Nvidia Thread ausbaden.

Ich poste ab jetzt nur noch on topic hier herinnen und Spar mir die sinnlos verplemperte Lebenszeit.

InfiX

she/her
Avatar
Registered: Mar 2002
Location: Graz
Posts: 14449
Zitat aus einem Post von Starsky
@Infix, Ethik in den Kontext mit börsennotierten Unternehmen zu setzen ist irgendwie befremdlich.

jo eh, aber ganz auf hardware verzichten ist halt auch fad :)

Zitat aus einem Post von charmin
Ich poste ab jetzt nur noch on topic hier herinnen und Spar mir die sinnlos verplemperte Lebenszeit.
hey, that's my line!

click to enlarge

mein angebot steht aber, sollte ich tatsächlich etwas falsches gesagt haben gerne berichtigen :)
vielleicht passt aber meine meinung zu dem thema aber auch einfach nur nicht zu deiner und es liegt garnicht an den fakten.

muss auch nicht der arme charmin machen, kann jeder für sich recherchieren.

e: und bevor mir jetzt wieder wer mit ich wär passiv agressiv kommt :D wie soll ich das thema denn sonst nehmen wenn ned mit humor, die welt ist sonst schon frustrierend genug.
Bearbeitet von InfiX am 08.01.2025, 20:58

Starsky

Erdbeeren für ALLE!
Registered: Aug 2004
Location: Proletenacker
Posts: 14670
https://www.computerbase.de/news/pr...-pc-chip.90945/

Hat jetzt zwar nicht explizit mit Fake FPS und AI zu tun, aber wenn NV und MediaTek gemeinsame Sache für Desktop und Laptop machen, ist das schon ein Indiz wohin die Reise künftig geht. MediaTek ist mittlerweile gegenüber Qualcomm richtig konkurrenzfähig geworden und könnte da wirklich mit NV ein Monster erschaffen, wo auch AMD mit CPUs als auch Apple mit deren Chips das Lachen vergehen könnte.

mr.nice.

differential image maker
Avatar
Registered: Jun 2004
Location: Wien
Posts: 6550
Ich kann das grundsätzliche Unbehagen von InfiX DLSS gegenüber verstehen und mir ging es auch so. Gerade (multi) frame generation hat in seiner aktuellen Ausprägung nachweislich negative Auswirkungen auf die Eingabelatenz, selbst wenn diese erstaunlich gering sind, ich will genauso wenig, dass sich Kameraschwenks in Spielen schwammiger anfühlen als früher. Ich bin überzeugt DLSS5 wird noch besser werden und wir werden vermutlich an den Punkt kommen, wo der zusätzliche input lag im Mikrosekunden Bereich liegt und menschlich nicht mehr wahrnehmbar ist.

Die Tatsache, dass diese Technologie DLSS an einen einzigen Hersteller gebunden ist, ist meiner Meinung nach der größte Kritikpunkt. Hier ist AMDs und Intels Ansatz, deren Technologien FSR und XeSS offen und herstellerunabhängig gestaltet sind, einfach besser. Es bleibt zu hoffen, dass Nvidia sich in diesem Bereich zukünftig großzügiger zeigen wird. Selbst wenn deren Algorithmen auf anderer Hardware aufgrund fehlender Features nicht lauffähig sind.

Meine Einwände sind folgende, ich finde die Wortwahl "Fake FPS" falsch, richtiger wäre die Bezeichnung "nicht nachvollziehbar generierte frames", denn dass ist es was gut trainierte neuronale Netze machen. Man füttert sie mit Input und sie liefern sehr schnell, sehr hochwertigen Output, der mit traditionellen Methoden nicht erreichbar wäre, allerdings lässt sich im Nachhinein nicht mehr exakt sagen, wie dieses Ergebnis zu Stande gekommen ist. Dass diese Tatsache Unbehagen bereitet, finde ich, ist nur allzu menschlich. Aber das ist der große Paradigmenwechsel in dem wir uns befinden.

Selbst auf Chipebene wird mit Synopsys EDA Tools seit 2021 künstliche Intelligenz eingesetzt, man kann also davon ausgehen, dass Teile von Blackwell tatsächlich bereits derart optimiert wurden, wie es rein mit menschlicher Intelligenz und Ingenieurskunst nicht mehr möglich gewesen wäre und wir das resultierende Ergebnis im Detail nachträglich auch gar nicht mehr nachvollziehen können. Das ist anfänglich schwer auszuhalten, aber das ist mittlerweile die Realität in der wir leben.

Mein Ansatz ist daher ein pragmatischer, wenn für mich selbst das Ergebnis besser ist als es mit traditionellen Methoden möglich wäre, dann akzeptiere ich das und nehme die Verbesserungen gerne mit, auch wenn sich dadurch eine gewisse Unschärfe im Entstehungsprozess ergibt.

Starsky

Erdbeeren für ALLE!
Registered: Aug 2004
Location: Proletenacker
Posts: 14670
AMD hat mit dem offenen FSR bislang sicher gut beigetragen, aber mit FSR4 ist ja explizit RDNA4 erforderlich und damit ist es mit dem offenen Standard wohl vorbei.
Ich gehe davon aus, daß die klassische GPU künftig noch weit mehr NPU Anteile hat und das klassische Rendern wohl so nicht mehr fokussiert wird.
Im Endeffekt sind ja auch gerenderte Bilder nicht wirklich da und ob jetzt die GPU oder NPU bewegte Bilder erzeugt ist sekundär wenn das Resultat mit der Latenz passt.

charmin

Elder
^_^
Avatar
Registered: Dec 2002
Location: aut_sbg
Posts: 15160
Naja du musst ja immer noch die Originalbilder berechnen. Ohne die geht auch kein FSR/DLSS.
Aber ja, ich denke auch dass das noch mehr kommt und hoffentlich mit besserer Bildqualität.

b_d

© Natural Ignorance (NI)
Avatar
Registered: Jul 2002
Location: 0x3FC
Posts: 10598
ich hab mit FSR nur auf der steam deck erfahrung, und da hat's halt das problem, dass aus matsch marginal besserer matsch wird. sobald wir von auflösungen reden die groß genug sind ist auch das generierte besser, also dort lass ich mir diese techniken einreden.

bei frame generation wirds glaub ich ähnlich sein. von 30fps auf 200fps kann nur ein laggy fiebertraum sein. wenn wir aber von 60fps auf 120fps reden schauts ev schon anders aus.

auf jeden fall eine interessante entwicklung. gerade im handheld bereich dann, wenn die ausgangsbasis mal besser wird.

Jedimaster

Here to stay
Avatar
Registered: Dec 2005
Location: Linz
Posts: 3359
Was mit dem weitertreiben dieser Technologie auch ein Thema wird sind Beweisvideos für Cheaten - und zwar auf Lanpartys oder Live-Esports-Turnieren. Da wird halt auch der Livestream bzw. jeder Monitor mit seinen angezeigten Frames übertragen, was macht jetzt eine Jury bei einem Turnier oder Event, wenn zwei Monitore die selbe Situation unterschiedlich zeigen weil verschieden AI-Generiert ? ;)

Sprich auf dem einen Monitor ist eindeutig zu sehen, das der Schuss ein einwandfreier Headshot war, beim anderen sieht man das der Spieler sich bereits geduckt hat. Da wirds möglicherweise noch einiges an Diskussionen geben. (Jo das Beispiel is jetzt net sondernlich überlegt und an den Haaren herbeigezogen, aber ich glaub jedem ist klar in welche Richtung das ganze geht)

Latenztechnisch würden wir damit wieder in die gute alte Modemzeit zurückfallen, wo die latenzhohen Spieler nicht immer nur im Nachteil waren, sondern damit auch schwerer zu treffen waren, da sie sich für den Server wo anders befunden haben als die Client-PC's angezeigt haben.

Und ich freu mich schon wieder auf den Lanpartys auf Meldungen wie "so ein ******* Netzwerk, ich hab den klar getroffen, aber der Schuss wurde net registriert" :D

Starsky

Erdbeeren für ALLE!
Registered: Aug 2004
Location: Proletenacker
Posts: 14670
Wenn die NPU entsprechend potenter ist, wird wohl auch die Latenz geringer werden.
Und davon gehe ich schon aus.

@b_d: Welche FSR Versionen werden am Steamdeck genutzt, mir fehlt hier die Erfahrung? Aber wenn es nur Upscaling ist, dann ist es leider klar.

sk/\r

i never asked for this
Avatar
Registered: Dec 2002
Location: oö
Posts: 11012
Zitat aus einem Post von sk/\r
die diskussion find ich interessant.
am end vom tag ist nämlich _alles_ mathematik.
also das ein pixel für pixel für pixel "in echt" erzeugt wird.
aber auch das ein "fake" pixel zwischen zwei "echten" pixeln generiert wird.

es ist ja nur eine frage der genauigkeit, also des genauen rechnens, (die immer besser wird) bis man keinen unterschied mehr kennt.
imho natürlich.

aktuell stecken da noch viele kinderkrankheiten drin. das wird aber sicher von gen zu gen besser.

shameless self quote weil's in der diskussion scheinbar untergegangen ist und mein post eher fragend gestellt war. :D
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz