Die Ereignisse überschlagen sich mal wieder im Hause Nintendo. Erst gestern sah sich Nintendo gezwungen, einen Bericht rund um 4k-Devkits einer potenziellen neuen Switch-Revision zu dementieren. Heute folgte dann die nächste Überraschung: Auf der Plattform Free Patents Online veröffentlichte Nintendo zwei Patente, die sich mit Machine Learning im Allgemeinen und KI-Upscaling-Methoden im Speziellen beschäftigen.
Diese KI-Upscaling-Methoden ähneln der DLSS-Technologie von NVidia. Doch wofür steht diese Abkürzung überhaupt? DLSS steht für Deep Learning Super Sampling. Es sorgt dafür, dass weniger Pixel gerendert werden müssen – eine KI übernimmt das Erstellen von scharfen Bildern mit höherer Auflösung. Durch dieses Deep Learning-Netzwerk laufen Spiele zudem mit einer erhöhten Bildrate, somit verbessert sich das Spielerlebnis deutlich.
Ermöglicht wird diese Methode durch die Tensor-Cores, die dafür sorgen, dass KI-Berechnungen beschleunigt und der Algorithmus in Echtzeit ausgeführt werden können. Auch rechenintensive Rendering-Algorithmen, wie Echtzeit-Raytracing, zählen zur möglichen Bandbreite von aktuellen Technologien zur Performance-Optimierung.
Hauseigenes KI-Upscaling anstatt DLSS?
Die beiden Patente Nintendos wurden am 25. März 2020 eingereicht, welches in etwa den Zeitpunkt betrifft, zu dem NVidia gerade die verbesserte Version ihrer Technologie auf den Markt brachten. Arbeitete Nintendo also an einer eigenen Lösung, um niedrigauflösende Spielinhalte auf eine angemessene Auflösung hochzuskalieren? Es besteht die Möglichkeit, dass sich diese zwei Ereignisse zufällig geschnitten haben. Es wäre schon etwas verwunderlich, wenn die beiden eng miteinander arbeitenden Parteien nicht im Vorfeld über die Möglichkeit der Nutzung von DLSS-fähigen Chips ausgetauscht hätten.
Zudem sorgte NVidia Anfang diesen Jahres für die Implementierung eines DLSS-Plugins in die Unreal Engine 4, welche von der Nintendo Switch unterstützt wird und somit auch dem Videospielgiganten in die Karten spielen könnte. Die von Nintendo speziell für die Switch entwickelte Technologie könnte jedoch auch mit der von NVidia zusammenarbeiten, um eine Hochskalierung aller Inhalte zu ermöglichen – beispielsweise Retro-Inhalte.
Was besagen die Patente denn nun genau?
Beide Patente behandeln „SYSTEMS AND METHODS FOR MACHINE LEARNED IMAGE CONVERSION“, also ein System zur Umwandlung von Bildern durch Verwendung eines geschulten neuronalen Netzwerks. Die beiden Patente kannst du dir hier ansehen: (→ zu Application 20210304355, 20210304356)
Genauer gesagt wird das Quellbild in Blöcke unterteilt, und zu jedem Pixelblock werden Kontextdaten hinzugefügt. Die entstandenen Kontextblöcke werden in Kanäle aufgeteilt, und jeder Kanal desselben Kontextblocks wird zur selben Aktivierungsmatrix hinzugefügt. Die Aktionsmatrix wird dann mit einem geschulten neuronalen Netz abgeglichen, um eine veränderte Aktivierungsmatrix zu erhalten. Die geänderte Aktivierungsmatrix wird dann verwendet, um ein konvertiertes Bild zu erzeugen.
Nintendos Beschreibungen in den Patenten beziehen sich oftmals auf die Hochkonvertierung von 540p auf 1080p – dies dürfte also die hauptsächliche Anwendung darstellen. Das Unternehmen stellt aber auch klar, dass sich die in den Patenten beschriebenen Techniken auch auf andere Bildgrößen anwenden lassen – beispielweise von 720p auf 1080p, 480p auf 1080p, 1080p auf 1440p, 1080p auf 4k/3840×2160 und 720p auf 4k.
Stellen diese Patente nun eine Verbindung zum bereits dementierten Bericht zu den 4k-Devkits der Switch dar? Möglich; allerdings wissen wir, dass Nintendo immer an neuer Hardware arbeitet. Somit könnte es sich auch um die nächste Generation der Nintendo-Konsolen handeln. Nach Aussagen der von uns genutzten Quelle soll diese Technologie Ende 2022 oder Frühling 2023 zum Einsatz kommen.
Haltet ihr es für möglich, dass Nintendo tatsächlich über das Hochskalieren von Spielinhalten nachdenkt? Denkt ihr, dass die Hauptanwendung auf ein Ausgangssignal von 1080p abzielt?
Quelle: Nintendo Leaker (Twitter)
Marcel ist im Jahr 1986 geboren, dem Jahr, wo seine Lieblings-Spielereihe ihren Ursprung hat: The Legend of Zelda. Mit seinen nun mehr als 30 Jahren Lebens- und ca. 25 Jahren Nintendo-Erfahrung versucht er euch mit Liebe und Leidenschaft auf dem Laufenden zu halten!
Antworten