ディープ・ラーニング・スーパー・サンプリング

出典: フリー百科事典『ウィキペディア（Wikipedia）』

ディープ・ラーニング・スーパー・サンプリング（英語: Deep learning super sampling（DLSS））は、NVIDIAによって開発され、一部のビデオゲームでリアルタイムに使用するためのNvidiaグラフィックカード専用（英語版）の画像アップスケーリングテクノロジーである。本項では略称である『DLSS』を用いて記述する。

概要[編集]

DLSSはその名の通り、ディープラーニング（深層学習）を使用して、低解像度の画像を高解像度にアップスケールし、高解像度のコンピューターモニターに表示する超解像技術の一つである。

NVIDIAは、このテクノロジーが画像を高解像度でネイティブにレンダリングするのと同様の品質で画像をアップスケールするが、ビデオカードによる計算が少なくてすむため、特定の解像度でより高いグラフィック設定とフレームレートが可能になると主張している[1]。NVIDIAは、「DLSS2.0はネイティブ解像度に匹敵する画質を提供する」と主張している[2]。

2023年8月の時点で、このテクノロジーはGeForce RTX 20・GeForce RTX 30・GeForce RTX 40シリーズGPUでのみ利用可能。

歴史[編集]

NVIDIAは、2018年9月に発売されたGeForce RTX20シリーズGPUの主要機能としてDLSSを装備した[3]。当時は、限られたいくつかのビデオゲーム（バトルフィールドV [4]とメトロエクソダス）にのみ対応が限定されていた。またアルゴリズムを対応された各ゲームで個別に調整する必要があり、通常の効果は単純な解像度のアップスケーリングと比較して大きな差はなかった[5][6]。

2019年、ビデオゲームコントロールには、レイトレーシングと、TensorCoreを使用しなかったDLSSの改良版が付属していた[7][8]。

2020年4月、NVIDIAはドライバーバージョン445.75を提供し、DLSS 2.0へのバージョンアップが行われた。これは、コントロールや『ウルフェンシュタイン：ヤングブラッド（英語版）』などのいくつかの既存のゲームで利用でき、今後のゲームでも利用可能になるとしている。2.0ではTensor Coreを再び使用することでAI学習データを用い、各ゲーム毎での個別調整する必要はないと述べた[3][9]。ゲーム側の対応と実装は引き続き個別に必要となる。
2.0のデメリットとしてはMSAA（英語版）やTSAA（英語版）などのアンチエイリアス手法が、適切に効果が発揮されない点がある。この設定の場合DLSSを有効にすると、パフォーマンスに大きな悪影響がある[10]。

2021年11月に2.3へとバージョンアップ。動きの激しい場面で発生するゴーストを、モーションベクトルをより高度に利用するよう改善したことで軽減に成功したとしている[11]。

2022年12月に3.0が提供され、通常のレンダリングと比べて性能が最大で4倍になるとし、加えて従来のアップスケールに加えてフレーム生成が追加された。CPUがボトルネックとなっていてもフレームレートを高めることが可能となる。レイテンシを軽減するためにNVIDIA Reflexが搭載。GeForce RTX 40シリーズのみで対応している[12]。

リリース履歴[編集]

リリース 発売日 ハイライト
1.0 2019年2月 AIを使用し、バトルフィールドVやメトロエクソダスなどの特定のゲーム用に特別に調整された最初のバージョン[4]。
2.0（最初の実装） 2019年8月 CUDAシューダーコアで実行され、特にコントロールに適合した進行中のバージョン2.0の近似AIを使用する。バージョン1.9とも呼ばれる最初の2.0バージョン[7][3][13]。
2.0（2回目の実装） 2020年4月 Tensor Coreを再度使用し、一般的に調整された2番目の2.0バージョン[14]で、4段階のゲーム画質設定モードが実装された。
2.3 2021年11月 動きの激しい場面で発生するゴーストを、モーションベクトルをより高度に利用するよう改善したことで軽減に成功したとしている[11]
3.0 2022年10月 DLSS超解像度、全く新しいDLSSフレーム生成、NVIDIA Reflexを組み合わせたバージョン[12]。
3.1 2023年1月 2023年8月に3.5発表時に明かされたマイナーアップデートバージョンで詳細不明[15]。
3.5 2023年10月予定 「Ray Reconstruction（光線再構築）」呼ばれる新技術が追加[15]され、この機能はRTX 20シリーズからRTX 30を含めた全てのRTXシリーズに対応する。

ゲーム画質モード（2.0以降）[編集]

標準DLSSプリセット[16]
品質プリセット[注釈 1] スケールファクター[注釈 2] レンダリングスケール[注釈 3]
クオリティ 1.50x 66.6％
バランス 1.72倍 58.0％
パフォーマンス 2.00x 50.0％
ウルトラパフォーマンス(v2.1以降) 3.00x 33.3％
  1. ^ アルゴリズムは必ずしもこれらのプリセットを使用して実装する必要はなく、実装者がカスタムの入力および出力解像度を定義することも可能。
  2. ^ 入力解像度を出力解像度にアップサンプリングする際に使用されるスケールファクターのこと。例えば、540pでレンダリングされたシーンを2.00xのスケールファクターで表示すると、出力解像度は1080pになる。
  3. ^ アップサンプリングの前に内部でシーンをレンダリングする際に使用される、出力解像度と比較したレンダリングスケールのこと。例えば、1080pのシーンを50％のレンダリングスケールでレンダリングした場合、内部解像度は540pになる。

バージョン[編集]

DLSS 1.0[編集]

NVIDIAはDLSS 1.0について、従来のスーパーサンプリングを使用して「完璧なフレーム」を生成することで、各ゲーム画像毎にニューラルネットワークで学習する必要があると説明した。 2番目のステップでは、初期結果でアンチエイリアシングやVRSといった映像処理をAIの処理に任せるという調整がなされた[17][18]。

DLSS 2.0[19][編集]

  • ニューラルネットワークは、スーパーコンピューターでの超高解像度のビデオゲームの「理想的な」画像と同じゲームの低解像度画像を使用して、NVIDIAによって学習され、ビデオカードドライバに保存される。 NVIDIAはDEX-1（英語版）サーバーを使用してネットワークのトレーニングを実行すると言われている[20]。
  • ドライバーに保存されているニューラルネットワークは、実際の低解像度画像を参照と比較し、完全な高解像度の結果を生成するもの。調整されたニューラルネットワークによって使用される入力は、ゲームエンジンによってレンダリングされた低解像度のエイリアス画像と、同じくゲームエンジンによって生成された同じ画像からの低解像度の動きベクトルである。モーションベクトルは、次のフレームがどのように見えるかを推定するために、シーン内のオブジェクトがフレーム間を移動している方向をネットワークに通知している[21]。

DLSS 3.0[12][編集]

  • 全く新しいフレームを生成するオプティカルマルチフレーム生成を追加し、最適な応答性を実現するNVIDIA Reflex低遅延技術を統合している。
  • DLSS フレーム生成畳み込みオートエンコーダーは、現在と前のゲームのフレーム、オプティカルフローアクセラレータで生成されたオプティカルフローフィールド、モーションベクターや深度などのゲームエンジンのデータの4つの入力を受け取る。アクセラレータは、連続した2つのゲーム内フレームを解析しフローフィールドを計算、フレーム1からフレーム2へピクセルが移動する方向と速度を捉える。
  • アクセラレータは、ゲーム エンジンのモーションベクター計算には含まれないパーティクル、リフレクション、シャドウ、ライティングなどのピクセルレベルの情報を取得することが可能であるとしている。

アーキテクチャ[編集]

DLSSは、GeForce RTX 20およびGeForce RTX 30シリーズのGPUで、Tensor Coresと呼ばれる専用の AIアクセラレータでのみ使用できる[21][22]。

Tensor Coreは、Tesla V100の製品ラインで最初に使用されたNVIDIA Volta（英語版） GPUのマイクロアーキテクチャ以降に利用可能[23]。それらの特異性は、各Tensorコアが16ビット浮動小数点4 x 4マトリックスで動作し、コンパイラレベルでもCUDA C ++レベルで使用されるように設計されているように見えることである[24]。

Tensor Coreは、32の並列スレッドでCUDA ワープレベルプリミティブを使用して、並列アーキテクチャを活用する[25]。ワープは、同じ命令を実行するように構成された32スレッドのセットである。

3.0はNVIDIA Ada Lovelaceアーキテクチャの新しい第4世代Tensor Coreとオプティカルフローアクセラレータによってのみ動作する。

脚注[編集]

[脚注の使い方]
  1. ^ “Nvidia RTX DLSS: Everything you need to know”. Digital Trends (2020年2月14日). 2020年4月5日閲覧。 “Deep learning super sampling uses artificial intelligence and machine learning to produce an image that looks like a higher-resolution image, without the rendering overhead. Nvidia’s algorithm learns from tens of thousands of rendered sequences of images that were created using a supercomputer. That trains the algorithm to be able to produce similarly beautiful images, but without requiring the graphics card to work as hard to do it.”
  2. ^ “What is DLSS? Nvidia's RTX technology explained” (英語). Trusted Reviews (2021年3月23日). 2021年3月30日閲覧。
  3. ^ a b c “Nvidia DLSS in 2020: stunning results”. techspot.com (2020年2月26日). 2020年4月5日閲覧。
  4. ^ a b “Battlefield V DLSS Tested: Overpromised, Underdelivered”. techspot.com (2019年2月19日). 2020年4月6日閲覧。 “Of course, this is to be expected. DLSS was never going to provide the same image quality as native 4K, while providing a 37% performance uplift. That would be black magic. But the quality difference comparing the two is almost laughable, in how far away DLSS is from the native presentation in these stressful areas.”
  5. ^ “AMD Thinks NVIDIA DLSS is not Good Enough; Calls TAA & SMAA Better Alternatives”. techquila.co.in (2019年2月15日). 2020年4月6日閲覧。 “Recently, two big titles received NVIDIA DLSS support, namely Metro Exodus and Battlefield V. Both these games come with NVIDIA’s DXR (DirectX Raytracing) implentation that at the moment is only supported by the GeForce RTX cards. DLSS makes these games playable at higher resolutions with much better frame rates, although there is a notable decrease in image sharpness. Now, AMD has taken a jab at DLSS, saying that traditional AA methods like SMAA and TAA “offer superior combinations of image quality and performance.””
  6. ^ “Nvidia Very Quietly Made DLSS A Hell Of A Lot Better”. Kotaku (2020年2月22日). 2020年4月6日閲覧。 “The benefit for most people is that, generally, DLSS comes with a sizeable FPS improvement. How much varies from game to game. In Metro Exodus, the FPS jump was barely there and certainly not worth the bizarre hit to image quality.”
  7. ^ a b “Remedy's Control vs DLSS 2.0 – AI upscaling reaches the next level”. Eurogamer (2020年4月4日). 2020年4月5日閲覧。 “Of course, this isn't the first DLSS implementation we've seen in Control. The game shipped with a decent enough rendition of the technology that didn't actually use the machine learning”
  8. ^ “NVIDIA DLSS 2.0 Update Will Fix The Geforce RTX Cards' Big Mistake”. techquila.co.in (2020年3月24日). 2020年4月6日閲覧。 “As promised, NVIDIA has updated the DLSS network in a new Geforce update that provides better, sharper image quality while still retaining higher framerates in raytraced games. While the feature wasn’t used as well in its first iteration, NVIDIA is now confident that they have successfully fixed all the issues it had before”
  9. ^ “HW News - Crysis Remastered Ray Tracing, NVIDIA DLSS 2, Ryzen 3100 Rumors” (2020年4月19日). 2020年4月19日閲覧。 ““The original DLSS required training the AI network for each new game. DLSS 2.0 trains using non-game-specific content, delivering a generalized network that works across games. This means faster game integrations, and ultimately more DLSS games.””
  10. ^ “Evaluating NVIDIA DLSS 2.0 Quality And Performance In Mech 5 And Control”. hothardware.com (2020年3月27日). 2020年4月7日閲覧。 “One side effect of DLSS is that it doesn't seem to play nicely with MSAA (forced through the drivers) or TXAA enabled in the game. Performance actually tanked pretty hard with either of those anti-aliasing methods on top of DLSS 2.0, with the Quality mode only performing around half as fast as no DLSS”
  11. ^ a b “NVIDIA，さらに高画質化した「DLSS 2.3」や，NVIDIA製GPU以外でも動く超解像技術「NVIDIA Scaling SDK」などを発表”. 4gamer.net (2021年11月16日). 2023年8月23日閲覧。
  12. ^ a b c “NVIDIA DLSS 3: AI による飛躍的な性能向上によりフレーム レートが最大 4 倍に加速”. NVIDIA (2022年9月20日). 2023年8月23日閲覧。
  13. ^ Edelsten (2019年8月30日). “NVIDIA DLSS: Control and Beyond”. nividia.com. 2020年8月11日閲覧。 “we developed a new image processing algorithm that approximated our AI research model and fit within our performance budget. This image processing approach to DLSS is integrated into Control”
  14. ^ “NVIDIA DLSS 2.0 Review with Control – Is This Magic?”. techquila.co.in (2020年4月5日). 2020年4月6日閲覧。
  15. ^ a b “「NVIDIA DLSS 3.5」発表 - 学習データはDLSS 3比で5倍に爆増、“光線再構築”でより忠実に”. +digital (2023年8月22日). 2023年8月23日閲覧。
  16. ^ “NVIDIA preparing Ultra Quality mode for DLSS, 2.2.9.0 version spotted” (英語). VideoCardz.com. 2021年7月6日閲覧。
  17. ^ “NVIDIA DLSS: Your Questions, Answered”. Nvidia (2019年2月15日). 2020年4月19日閲覧。 “The DLSS team first extracts many aliased frames from the target game, and then for each one we generate a matching “perfect frame” using either super-sampling or accumulation rendering. These paired frames are fed to NVIDIA’s supercomputer. The supercomputer trains the DLSS model to recognize aliased inputs and generate high quality anti-aliased images that match the “perfect frame” as closely as possible. We then repeat the process, but this time we train the model to generate additional pixels rather than applying AA. This has the effect of increasing the resolution of the input. Combining both techniques enables the GPU to render the full monitor resolution at higher frame rates.”
  18. ^ A Supercomputer & AI Will Power NVIDIA RTX GPU's - NVIDIA RTX 2080 Performance. JAGS gaming. 23 August 2018. 2020年4月19日閲覧。
  19. ^ “NVIDIA's Deep Learning Super Sampling (DLSS) 2.0 Technology Is The Real Deal”. Forbes (2020年3月29日). 2020年4月7日閲覧。
  20. ^ “NVIDIA DLSS 2.0: A Big Leap In AI Rendering”. Nvidia (2020年3月23日). 2020年11月25日閲覧。
  21. ^ a b “NVIDIA DLSS 2.0: A Big Leap In AI Rendering”. Nvidia (2020年3月23日). 2020年4月7日閲覧。
  22. ^ “NVIDIA TENSOR CORES”. Nvidia. 2020年4月7日閲覧。
  23. ^ “On Tensors, Tensorflow, And Nvidia's Latest 'Tensor Cores'”. tomshardware.com (2017年4月11日). 2020年4月8日閲覧。
  24. ^ “The NVIDIA Titan V Deep Learning Deep Dive: It's All About The Tensor Cores”. AnandTech (2018年7月3日). 2020年4月8日閲覧。
  25. ^ “Using CUDA Warp-Level Primitives”. Nvidia (2018年1月15日). 2020年4月8日閲覧。 “NVIDIA GPUs execute groups of threads known as warps in SIMT (Single Instruction, Multiple Thread) fashion”

関連項目[編集]

外部リンク[編集]

「https://ja.wikipedia.org/w/index.php?title=ディープ・ラーニング・スーパー・サンプリング&oldid=98129470」から取得