ディープ・ラーニング・スーパー・サンプリング

出典: フリー百科事典『ウィキペディア(Wikipedia)』

ディープ・ラーニング・スーパー・サンプリング英語: Deep learning super sampling(DLSS))は、NVIDIAによって開発され、一部のビデオゲームでリアルタイムに使用するためのNvidiaグラフィックカード専用英語版の画像アップスケーリングテクノロジーである。ディープラーニングを使用して、低解像度の画像を高解像度にアップスケールし、高解像度のコンピューターモニターに表示する。

NVIDIAは、このテクノロジーが画像を高解像度でネイティブにレンダリングするのと同様の品質で画像をアップスケールするが、ビデオカードによる計算が少なくてすむため、特定の解像度でより高いグラフィック設定とフレームレートが可能になると主張している[1]。NVIDIAは、「DLSS2.0はネイティブ解像度に匹敵する画質を提供する」と主張している[2]

2021年6月の時点で、このテクノロジーはGeForce RTX 20およびGeForce RTX 30シリーズGPUでのみ利用可能。

歴史[編集]

NVIDIAは、2018年9月に発売されたGeForce RTX20シリーズGPUの主要機能としてDLSSを装備した[3]。当時は、いくつかのビデオゲーム(バトルフィールドV [4]メトロエクソダス)に限定されていた。アルゴリズムは、それが適用された各ゲームで特別に調整する必要があり、結果は通常で、単純な解像度のアップスケーリングほど良くなかった[5][6]

2019年、ビデオゲームコントロールには、レイトレーシングと、TensorCoreを使用しなかったDLSSの改良版が付属していた[7][8]

2020年4月、NVIDIAはドライバーバージョン445.75を提供し、DLSS 2.0という名前のDLSSの改良版を出荷した。これは、コントロールやウルフェンシュタイン:ヤングブラッド英語版などのいくつかの既存のゲームで利用でき、今後のゲームでも利用できるようになる。今回、NVIDIAは、Tensor Coreを再び使用し、AIを各ゲームで特別に調整する必要はないと述べた[3][9]

DLSS 2.0の副作用は、MSAA英語版TSAA英語版などのアンチエイリアス手法ではうまく機能しないように思われることである。これらの手法をDLSSで有効にすると、パフォーマンスに大きな悪影響がある[10]

2021年7月の時点で、DLSS 2.0は、ゲーム開発者がゲームごとに含める必要がある。

リリース履歴[編集]

リリース 発売日 ハイライト
1.0 2019年2月 AIを使用し、バトルフィールドVメトロエクソダスなどの特定のゲーム用に特別に調整された最初のバージョン[4]
2.0(最初の反復) 2019年8月 CUDAシューダーコアで実行され、特にコントロールに適合した進行中のバージョン2.0の近似AIを使用する。バージョン1.9とも呼ばれる最初の2.0バージョン[7][3][11]
2.0(2回目の反復) 2020年4月 Tensor Coreを再度使用し、一般的に調整された2番目の2.0バージョン[12]

品質プリセット[編集]

標準DLSSプリセット[13]
品質プリセット[注釈 1] スケールファクター[注釈 2] レンダリングスケール[注釈 3]
品質 1.50x 66.6%
バランス 1.72倍 58.0%
パフォーマンス 2.00x 50.0%
ウルトラパフォーマンス(v2.1以降) 3.00x 33.3%
  1. ^ アルゴリズムは必ずしもこれらのプリセットを使用して実装する必要はなく、実装者がカスタムの入力および出力解像度を定義することも可能。
  2. ^ 入力解像度を出力解像度にアップサンプリングする際に使用されるスケールファクターのこと。例えば、540pでレンダリングされたシーンを2.00xのスケールファクターで表示すると、出力解像度は1080pになる。
  3. ^ アップサンプリングの前に内部でシーンをレンダリングする際に使用される、出力解像度と比較したレンダリングスケールのこと。例えば、1080pのシーンを50%のレンダリングスケールでレンダリングした場合、内部解像度は540pになる。

アルゴリズム[編集]

DLSS 1.0[編集]

NVIDIAは、DLSS 1.0は、従来のスーパーサンプリングを使用して「完璧なフレーム」を生成することで各ターゲットゲーム画像に対して機能し、これらの結果の画像でニューラルネットワークを調整したと説明した。 2番目のステップでは、初期結果でエイリアス入力を認識するようにモデルを調整した[14][15]

DLSS 2.0[編集]

DLSS2.0は次のように機能する[16]

  • ニューラルネットワークは、スーパーコンピューターでの超高解像度のビデオゲームの「理想的な」画像と同じゲームの低解像度画像を使用して、NVIDIAによって学習され、ビデオカードドライバに保存される。 NVIDIAはDEX-1英語版サーバーを使用してネットワークのトレーニングを実行すると言われている[17]
  • ドライバーに保存されているニューラルネットワークは、実際の低解像度画像を参照と比較し、完全な高解像度の結果を生成。調整されたニューラルネットワークによって使用される入力は、ゲームエンジンによってレンダリングされた低解像度のエイリアス画像と、同じくゲームエンジンによって生成された同じ画像からの低解像度の動きベクトルである。モーションベクトルは、次のフレームがどのように見えるかを推定するために、シーン内のオブジェクトがフレーム間を移動している方向をネットワークに通知する[18]

アーキテクチャ[編集]

DLSSは、GeForce RTX 20およびGeForce RTX 30シリーズのGPUで、Tensor Coresと呼ばれる専用の AIアクセラレータでのみ使用できる[18][19]

Tensor Coreは、Tesla V100の製品ラインで最初に使用されたNVIDIA Volta英語版 GPUマイクロアーキテクチャ以降に利用可能[20]。それらの特異性は、各Tensorコアが16ビット浮動小数点4 x 4マトリックスで動作し、コンパイラレベルでもCUDA C ++レベルで使用されるように設計されているように見えることである[21]

Tensor Coreは、32の並列スレッドでCUDA ワープレベルプリミティブを使用して、並列アーキテクチャを活用する[22]。ワープは、同じ命令を実行するように構成された32 スレッドのセットである。

脚注[編集]

[脚注の使い方]
  1. ^ Nvidia RTX DLSS: Everything you need to know”. Digital Trends (2020年2月14日). 2020年4月5日閲覧。 “Deep learning super sampling uses artificial intelligence and machine learning to produce an image that looks like a higher-resolution image, without the rendering overhead. Nvidia’s algorithm learns from tens of thousands of rendered sequences of images that were created using a supercomputer. That trains the algorithm to be able to produce similarly beautiful images, but without requiring the graphics card to work as hard to do it.
  2. ^ What is DLSS? Nvidia's RTX technology explained” (英語). Trusted Reviews (2021年3月23日). 2021年3月30日閲覧。
  3. ^ a b c Nvidia DLSS in 2020: stunning results”. techspot.com (2020年2月26日). 2020年4月5日閲覧。
  4. ^ a b Battlefield V DLSS Tested: Overpromised, Underdelivered”. techspot.com (2019年2月19日). 2020年4月6日閲覧。 “Of course, this is to be expected. DLSS was never going to provide the same image quality as native 4K, while providing a 37% performance uplift. That would be black magic. But the quality difference comparing the two is almost laughable, in how far away DLSS is from the native presentation in these stressful areas.
  5. ^ AMD Thinks NVIDIA DLSS is not Good Enough; Calls TAA & SMAA Better Alternatives”. techquila.co.in (2019年2月15日). 2020年4月6日閲覧。 “Recently, two big titles received NVIDIA DLSS support, namely Metro Exodus and Battlefield V. Both these games come with NVIDIA’s DXR (DirectX Raytracing) implentation that at the moment is only supported by the GeForce RTX cards. DLSS makes these games playable at higher resolutions with much better frame rates, although there is a notable decrease in image sharpness. Now, AMD has taken a jab at DLSS, saying that traditional AA methods like SMAA and TAA “offer superior combinations of image quality and performance.”
  6. ^ Nvidia Very Quietly Made DLSS A Hell Of A Lot Better”. Kotaku (2020年2月22日). 2020年4月6日閲覧。 “The benefit for most people is that, generally, DLSS comes with a sizeable FPS improvement. How much varies from game to game. In Metro Exodus, the FPS jump was barely there and certainly not worth the bizarre hit to image quality.
  7. ^ a b Remedy's Control vs DLSS 2.0 – AI upscaling reaches the next level”. Eurogamer (2020年4月4日). 2020年4月5日閲覧。 “Of course, this isn't the first DLSS implementation we've seen in Control. The game shipped with a decent enough rendition of the technology that didn't actually use the machine learning
  8. ^ NVIDIA DLSS 2.0 Update Will Fix The Geforce RTX Cards' Big Mistake”. techquila.co.in (2020年3月24日). 2020年4月6日閲覧。 “As promised, NVIDIA has updated the DLSS network in a new Geforce update that provides better, sharper image quality while still retaining higher framerates in raytraced games. While the feature wasn’t used as well in its first iteration, NVIDIA is now confident that they have successfully fixed all the issues it had before
  9. ^ HW News - Crysis Remastered Ray Tracing, NVIDIA DLSS 2, Ryzen 3100 Rumors” (2020年4月19日). 2020年4月19日閲覧。 ““The original DLSS required training the AI network for each new game. DLSS 2.0 trains using non-game-specific content, delivering a generalized network that works across games. This means faster game integrations, and ultimately more DLSS games.”
  10. ^ Evaluating NVIDIA DLSS 2.0 Quality And Performance In Mech 5 And Control”. hothardware.com (2020年3月27日). 2020年4月7日閲覧。 “One side effect of DLSS is that it doesn't seem to play nicely with MSAA (forced through the drivers) or TXAA enabled in the game. Performance actually tanked pretty hard with either of those anti-aliasing methods on top of DLSS 2.0, with the Quality mode only performing around half as fast as no DLSS
  11. ^ Edelsten (2019年8月30日). “NVIDIA DLSS: Control and Beyond”. nividia.com. 2020年8月11日閲覧。 “we developed a new image processing algorithm that approximated our AI research model and fit within our performance budget. This image processing approach to DLSS is integrated into Control”
  12. ^ NVIDIA DLSS 2.0 Review with Control – Is This Magic?”. techquila.co.in (2020年4月5日). 2020年4月6日閲覧。
  13. ^ NVIDIA preparing Ultra Quality mode for DLSS, 2.2.9.0 version spotted” (英語). VideoCardz.com. 2021年7月6日閲覧。
  14. ^ NVIDIA DLSS: Your Questions, Answered”. Nvidia (2019年2月15日). 2020年4月19日閲覧。 “The DLSS team first extracts many aliased frames from the target game, and then for each one we generate a matching “perfect frame” using either super-sampling or accumulation rendering. These paired frames are fed to NVIDIA’s supercomputer. The supercomputer trains the DLSS model to recognize aliased inputs and generate high quality anti-aliased images that match the “perfect frame” as closely as possible. We then repeat the process, but this time we train the model to generate additional pixels rather than applying AA. This has the effect of increasing the resolution of the input. Combining both techniques enables the GPU to render the full monitor resolution at higher frame rates.
  15. ^ A Supercomputer & AI Will Power NVIDIA RTX GPU's - NVIDIA RTX 2080 Performance. JAGS gaming. 23 August 2018. 2020年4月19日閲覧
  16. ^ NVIDIA's Deep Learning Super Sampling (DLSS) 2.0 Technology Is The Real Deal”. Forbes (2020年3月29日). 2020年4月7日閲覧。
  17. ^ NVIDIA DLSS 2.0: A Big Leap In AI Rendering”. Nvidia (2020年3月23日). 2020年11月25日閲覧。
  18. ^ a b NVIDIA DLSS 2.0: A Big Leap In AI Rendering”. Nvidia (2020年3月23日). 2020年4月7日閲覧。
  19. ^ NVIDIA TENSOR CORES”. Nvidia. 2020年4月7日閲覧。
  20. ^ On Tensors, Tensorflow, And Nvidia's Latest 'Tensor Cores'”. tomshardware.com (2017年4月11日). 2020年4月8日閲覧。
  21. ^ The NVIDIA Titan V Deep Learning Deep Dive: It's All About The Tensor Cores”. AnandTech (2018年7月3日). 2020年4月8日閲覧。
  22. ^ Using CUDA Warp-Level Primitives”. Nvidia (2018年1月15日). 2020年4月8日閲覧。 “NVIDIA GPUs execute groups of threads known as warps in SIMT (Single Instruction, Multiple Thread) fashion

関連項目[編集]

外部リンク[編集]