メモリマップトファイル
メモリマップトファイル（memory-mapped file）はファイルまたはそれに類似するリソース（あるいはその一部）を仮想記憶空間の連続領域に直接マッピングしたものである。そのリソースは通常物理的にディスク上に存在するファイルだが、デバイス、共有メモリオブジェクトなどオペレーティングシステムがファイル記述子で参照できるリソースなら何でもよい。ファイルとメモリ空間の対応付けにより、アプリケーションはそれを主記憶の一部として扱うことができる。
利点
[編集]メモリマップトファイルの最大の利点は、I/O性能の向上であり、特に大きなファイルに対して使った際に顕著である。小さなファイルに対して使用すると、メモリへのマッピングはページ単位（通常4KiB）であるためフラグメンテーションによる無駄が生じやすい[1]。例えば5KiBのファイルをマッピングすると8KiBが割り当てられ、3KiBが無駄となる。メモリマップトファイルは通常のリード/ライト操作よりも2つの理由で高速である。1つは、プログラムのローカルメモリの単純な更新に比べ、システムコールは何倍もオーバーヘッドがかかる。2つめは、多くのオペレーティングシステムにおいて実際にマッピングされているメモリはカーネルの管理するページキャッシュ（ファイルキャッシュ）だという点で、ユーザー空間にコピーを作成する必要がない。
アプリケーションレベルのメモリマップトファイルも物理的ファイル操作に比べて優れていることが多い。アプリケーションはファイル内のデータを直接その場で更新でき、ファイルの先頭からのシークしたり、更新したコンテンツを一時的に保管するなどの処理が不要となる。メモリマップトファイルは内部ではページ単位で扱われるので、先頭から順にアクセスする場合（例えばフラットファイルデータベースやコンフィギュレーションファイルなどの場合）、新たなページ境界をまたぐときだけディスクアクセスを必要とし、1回の操作でより大きな部分をディスクに書き込むことができる。
メモリマップトファイルの考えられる利点の1つとして「遅延ロード」がある。すなわち、大きなファイルをマッピングしても実際には少量のメモリしか使わない。搭載している物理メモリ量よりずっと大きいファイル全体をロードしようとすると、OSはディスクからメモリへの読み込みとメモリからディスクへの書き出しを同時に行わなくてはならなくなり、頻繁にスラッシングが発生することになる。メモリマッピングはスワップファイルを完全に迂回するだけではなく、データの編集が行われた部分だけを小さなページ単位でロードすればよく、デマンドページングの技法と似ている。
メモリマッピング処理はメモリ管理が行い、同じサブシステムがスワップファイルも担当している。メモリマップトファイルはページ単位にメモリにロードされ、ページサイズはOSが性能を最適化するよう選択する。スワップファイル管理は仮想記憶システムの重要な要素であり、ファイルをページ単位でメモリにロードする部分は高度に最適化されているのが一般的である[2]。
欠点
[編集]メモリマップトファイルが使われる最大の理由は性能である。それでも、そこにはトレードオフが存在しうる。標準I/Oはシステムコールとメモリコピーのオーバーヘッドがあるためコストが高い。メモリマップトファイルのコストはマイナーなページフォールトのコストであり、プロセスの仮想空間にマッピングされていない部分のデータブロックをページキャッシュにロードする際のコストである。状況によってはそのI/Oが多大になり、標準のファイルI/Oより遅くなることもある[3]。
もう1つの欠点として、ファイルが大きすぎて全体を一度にマッピングできない場合がある。その場合、ファイルの一部分のみをマッピングし、必要に応じてマッピングを切り換えることになるが、処理が複雑化する。例えば、インテルのIA-32では、4GiBかそれ以下でしかマッピングできない。
一般的用法
[編集]最も一般的な用途は、Microsoft Windows やUnix系のOSにおけるプロセスローダである。プロセスを開始する際にOSはメモリマップトファイルの機構を使って実行ファイルをマッピングし、何らかのローダブルモジュールをマッピングし、実行開始させる。この際にデマンドページングという技法を使い、実際に参照を行った部分だけをページ単位に物理メモリにロードする[4]。すなわち、OSは実行ファイルの実行に実際に必須な部分だけを選択的にロードする。
もう1つの一般的用途は、複数プロセス間のメモリ共有に使用する場合である。x86アーキテクチャのプロテクトモードで動作する現代のOSでは、プロセスは他のプロセスに割り当てられたメモリ空間に通常アクセスできない。それを行おうとすると不正ページフォールトまたはセグメンテーション違反が発生する。メモリを共有する技法はいくつかあり、中でもメモリマップトファイルは最も一般的である。複数のアプリケーションが単一の物理ファイルを同時にそれぞれのメモリ空間にマッピングし、同時にアクセスできる。例えば Microsoft Windows はアプリケーションがシステムのページファイル（スワップファイル）自体を共有セグメントにメモリマップする機構を提供しており、それによってデータを共有できる。
サポートしているプラットフォーム
[編集]現代の多くのオペレーティングシステムやランタイム環境でメモリマップトファイルへのアクセスが何らかの形でサポートされている。
- POSIX (mmap)
- ファイル識別子、ファイル先頭からのオフセット、長さを指定してマッピングを生成する mmap() がPOSIX仕様の一部として定義されており、POSIX準拠の各種システム、UNIX、Linux、macOS、OpenVMS などに実装されている。
- Microsoft Windows
- メモリマップトファイルのためのAPIとして CreateFileMapping() などを用意している[5]。
- Boost C++ ライブラリ
- Microsoft Windows と POSIX準拠プラットフォームのためのメモリマップトファイルの移植性のある実装を提供している[6]。
- Java
FileChannelなど、メモリマップトファイルにアクセスするクラスやメソッドを提供している。- D言語
- 標準ライブラリ（std.mmfileモジュール）でメモリマップトファイルをサポートしている[7]。
- Ruby
- Mmap というgem（ライブラリ）があり、メモリマップトファイルを実装している。
- Python
- バージョン1.6から標準ライブラリに mmap モジュールが含まれている[8]。実装はプラットフォームが Windows か Unix系かで大きく異なる。
- Perl
- CPANにいくつかのメモリマップトファイル用モジュールがある。例えば、Sys::Mmap[9] や File::Map[10] がある。
- .NET Framework
- P/Invokeで Windows API 経由で直接メモリマップトファイルを使える。P/Invokeを必要としないマネージコードでのメモリマップトファイルはバージョン4から導入された[11]。それ以前のバージョンではサードパーティから同様のライブラリが提供されていた[12]。
- PHP
- かつては file_get_contents() などでメモリマップトファイルを利用していたが、5.3 でそれが削除された[13]。
- R言語
- CRAN上のライブラリに bigmemory があり、Boost ライブラリのメモリマップトファイルを利用して大規模行列をメモリにマッピングする。
関連項目
[編集]脚注
[編集]- ^ Using mmap() for Advanced File I/O BrainDump Tutorials
- ^ "What Do Memory-Mapped Files Have to Offer?".
- ^ read vs. mmap (or io vs. page faults) by Matthew Dillon
- ^ "Demand Paging"
- ^ CreateFileMapping Function (Windows)
- ^ “Memory-Mapped Files”. Boost.org (2 February 2008). 2011年12月4日閲覧。
- ^ “std.mmfile - D Programming Language”. Digital Mars. 2011年12月4日閲覧。
- ^ “New Modules in 1.6”. 2006年12月30日時点のオリジナルよりアーカイブ。2008年12月23日閲覧。
- ^ “Sys::Mmap Perl Module”. 2012年10月25日閲覧。
- ^ “File::Map Perl Module”. 2012年10月25日閲覧。
- ^ see Memory-Mapped Files
- ^ DotNet Archived 2010年4月19日, at the Wayback Machine.
- ^ see revision log