ウェブアーカイブ

出典: フリー百科事典『ウィキペディア(Wikipedia)』
移動: 案内検索

ウェブアーカイブ (web Archive) は、WWW(Web、ウェブ)全体もしくはその一部を収集し、そのコレクションを後世の研究者歴史家、一般大衆のために保存して、アーカイブとしたもの。Webのサイズは膨大であるため、Webアーカイブではクローラを使って自動収集を行う。最大規模のWebアーカイブ機関は、Web全体のアーカイブ作成を自動手動の両面で行っている「インターネット・アーカイブ」(Internet Archive)である。各国の国立図書館もまた文化的に重要なWebコンテンツを保存しようとしている。

2004年には、日本でもこの方面のアーカイブを検討するという方向が小泉内閣で打ち出され、国立国会図書館による事業が始まった。

Webの収集[編集]

Webアーカイブはクローラを使ってウェブページの収集プロセスを自動化している。クローラはWebの一般利用者がブラウザを使ってWebコンテンツを閲覧するのと同じようなやり方でWebページを辿っていく。Heritrixクローラは有名なツールの一つであり、アーカイブ的なクロールを行うのに用いられている。

Webアーカイブで収集されるのは、あらゆる種類のWebコンテンツである。これにはHTMLのウェブページ、スタイルシートJavaScript画像ビデオなどが含まれる。さらに収集したリソースに関するメタデータも蓄積する。例えば、アクセス日時、MIMEタイプ、サイズなど。これらのメタデータにより、アーカイブされているコレクションの信頼性同一性を確保できる。

アーカイビングの難しさと限界[編集]

Webアーカイブは収集を主としてクロールに頼っているため、Webクローリングの難しさに影響を受ける。

  • ロボット排除の取り決め(robots exclusion protocol)によりクローラはウェブサイトの一部へのアクセスが拒否されることがある。
  • ウェブサイトの大部分がDeep Webとして隠れた領域となっていることもある。例えば、フォームの先にあるはずの結果ページなどは、クローラはリンクを辿って行き着くことができないためDeep Webの領域となってしまう。
  • ウェブサーバーの中にはクローラに対して通常のWebブラウザに対するのとは別のページ内容を返すことがある。これはサーチエンジンを騙してサイトへのトラフィックを増やそうとする際に行われる手法の一つでもある。
  • クローラ・トラップが、クローラにページを無限に延々とダウンロードさせることがある(例えば、カレンダーなど)。このためクローラは通常、動的ページのダウンロード数の上限を設定されている。

Webは非常に巨大なため、その大部分を収集するには相当な計算機資源を必要とする。また、Web自体の内容の変化も速いため、サイト全体をクローラが収集する前にその内容が変わってしまうことさえある。

Webアーカイブが対処しなければならないのは技術的な側面だけではなく、知的財産権といった法的、社会的側面もある。Peter Lyman (2002)は「Webは一般にパブリックドメインのソースのように見られているが、これは著作権付きの情報である。従って、アーキビストはWebをコピーする法的権利を保持していない。」と述べている。 「インターネット・アーカイブ」のようにアーカイブしたコンテンツを一般に公開しているアーカイブの中には、コンテンツの所有者が一般公開を希望しない場合には、アーカイブしたコンテンツを公開から外したり、削除できるようにしているところもある。また、特定の場所からのみアクセス可能にしたり、特定の決められた利用法でのみアクセス可能にしたりしているアーカイブもある。

手動によるアーカイビング[編集]

「インターネット・アーカイブ」のようなアーカイブサイトは、ロボット(クローラ)が自動でサイトを片っ端からかき集めている一方、利用者が手動で任意のサイトを保存する機能もある。手動保存はURLを指定することで行われる。

手動保存専用のアーカイブサイトとしては、「ウェブ魚拓」、「ひよっ Hiyo.jp」がある。(保存するページの言語は関係ない)。海外での例としては「WebCite英語版」、「archive.today(旧称 Archive.is)」がある。

関連項目[編集]

参考文献[編集]

外部リンク[編集]