Baiduspider
出典: フリー百科事典『ウィキペディア（Wikipedia）』
Baiduspiderは、中国の検索サイト「百度」のために、ウェブサイトの情報を収集するロボット（クローラ）。
過去には非常に短い間隔で次々とリクエストを行うなどの問題によって、ウェブサーバを不安定に陥れる可能性があることから、アクセス拒否を行うサイトも見られた。 これに対し、百度は日本向けウェブサイトにおいてBaiduspiderが過剰な負荷をかけたことを謝罪[1]するとともにクローリングの頻度管理を統一するなどの対処策を発表している。また同年5月には負荷の少ない新型クローラーであるを投入し、ウェブサイトに与える負荷を平均数百バイト程度に抑えられるようになったと表明している[2]。
Robots.txtを利用することで、Baiduspiderによるサイトへの全アクセス、もしくは一部のアクセスを禁止することができる[3]。
[編集] 確認されているユーザーエージェント
Baiduspiderの確認されているUAは以下である
Baiduspider+(+http://help.baidu.jp/system/05.html#1)) Baiduspider+(+http://help.baidu.jp/system/05.html#2)
[編集] 脚注
- ^ 百度株式会社 (2007年3月8日). "Baidu（百度）- プレスセンター Baidu.jp、Baidu Spiderに関する御詫びと対処法について". 2008年5月22日 閲覧。
- ^ 百度株式会社 (2007年5月28日). "Baidu（百度）- プレスセンター Baidu.jp、負荷の少ない新型Spiderを投入". 2008年5月22日 閲覧。
- ^ 百度株式会社. "Robots.txtとは". 2008年5月22日 閲覧。
