帳票処理
帳票処理 (ちょうひょうしょり、英: Forms processing)またはフォーム処理は、データフィールドに入力された情報を取得し、電子形式に変換する処理である。これは手動または自動で行われるが、一般的な処理では、ハードコピーのデータを人間が解釈し、データベースまたはその他の電子形式に入力される。
概要[編集]
最も広い意味で、帳票処理システムは、小さな申請帳票の処理から、複数のページを持つ大規模な調査帳票の処理にまで及ぶ可能性がある。手動で実行する場合、帳票処理に関連するいくつかの一般的な問題がある。これらは多くの面倒な人間の努力であり、ユーザーが入力したデータはタイプミスを引き起こす可能性があり、この長いプロセスから多くの時間の労力が発生する。帳票がコンピュータソフトウェア駆動型アプリケーションを使用して処理される場合、これらの一般的な問題は大幅に解決および最小化できる。帳票処理のほとんどの方法は、次の領域に対応している。
手動データ入力[編集]
このデータ処理方法には、帳票にあるデータを入力する人間の担当者が含まれる。データ入力の手動プロセスには、速度、精度、およびコストの面で多くの欠点がある[1]。 毎分50から80単語の平均的なプロのデータ入力担当者の速度に基づいて[2] 、15の1単語フィールドを持つ帳票の1時間あたり約200ページを惜しみなく見積もることができる（ページの読み取りと並べ替えの時間を数えません）。対照的に、最新の商用スキャナーは、毎分最大200ページをスキャンしてデジタル化できる[3]。 手動データ入力の次の大きな欠点は、誤植の可能性である。人件費と作業スペースを考慮に入れると、手動のデータ入力は非常に非効率的なプロセスである。
帳票自動処理[編集]
この方法では、事前定義されたテンプレートと構成を使用してデータ処理を自動化できます。この場合のテンプレートは、帳票または文書内のデータフィールドの場所を詳細に示した文書のマップになる。手動データ入力プロセスと比較して、帳票自動入力システムは、手動データ処理中に直面する問題を軽減するのに役立つ。
帳票自動入力システムは、機械印刷用の光学式文字認識（OCR）、チェック/マークセンスボックス用の光学式マーク読み取り（OMR）、バーコード認識（BCR）、手書き文字用のインテリジェント文字認識（ICR）などの様々な種類の認識方法を使用する。
帳票自動処理システムの技術を使用すると、ユーザーはスキャンした画像の文書をANSI、XML、CSV、PDFなどのコンピューターで読み取り可能な形式に処理したり、データベースに直接入力したりできる。
帳票処理は、データの基本的なキャプチャを超えて開発された。帳票処理には、認識プロセスが含まれるだけでなく、ドキュメントのスキャンからデータの抽出、そして多くの場合バックエンドシステムへの配信まで、ドキュメントのライフサイクル全体を管理するのにも役立つ。場合によっては、計算と分析を通じて適切にフォーマットされた結果を処理または生成することも含まれる場合がある。自動化された帳票処理システムは、毎日数百または数千の画像を処理する必要がある場合に役立つ。
最初のステップ：帳票構造の評価[編集]
帳票自動処理を理解するための最初のステップは、データの抽出が必要な帳票の種類を分析することである。帳票は、データを抽出するために、2つの高レベルの分類のいずれかに分類できる。 元々4つの分類が提案されていた[4]が、以下の2種類に落ち着いた。
- 固定帳票。この種類の帳票は、抽出されるデータが常にページ上の同じ絶対位置にある帳票として定義される。これにより、データを抽出するために、ある種類のレンズグリッドを文書およびこの文書の後続のすべての出現に適用できる。固定帳票の例は、典型的なクレジット申請帳票である[5]。
- 半構造化（または非構造化）帳票。この帳票は、データの場所とデータを保持するフィールドが文書ごとに異なる帳票です。この種類の文書は、固定形式ではないという事実によっておそらく最も簡単に定義される。文書キャプチャ業界では、半構造化帳票は非構造化帳票とも呼ばれる。これらの種類の帳票の例には、手紙、契約書、および請求書が含まれる。 AIIMの調査によると、組織内の文書の約80％が半構造化された定義に該当する[6]。
いずれの種類の帳票からのデータ抽出に使用される要素技術（以下で説明）は同じであるが、これらの適用方法は、文書の種類によって大幅に異なる。
要素技術[編集]
帳票自動入力システムを用いるデータ処理で利用する要素技術には、以下の様々な種類がある。
- OCR –光学式文字認識
- OMR –光学式マーク認識
- ICR –インテリジェント文字認識
- BCR –バーコード認識
- MICR –磁気インク文字認識
OCRは、機械で印刷された大文字/小文字のアルファベット、数字、アクセント付き文字、多くの通貨記号、数字、算術記号、拡張句読文字などを認識する。
ICRは、大文字、小文字、大文字と小文字の混合アルファベット、数字、通貨記号（$（ドル）、¢（セント）€（ユーロ）£（ポンド）、¥（円））、算術文字と句読文字（ピリオド、コンマ、引用符、二重引用符、！ ＆（） ？ @ {} \＃ ％* + – / ： ; <=>）を使用して、アメリカおよびヨーロッパ英語の手書き文字を認識する。
MICRは、小切手のMICRフォントの処理を容易にする認識技術である。これにより、小切手の決済でエラーが発生する可能性が最小限に抑えられる。また、資金のより簡単で迅速な送金にも役立つ。 MICRは、情報をスキャンして処理するための安全で高速な方法を提供する。
光学式マーク認識（OMR）は、手で記入された黒丸または印刷された帳票のチェックボックスを識別する。通常、OMRは単一および複数のマーク認識をサポートする。認識されるフィールドは、グリッド（行ごとの列）または単一の丸として指定できる。
バーコード認識は、Code39、CODABAR、 Interleaved 2 of 5 、Code93などを含む20を超える業界の一次元および二次元バーコードを読み取ることができる。画像内のすべてのバーコードまたは画像内の指定された領域を自動検出する。
処理[編集]
帳票自動処理のプロセスには、通常、次の手順が含まれる。
- 完成した帳票のバッチは、高速スキャナーを使用してスキャンされる
- 画像は、精度を向上させるために文書画像処理アルゴリズムでクリーンアップされる
- 帳票は元のテンプレート帳票に基づいて分類され、フィールドは適切な認識部品を使用して抽出される
- システムが信頼性の低いフラグを立てたフィールドは、人間の担当者による検証のためにキューに入れられる
- 確認済みのデータはデータベースに保存されるか、CSV、XML、PDFなどの検索可能なテキスト形式にエクスポートされる
前提条件[編集]
帳票自動処理には、手動のデータ入力に比べて多くの大きな利点があるが、それでもいくつかの制限がある。最高の精度を達成するには、いくつかの前提条件に従う必要がある。
- スキャン形式：スキャンしたファイルの形式、解像度とDPI、カラーモードが含まれる
- 構成：スキャンされた画像のレイアウトは、この自動化のために構成する必要がある
- 認識：事前定義された出力形式
- 結果/分析：キャプチャ値データ表示の結果の特定の形式。
非常に重要な考慮事項の1つは、文書に含まれるデータを記述するために使用されるメタデータを決定するインデックス作成である。この属性は、おそらく他のどの帳票処理ソリューションよりも優れている。
外部リンク[編集]
脚注[編集]
- ^ “Paperwork: The Ultimate Guide”. FormHero. 2012年5月2日閲覧。
- ^ Teresia R. Ostrach (1997), Typing Speed: How Fast is Average, オリジナルの2012-05-02時点におけるアーカイブ。 2012年5月2日閲覧。
- ^ “Kodak intros 200 page-per-minute i1860 commercial scanner”. Engadget. 2011年11月4日閲覧。
- ^ Kuznetsov, Sergei O.; Mandal, Deba P.; Kundu, Malay K.; Pal, Sankar Kumar (2011-06-25) (英語). Pattern Recognition and Machine Intelligence: 4th International Conference, PReMI 2011, Moscow, Russia, June 27 - July 1, 2011, Proceedings. Springer. ISBN 9783642217869
- ^ Vassylyev (2008年6月10日). “CAPTURING SEMI-STRUCTURED FORMS AND DOCUMENTS: CHALLENGES AND AVAILABLE TECHNOLOGIES”. 2017年4月28日時点のオリジナルよりアーカイブ。2017年4月4日閲覧。
- ^ “Forms Processing- user experiences of text and handwriting recognition (OCR/ICR)”. 2017年4月4日閲覧。