ドキュメント インテリジェンス レイアウト モデルとは

このコンテンツの適用対象:v4.0 (GA) | 以前のバージョン:v3.1 (GA)v3.0 (GA)v2.1 (GA)

Azure AI ドキュメント インテリジェンス レイアウト モデルは、機械学習に基づく高度なドキュメント分析 API です。 このモデルは、ドキュメント インテリジェンス クラウドで使用できます。 これを使用して、さまざまな形式のドキュメントを取得し、ドキュメントの構造化データ表現を返すことができます。 このモデルは、強化されたバージョンの強力な 光学式文字認識 (OCR) 機能とディープ ラーニング モデルを組み合わせて、テキスト、テーブル、選択マーク、およびドキュメント構造を抽出します。

ドキュメント構造のレイアウト分析

ドキュメント構造レイアウト分析は、ドキュメントを分析して関心のある領域とその相互関係を抽出するプロセスです。 目標は、より適切なセマンティック理解モデルを構築するために、ページからテキストと構造要素を抽出することです。 ドキュメント レイアウトには 2 種類のロールがあります。

• ジオメトリック ロール: テキスト、テーブル、図形、選択マークは、ジオメトリック ロールの例です。
• 論理ロール: タイトル、見出し、フッターはテキストの論理ロールの例です。

次の図は、サンプル ページの画像内の一般的なコンポーネントを示しています。

開発オプション

ドキュメント インテリジェンス v4.0: 2024-11-30 (GA) では、次のツール、アプリケーション、およびライブラリがサポートされています。

サポートされている言語

サポートされている言語の完全な一覧については、「 言語サポート: ドキュメント分析モデル」を参照してください。

サポートされるファイルの種類

ドキュメント インテリジェンス v4.0: 2024-11-30 (GA) レイアウト モデルでは、次のファイル形式がサポートされています。

入力の要件

• 写真とスキャン: 最良の結果を得るには、ドキュメントごとに 1 つの明確な写真または高品質のスキャンを提供します。
• PDF とTIFF: PDF とTIFF の場合、最大 2,000 ページを処理できます。 (Free レベルのサブスクリプションでは、最初の 2 ページのみが処理されます)。
• パスワード ロック: PDF がパスワードロックされている場合は、提出前にロックを解除する必要があります。
• ファイル サイズ: ドキュメントを分析するためのファイル サイズは、有料 (S0) レベルでは 500 MB、Free (F0) レベルでは 4 MB です。
• 画像のサイズ: 画像のサイズは、50 ピクセル x 50 ピクセルから 10,000 ピクセル x 10,000 ピクセルの間である必要があります。
• テキストの高さ: 抽出するテキストの最小高さは、1024 x 768 ピクセルの画像で 12 ピクセルです。 このディメンションは、1 インチあたり 150 ドットの約 8 ポイントのテキストに対応します。
• カスタム モデル トレーニング: トレーニング データの最大ページ数は、カスタム テンプレート モデルの場合は 500 ページ、カスタム ニューラル モデルの場合は 50,000 ページです。
• カスタム抽出モデルトレーニング: トレーニング データの合計サイズは、テンプレート モデルの場合は 50 MB、ニューラル モデルの場合は 1 GB です。
• カスタム分類モデル トレーニング: トレーニング データの合計サイズは 1 GB で、最大 10,000 ページです。 2024-11-30 (GA) の場合、トレーニング データの合計サイズは 2 GB で、最大 10,000 ページです。
• Office ファイルの種類 (DOCX、XLSX、PPTX): 文字列の最大長の制限は 800 万文字です。

モデルの使用、クォータ、サービスの制限の詳細については、「 サービスの制限」を参照してください。

レイアウト モデルの概要

ドキュメント インテリジェンスを使用して、テキスト、テーブル、テーブル ヘッダー、選択マーク、構造情報などのデータをドキュメントから抽出する方法について説明します。 以下のリソースが必要です。

• Azure サブスクリプション。 無料で作成できます。

• Azure portal の Document Intelligence Studio インスタンス。 無料価格レベル (F0) を使用して、サービスを試すことができます。 リソースがデプロイされたら、[リソースに移動] を選択してキーとエンドポイントを取得します。

  

キーとエンドポイントを取得したら、次の開発オプションを使用して、ドキュメント インテリジェンス アプリケーションをビルドしてデプロイします。

データの抽出

レイアウト モデルは、ドキュメントから構造要素を抽出します。 この記事の残りの部分では、次の構造要素と、ドキュメント入力から抽出する方法に関するガイダンスについて説明します。

• ページ
• 段落
• テキスト、行、および単語
• 選択マーク
• テーブル
• マークダウンへの出力応答
• 計数
• セクション

Document Intelligence Studio 内でサンプル レイアウト ドキュメント分析を実行します。 次に、結果タブに移動し、完全な JSON 出力にアクセスします。

ページ

pages コレクションは、ドキュメント内のページの一覧です。 各ページはドキュメント内で順番に表され、ページが回転しているかどうかを示す方向の角度と、幅と高さ (ピクセル単位の寸法) が含まれます。 モデル出力のページ単位は、次の表に示すように計算されます。

# Analyze pages.
for page in result.pages:
print(f"----Analyzing layout from page #{page.page_number}----")
print(f"Page has width: {page.width} and height: {page.height}, measured with unit: {page.unit}")

"pages": [
    {
        "pageNumber": 1,
        "angle": 0,
        "width": 915,
        "height": 1190,
        "unit": "pixel",
        "words": [],
        "lines": [],
        "spans": []
    }
]

選択したページを抽出する

大規模なマルチページ ドキュメントの場合は、 pages クエリ パラメーターを使用して、テキスト抽出用の特定のページ番号またはページ範囲を示します。

段落

レイアウト モデルは、 paragraphs コレクション内で識別されたすべてのテキスト ブロックを、 analyzeResultsの最上位オブジェクトとして抽出します。 このコレクション内の各エントリはテキスト ブロックを表し、抽出されたテキストを content および境界 polygon 座標として含めます。 spans情報は、ドキュメントのフルテキストを含む最上位contentプロパティ内のテキスト フラグメントを指します。

"paragraphs": [
    {
        "spans": [],
        "boundingRegions": [],
        "content": "While healthcare is still in the early stages of its Al journey, we are seeing pharmaceutical and other life sciences organizations making major investments in Al and related technologies.\" TOM LAWRY | National Director for Al, Health and Life Sciences | Microsoft"
    }
]

段落の役割

機械学習に基づく新しいページ オブジェクト検出では、タイトル、セクション見出し、ページ ヘッダー、ページ フッターなどの論理ロールが抽出されます。 ドキュメント インテリジェンス レイアウト モデルは、 paragraphs コレクション内の特定のテキスト ブロックに、モデルによって予測される特殊なロールまたは型を割り当てます。

抽出されたコンテンツのレイアウトを理解して、より高度なセマンティック分析を実現するために、非構造化ドキュメントで段落の役割を使用することをお勧めします。 次の段落ロールがサポートされています。

{
    "paragraphs": [
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "title",
                    "content": "NEWS TODAY"
                },
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "sectionHeading",
                    "content": "Mirjam Nilsson"
                }
    ]
}

テキスト、行、および単語

ドキュメント インテリジェンスのドキュメント レイアウト モデルでは、印刷と手書きスタイルのテキストが lines および wordsとして抽出されます。 styles コレクションには、線の手書きスタイル (検出された場合) と、関連付けられているテキストを指すスパンが含まれます。 この機能は、サポートされている手書き言語に適用されます。

Microsoft Word、Excel、PowerPoint、HTML の場合、ドキュメント インテリジェンス v4.0 2024-11-30 (GA) レイアウト モデルでは、埋め込みテキストがすべてそのまま抽出されます。 テキストは単語と段落として抽出されます。 埋め込み画像はサポートされません。

# Analyze lines.
if page.lines:
    for line_idx, line in enumerate(page.lines):
    words = get_words(page, line)
    print(
        f"...Line # {line_idx} has word count {len(words)} and text '{line.content}' "
        f"within bounding polygon '{line.polygon}'"
    )

    # Analyze words.
    for word in words:
        print(f"......Word '{word.content}' has a confidence of {word.confidence}")

"words": [
    {
        "content": "While",
        "polygon": [],
        "confidence": 0.997,
        "span": {}
    },
],
"lines": [
    {
        "content": "While healthcare is still in the early stages of its Al journey, we",
        "polygon": [],
        "spans": [],
    }
]

テキスト行の手書きスタイル

応答には、各テキスト行が手書きのスタイルであるかどうかを、信頼度スコアと共に含めます。 詳細については、「 手書き言語のサポート」を参照してください。 次の例は、JSON スニペットの例を示しています。

"styles": [
{
    "confidence": 0.95,
    "spans": [
    {
        "offset": 509,
        "length": 24
    }
    "isHandwritten": true
    ]
}

フォント/スタイル アドオン機能を有効にすると、styles オブジェクトの一部としてフォント/スタイルの結果も取得されます。

選択マーク

レイアウト モデルでは、ドキュメントから選択マークも抽出されます。 抽出された選択マークは、各ページの pages コレクション内に示されます。 これには、境界 polygon、confidence、および選択 state (selected/unselected) が含まれます。 テキスト表現 (つまり、:selected:と:unselected) は、開始インデックス (offset) およびドキュメントのフルテキストを含む最上位contentプロパティを参照するlengthとしても含まれます。

# Analyze selection marks.
if page.selection_marks:
    for selection_mark in page.selection_marks:
        print(
            f"Selection mark is '{selection_mark.state}' within bounding polygon "
            f"'{selection_mark.polygon}' and has a confidence of {selection_mark.confidence}"
        )

{
    "selectionMarks": [
        {
            "state": "unselected",
            "polygon": [],
            "confidence": 0.995,
            "span": {
                "offset": 1421,
                "length": 12
            }
        }
    ]
}

表

テーブルの抽出は、通常、テーブルとして書式設定された大量のデータを含むドキュメントを処理するための重要な要件です。 レイアウト モデルは、JSON 出力の pageResults セクションのテーブルを抽出します。 抽出されたテーブル情報には、列と行の数、行スパン、列スパンが含まれます。

境界ポリゴンを持つ各セルは、エリアが columnHeader として認識されているかどうかに関する情報と共に出力されます。 このモデルでは、回転されるテーブルの抽出がサポートされています。 各テーブル セルには、行と列のインデックスと境界ポリゴン座標が含まれています。 セル テキストの場合、モデルは開始インデックス (offset) を含むspan情報を出力します。 また、このモデルは、ドキュメントのテキスト全体を含む最上位コンテンツ内の length も出力します。

ドキュメント インテリジェンス のベール抽出機能を使用する場合に考慮すべきいくつかの要因を次に示します。

• 抽出するデータはテーブルとして表されていますか? また、テーブル構造には意味がありますか?
• データがテーブル形式でない場合、そのデータは 2 次元グリッドに収まりますか?
• テーブルは複数のページにまたがっていますか? その場合は、すべてのページにラベルを付ける必要がないように、ドキュメント インテリジェンスに送信する前に PDF をページに分割します。 分析の後に、そのページを 1 つのテーブルに後処理します。
• カスタム モデルを作成する場合は、 表形式フィールド を参照してください。 動的テーブルには、列ごとに可変数の行があります。 固定テーブルには、列ごとに一定数の行があります。

if result.tables:
    for table_idx, table in enumerate(result.tables):
        print(f"Table # {table_idx} has {table.row_count} rows and " f"{table.column_count} columns")
        if table.bounding_regions:
            for region in table.bounding_regions:
                print(f"Table # {table_idx} ___location on page: {region.page_number} is {region.polygon}")
        # Analyze cells.
        for cell in table.cells:
            print(f"...Cell[{cell.row_index}][{cell.column_index}] has text '{cell.content}'")
            if cell.bounding_regions:
                for region in cell.bounding_regions:
                print(f"...content on page {region.page_number} is within bounding polygon '{region.polygon}'")

{
    "tables": [
        {
            "rowCount": 9,
            "columnCount": 4,
            "cells": [
                {
                    "kind": "columnHeader",
                    "rowIndex": 0,
                    "columnIndex": 0,
                    "columnSpan": 4,
                    "content": "(In millions, except earnings per share)",
                    "boundingRegions": [],
                    "spans": []
                    },
            ]
        }
    ]
}

Markdown 形式への出力応答

レイアウト API は、抽出されたテキストを Markdown 形式で出力できます。 outputContentFormat=markdownを使用して、Markdown で出力形式を指定します。 Markdown コンテンツは、 content セクションの一部として出力されます。

document_intelligence_client = DocumentIntelligenceClient(endpoint=endpoint, credential=AzureKeyCredential(key))
poller = document_intelligence_client.begin_analyze_document(
    "prebuilt-layout",
    AnalyzeDocumentRequest(url_source=url),
    output_content_format=ContentFormat.MARKDOWN,
)

PageHeader="This is the header of the document."

This is title
===
# 1\. Text
Latin refers to an ancient Italic language originating in the region of Latium in ancient Rome.
# 2\. Page Objects
## 2.1 Table
Here's a sample table below, designed to be simple for easy understand and quick reference.
| Name | Corp | Remark |
| - | - | - |
| Foo | | |
| Bar | Microsoft | Dummy |
Table 1: This is a dummy table
## 2.2. Figure
<figure>
<figcaption>

Figure 1: Here is a figure with text
</figcaption>

![](figures/0)
FigureContent="500 450 400 400 350 250 200 200 200- Feb"
</figure>

# 3\. Others
Al Document Intelligence is an Al service that applies advanced machine learning to extract text, key-value pairs, tables, and structures from documents automatically and accurately:
    :selected:
clear
    :selected:
precise
    :unselected:
vague
    :selected:
coherent
    :unselected:
Incomprehensible
Turn documents into usable data and shift your focus to acting on information rather than compiling it. Start with prebuilt models or create custom models tailored to your documents both on premises and in the cloud with the Al Document Intelligence studio or SDK.
Learn how to accelerate your business processes by automating text extraction with Al Document Intelligence. This webinar features hands-on demos for key use cases such as document processing, knowledge mining, and industry-specific Al model customization.
PageFooter="This is the footer of the document."
PageFooter="1 | Page"

図形

ドキュメント内の図 (グラフと画像) は、テキスト コンテンツを補完および拡張する上で重要な役割を果たします。 これらは、複雑な情報の理解に役立つ視覚的表現を提供します。 レイアウト モデルによって検出された figures オブジェクトには、次のような重要なプロパティがあります。

• boundingRegions: 図面ページ上の図形の空間位置 (ページ番号と、図形の境界を囲む多角形座標を含む)。
• spans: 文書のテキスト内のオフセットと長さを指定する図形に関連するテキストスパン。 この接続は、図形を関連するテキスト コンテキストに関連付けるのに役立ちます。
• elements: 図に関連または説明する文書内のテキスト要素または段落の識別子。
• caption: 存在する場合の説明。

初期分析操作中に output=figures が指定されると、サービスは、 /analyeResults/{resultId}/figures/{figureId}経由でアクセスできる検出されたすべての図形のトリミングされた画像を生成します。 FigureId値は、figureIndexがページごとに 1 つにリセットされる{pageNumber}.{figureIndex}の文書化されていない規則に従って、各図オブジェクトに含まれる ID です。

v4.0 2024-11-30 (GA) の場合、図と表の境界領域はコア コンテンツのみをカバーし、関連するキャプションと脚注を除外します。

# Analyze figures.
if result.figures:
    for figures_idx,figures in enumerate(result.figures):
        print(f"Figure # {figures_idx} has the following spans:{figures.spans}")
        for region in figures.bounding_regions:
            print(f"Figure # {figures_idx} ___location on page:{region.page_number} is within bounding polygon '{region.polygon}'")

{
    "figures": [
        {
        "id": "{figureId}",
        "boundingRegions": [],
        "spans": [],
        "elements": [
            "/paragraphs/15",
            ...
        ],
        "caption": {
            "content": "Here is a figure with some text",
            "boundingRegions": [],
            "spans": [],
            "elements": [
            "/paragraphs/15"
            ]
        }
        }
    ]
}

セクション

階層型ドキュメント構造分析は、幅広いドキュメントの整理、理解、処理において極めて重要です。 このアプローチは、理解力を高め、ナビゲーションを容易にし、情報の取得を改善するために、長いドキュメントを意味的にセグメント化するために不可欠です。 ドキュメント生成 AI における 検索拡張生成 (RAG) の出現は、階層型ドキュメント構造分析の重要性を強調しています。

レイアウト モデルでは、各セクション内のセクションとオブジェクトの関係を識別する、出力内のセクションとサブセクションがサポートされています。 階層構造は、セクションごとに elements に保持されます。 Markdown 形式への出力応答を使用すると、Markdown でセクションとサブセクションを簡単に取得できます。

document_intelligence_client = DocumentIntelligenceClient(endpoint=endpoint, credential=AzureKeyCredential(key))
poller = document_intelligence_client.begin_analyze_document(
    "prebuilt-layout",
    AnalyzeDocumentRequest(url_source=url),
    output_content_format=ContentFormat.MARKDOWN,
)

{
    "sections": [
        {
        "spans": [],
        "elements": [
            "/paragraphs/0",
            "/sections/1",
            "/sections/2",
            "/sections/5"
        ]
        },
...
}

このコンテンツの適用対象:v3.1 (GA) | 最新バージョン:v4.0 (GA) | 以前のバージョン:v3.0v2.1

このコンテンツの適用対象:v3.0 (GA) | 最新バージョン:v4.0 (GA)v3.1 | 以前のバージョン:v2.1

このコンテンツの適用対象:v2.1 | 最新バージョン: v4.0 (GA)

ドキュメント インテリジェンス レイアウト モデルは、高度なドキュメント分析 API です。 モデルは機械学習に基づいており、ドキュメント インテリジェンス クラウドで使用できます。 これを使用して、さまざまな形式のドキュメントを取得し、ドキュメントの構造化データ表現を返すことができます。 強化されたバージョンの強力な OCR 機能とディープ ラーニング モデルが組み合わせられています。 これを使用して、テキスト、テーブル、選択マーク、およびドキュメント構造を抽出できます。

ドキュメント レイアウト分析

ドキュメント構造レイアウト分析は、ドキュメントを分析して関心のある領域とその相互関係を抽出するプロセスです。 目標は、より適切なセマンティック理解モデルを構築するために、ページからテキストと構造要素を抽出することです。 ドキュメント レイアウトには 2 種類のロールがあります。

• ジオメトリック ロール: テキスト、テーブル、図形、選択マークは、ジオメトリック ロールの例です。
• 論理ロール: タイトル、見出し、フッターはテキストの論理ロールの例です。

次の図は、サンプル ページの画像内の一般的なコンポーネントを示しています。

サポートされている言語とロケール

サポートされている言語の完全な一覧については、「 言語サポート: ドキュメント分析モデル」を参照してください。

ドキュメント インテリジェンス v2.1 では、次のツール、アプリケーション、およびライブラリがサポートされています。

入力ガイダンス

サポートされているファイル形式:

• 写真とスキャン: 最良の結果を得るには、ドキュメントごとに 1 つの明確な写真または高品質のスキャンを提供します。
• PDF とTIFF: PDF とTIFF の場合、Free レベルのサブスクリプションで最大 2,000 ページを処理できます。 最初の 2 ページのみが処理されます。
• ファイル サイズ: ドキュメントを分析するためのファイル サイズは、有料 (S0) レベルでは 500 MB、Free (F0) レベルでは 4 MB です。
• 画像のサイズ: 画像のサイズは、50 ピクセル x 50 ピクセルから 10,000 ピクセル x 10,000 ピクセルの間である必要があります。
• パスワード ロック: PDF がパスワードロックされている場合は、提出前にロックを解除する必要があります。
• テキストの高さ: 抽出するテキストの最小高さは、1024 x 768 ピクセルの画像で 12 ピクセルです。 このディメンションは、1 インチあたり 150 ドットの約 8 ポイントのテキストに対応します。
• カスタム モデル トレーニング: トレーニング データの最大ページ数は、カスタム テンプレート モデルの場合は 500 ページ、カスタム ニューラル モデルの場合は 50,000 ページです。
• カスタム抽出モデルトレーニング: トレーニング データの合計サイズは、テンプレート モデルの場合は 50 MB、ニューラル モデルの場合は 1 GB です。
• カスタム分類モデル トレーニング: トレーニング データの合計サイズは 1 GB で、最大 10,000 ページです。 2024-11-30 (GA) の場合、トレーニング データの合計サイズは 2 GB で、最大 10,000 ページです。
• Office ファイルの種類 (DOCX、XLSX、PPTX): 文字列の最大長の制限は 800 万文字です。

入力ガイド

• サポートされているファイル形式: JPEG、PNG、PDF、TIFF。
• サポートされているページ数: PDF および TIFF の場合、最大 2,000 ページが処理されます。 Free レベルのサブスクライバーの場合は、最初の 2 ページだけが処理されます。
• サポートされるファイル サイズ: ファイル サイズは 50 MB 未満で、サイズは 50 x 50 ピクセル以上、最大 10,000 x 10,000 ピクセルである必要があります。

概要

ドキュメント インテリジェンスを使用すると、ドキュメントからテキスト、テーブル、テーブル ヘッダー、選択マーク、構造情報などのデータを抽出できます。 以下のリソースが必要です。

• Azure サブスクリプション。 無料で作成できます。
• Azure portal の Document Intelligence Studio インスタンス。 無料価格レベル (F0) を使用して、サービスを試すことができます。 リソースがデプロイされたら、[リソースに移動] を選択してキーとエンドポイントを取得します。

キーとエンドポイントを取得したら、次の開発オプションを使用して、ドキュメント インテリジェンス アプリケーションをビルドしてデプロイできます。

REST API

• ドキュメント インテリジェンス v2.1 (Form Recognizer)

ドキュメント インテリジェンス サンプル ラベル付けツール

1. ドキュメント インテリジェンスサンプルラベル付けツールに移動します。

2. サンプル ツールのホーム ページで、[Use Layout to get text, tables and selection marks](レイアウトを使用してテキスト、テーブル、選択マークを取得する) を選択します。

   

3. [Document Intelligence サービス エンドポイント] フィールドに、Document Intelligence サブスクリプションで取得したエンドポイントを貼り付けます。

4. キー フィールドに、ドキュメント インテリジェンス リソースから取得したキーを貼り付けます。

5. [ ソース ] フィールドで、ドロップダウン メニューから [URL ] を選択します。 サンプル ドキュメントを使用できます。

   • サンプル ドキュメント。

   • [ フェッチ] を選択します。

6. [Run Layout](レイアウトの実行) を選択します。 ドキュメント インテリジェンスサンプルラベル付けツールは、Analyze Layout API を呼び出してドキュメントを分析します。

   

7. 結果を表示します。 強調表示された抽出されたテキスト、検出された選択マーク、検出されたテーブルを確認します。

   

ドキュメント インテリジェンス v2.1 では、次のツール、アプリケーション、およびライブラリがサポートされています。

データを抽出する

レイアウト モデルは、ドキュメントから構造要素を抽出します。 ここでは構造要素について説明します。次のガイダンスでは、ドキュメント入力からそれらを抽出する方法を示します。

• ページ
• 段落
• テキスト、行、および単語
• 選択マーク
• テーブル
• 注釈

データを抽出する

レイアウト モデルは、ドキュメントから構造要素を抽出します。 ここでは構造要素について説明します。次のガイダンスでは、ドキュメント入力からそれらを抽出する方法を示します。

• ページ
• 段落
• テキスト、行、および単語
• 選択マーク
• テーブル
• 自然な読み上げ順序
• ページ番号または範囲を選択する

ページ

pages コレクションは、ドキュメント内のページの一覧です。 各ページはドキュメント内で順番に表され、ページが回転しているかどうかを示す方向の角度と、幅と高さ (ピクセル単位の寸法) が含まれます。 モデル出力のページ単位は、次の表に示すように計算されます。

"pages": [
    {
        "pageNumber": 1,
        "angle": 0,
        "width": 915,
        "height": 1190,
        "unit": "pixel",
        "words": [],
        "lines": [],
        "spans": []
    }
]

選択したページをドキュメントから抽出する

大規模なマルチページ ドキュメントの場合は、 pages クエリ パラメーターを使用して、テキスト抽出用の特定のページ番号またはページ範囲を示します。

段落

レイアウト モデルは、 paragraphs コレクション内で識別されたすべてのテキスト ブロックを、 analyzeResultsの最上位オブジェクトとして抽出します。 このコレクション内の各エントリはテキスト ブロックを表し、抽出されたテキストを contentおよび境界 polygon 座標として含めます。 span情報は、ドキュメントのフルテキストを含む最上位contentプロパティ内のテキスト フラグメントを指します。

"paragraphs": [
    {
        "spans": [],
        "boundingRegions": [],
        "content": "While healthcare is still in the early stages of its Al journey, we are seeing pharmaceutical and other life sciences organizations making major investments in Al and related technologies.\" TOM LAWRY | National Director for Al, Health and Life Sciences | Microsoft"
    }
]

段落ロール

機械学習に基づく新しいページ オブジェクト検出では、タイトル、セクション見出し、ページ ヘッダー、ページ フッターなどの論理ロールが抽出されます。 ドキュメント インテリジェンス レイアウト モデルは、 paragraphs コレクション内の特定のテキスト ブロックに、モデルによって予測される特殊なロールまたは型を割り当てます。 抽出されたコンテンツのレイアウトを理解して、より高度なセマンティック分析を実現するために、非構造化ドキュメントで段落の役割を使用することをお勧めします。 次の段落ロールがサポートされています。

{
    "paragraphs": [
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "title",
                    "content": "NEWS TODAY"
                },
                {
                    "spans": [],
                    "boundingRegions": [],
                    "role": "sectionHeading",
                    "content": "Mirjam Nilsson"
                }
    ]
}

テキスト、行、および単語

ドキュメント インテリジェンスのドキュメント レイアウト モデルでは、印刷と手書きスタイルのテキストが行と単語として抽出されます。 styles コレクションには、関連付けられたテキストを指すスパンと共に、検出された場合の行の手書きスタイルが含まれます。 この機能は、サポートされている手書き言語に適用されます。

Word、Excel、PowerPoint、HTML の場合、ドキュメント インテリジェンス v4.0 2024-11-30 (GA) レイアウト モデルでは、埋め込まれたテキストがすべてそのまま抽出されます。 テキストは単語と段落として抽出されます。 埋め込み画像はサポートされません。

"words": [
    {
        "content": "While",
        "polygon": [],
        "confidence": 0.997,
        "span": {}
    },
],
"lines": [
    {
        "content": "While healthcare is still in the early stages of its Al journey, we",
        "polygon": [],
        "spans": [],
    }
]

手書きスタイル

応答には、各テキスト行が手書きスタイルであるかどうかの分類と信頼度スコアが含まれます。 詳細については、「 手書き言語のサポート」を参照してください。 次の例は、JSON スニペットの例を示しています。

"styles": [
{
    "confidence": 0.95,
    "spans": [
    {
        "offset": 509,
        "length": 24
    }
    "isHandwritten": true
    ]
}

フォント/スタイル アドオン機能を有効にすると、styles オブジェクトの一部としてフォント/スタイルの結果も取得されます。

選択マーク

レイアウト モデルでは、ドキュメントから選択マークも抽出されます。 抽出された選択マークは、各ページの pages コレクション内に示されます。 これには、境界 polygon、confidence、および選択 state (selected/unselected) が含まれます。 テキスト表現 (つまり、:selected:と:unselected) は、開始インデックス (offset) およびドキュメントのフルテキストを含む最上位contentプロパティを参照するlengthとしても含まれます。

{
    "selectionMarks": [
        {
            "state": "unselected",
            "polygon": [],
            "confidence": 0.995,
            "span": {
                "offset": 1421,
                "length": 12
            }
        }
    ]
}

テーブル

テーブルの抽出は、通常、テーブルとして書式設定された大量のデータを含むドキュメントを処理するための重要な要件です。 レイアウト モデルは、JSON 出力の pageResults セクションのテーブルを抽出します。 抽出されたテーブル情報には、列と行の数、行スパン、列スパンが含まれます。 境界ポリゴンを持つ各セルは、エリアが columnHeader として認識されているかどうかに関する情報と共に出力されます。

このモデルでは、回転されるテーブルの抽出がサポートされています。 各テーブル セルには、行と列のインデックスと境界ポリゴン座標が含まれています。 セル テキストの場合、モデルは開始インデックス (offset) を含むspan情報を出力します。 また、このモデルは、ドキュメントのテキスト全体を含む最上位コンテンツ内の length も出力します。

ドキュメント インテリジェンス のベール抽出機能を使用する場合に考慮すべきいくつかの要因を次に示します。

• 抽出するデータはテーブルとして表されていますか? また、テーブル構造には意味がありますか?
• データがテーブル形式でない場合、そのデータは 2 次元グリッドに収まりますか?
• テーブルは複数のページにまたがっていますか? その場合は、すべてのページにラベルを付ける必要がないように、ドキュメント インテリジェンスに送信する前に PDF をページに分割します。 分析の後に、そのページを 1 つのテーブルに後処理します。
• カスタム モデルを作成する場合は、 表形式フィールド を参照してください。 動的テーブルには、列ごとに可変数の行があります。 固定テーブルには、列ごとに一定数の行があります。

{
    "tables": [
        {
            "rowCount": 9,
            "columnCount": 4,
            "cells": [
                {
                    "kind": "columnHeader",
                    "rowIndex": 0,
                    "columnIndex": 0,
                    "columnSpan": 4,
                    "content": "(In millions, except earnings per share)",
                    "boundingRegions": [],
                    "spans": []
                    },
            ]
        }
    ]
}

注釈

レイアウト モデルは、チェックやクロスなどのドキュメント内の注釈を抽出します。 応答には、信頼度スコアと境界ポリゴンと共に、注釈の種類が含まれます。

    {
    "pages": [
    {
        "annotations": [
        {
            "kind": "cross",
            "polygon": [...],
            "confidence": 1
        }
        ]
    }
    ]
}

自然な読み取り順序の出力 (ラテンのみ)

readingOrder クエリ パラメーターを使用し、テキスト行の出力順序を指定できます。 次の例に示すように、 natural を使用して、より人間に優しい読み取り順序の出力を得られます。 この機能は、ラテン語でのみサポートされています。

テキスト抽出のためにページ番号または範囲を選択する

大規模なマルチページ ドキュメントの場合は、 pages クエリ パラメーターを使用して、テキスト抽出用の特定のページ番号またはページ範囲を示します。 次の例は、10 ページのドキュメントを示しています。どちらの場合もテキストが抽出され、すべてのページ (1 ~ 10)、選択したページ (3 から 6) が抽出されます。

レイアウト分析結果取得操作

2 番目の手順では、レイアウト分析結果取得操作を呼び出します。 この操作は、 Analyze Layout 操作によって作成された結果 ID を入力として受け取ります。 これにより、次の設定可能な値を持つ status フィールドが含まれた JSON 応答が返されます。

succeeded 値が返されるまで、この操作を繰り返し呼び出します。 1 秒あたりの要求数を超えないようにするには、3 ~ 5 秒の間隔を使用します。

状態フィールドにsucceeded値がある場合、JSON 応答には、抽出されたレイアウト、テキスト、テーブル、および選択マークが含まれます。 抽出されたデータには、抽出されたテキスト行と単語、境界ボックス、手書きの表示を含むテキストの外観、表、選択または選択されていない選択マークが含まれます。

テキスト行の手書き分類 (ラテンのみ)

応答には、各テキスト行が手書きのスタイルであるかどうかを、信頼度スコアと共に分類することが含まれます。 この機能は、ラテン語でのみサポートされています。 次の例は、画像内のテキストの手書き分類を示しています。

サンプル JSON 出力

Get Analyze Layout Result操作に対する応答は、抽出されたすべての情報を含むドキュメントの構造化表現です。 サンプル ドキュメント ファイルとその構造化された出力サンプル レイアウト出力を参照してください。

JSON 出力には次の 2 つの部分があります。

• readResults ノードには、認識されたすべてのテキストと選択マークが含まれます。 テキスト プレゼンテーション階層は、ページ、行、個々の単語です。
• pageResults ノードには、境界ボックス、信頼度、およびreadResults フィールド内の行と単語への参照で抽出されたテーブルとセルが含まれます。

出力例

テキスト

レイアウト API は、複数のテキスト角度と色を持つドキュメントや画像からテキストを抽出します。 ドキュメント、FAX、印刷および/または手書き (英語のみ) テキスト、混在モードの写真を受け入れます。 テキストは、行、単語、境界ボックス、信頼度スコア、スタイル (手書きなど) に関して提供される情報と共に抽出されます。 すべてのテキスト情報は、JSON 出力の readResults セクションに含まれています。

ヘッダーが含まれるテーブル

Layout API は、JSON 出力の pageResults セクションのテーブルを抽出します。 ドキュメントのスキャン、写真の撮影、デジタル化を行うことができます。 テーブルは、セルまたは列が結合されている複雑なものや、罫線があるもの、またはないもの、不規則な角度のものも含まれます。

抽出されたテーブル情報には、列と行の数、行スパン、列スパンが含まれます。 境界ポリゴンのある各セルは、その領域がヘッダーの一部として認識されているかどうかにかかわらず、情報と共に出力されます。 モデル予測ヘッダー セルは複数の行にまたがる可能性があり、必ずしもテーブルの最初の行であるとは限りません。 これらは、回転されたテーブルに対しても機能します。 各テーブル セルには、 readResults セクション内の個々の単語への参照を含むフルテキストも含まれます。

選択マーク (ドキュメント)

レイアウト API では、ドキュメントから選択マークも抽出されます。 抽出される選択マークには、境界ボックス、信頼度、状態 (選択または非選択) が含まれます。 選択マークの情報は、JSON 出力の readResults セクションに抽出されます。

移行ガイド

• アプリケーションとワークフローで v3.1 バージョンを使用する方法については、 ドキュメント インテリジェンス v3.1 移行ガイドの手順に従ってください。

• Document Intelligence Studio を使用して独自のフォームとドキュメントを処理する方法について説明します。
• ドキュメント インテリジェンスのクイック スタートを完了し、任意の開発言語でドキュメント処理アプリを作成します。

• その他のサンプルを GitHub でご覧ください。

• その他のサンプルを GitHub でご覧ください。

• ドキュメント インテリジェンスサンプルラベル付けツールを使用して、独自のフォームとドキュメントを処理する方法について説明します。
• ドキュメント インテリジェンスのクイック スタートを完了し、任意の開発言語でドキュメント処理アプリを作成します。