-
2025-07-29
Azure AI Content Safety では、害カテゴリを使用して、テキストと画像の両方で不快なコンテンツにフラグを付け、評価します。 このガイドでは、Azure AI Content Safety で使用されるすべての損害カテゴリと評価について説明します。 これらのカテゴリを理解することは、ユース ケースのモデレーションとコンプライアンスを構成するのに役立ちます。 テキストと画像の両方のコンテンツで同じフラグ セットが使用されます。
Harm categories
Content Safety により、不快なコンテンツの 4 つの異なるカテゴリが認識されます。
| Category | Description | API term |
|---|---|---|
| ヘイトと公平性 | ヘイトと公平性の危害とは、そのグループの特定の差別化属性に基づいて個人または ID グループを攻撃する、あるいはそのグループに関して差別的な言葉を使用するコンテンツを指します。 たとえば、次のようなものが挙げられます。
|
Hate |
| Sexual | 性的とは、解剖学的臓器や生殖器、恋愛関係、性行為、性愛的または情愛的な用語で描写された行為 (暴行または意志に反した強制的な性的暴力行為として描写されたものを含む) に関連する言葉を表します。 たとえば、次のようなものが挙げられます。
|
Sexual |
| Violence | 暴力は、人や何かに苦痛を与える、傷つける、損傷を与える、殺害することを意図した物理的行為に関連する言葉、武器、銃器などを表します。 たとえば、次のようなものが挙げられます。
|
Violence |
| Self-Harm | 自傷行為とは、故意に自分の体に苦痛を与える、傷つける、損傷を与える、または自殺を意図した物理的な行為に関連する言葉を表します。 たとえば、次のようなものが挙げられます。
|
SelfHarm |
分類には複数のラベルを付けることができます。 たとえば、テキスト サンプルがテキスト モデレーション モデルを通過すると、性的コンテンツと暴力の両方として分類される可能性があります。
Severity levels
サービスで適用されるすべての危害カテゴリには、重大度レベルも含まれます。 重大度レベルは、フラグが設定されたコンテンツを表示した結果の重大度を示すためのものです。
テキスト: テキスト モデルの現在のバージョンでは、完全な 0 から 7 の重大度スケールがサポートされています。 この分類子は、このスケールに沿ってすべての重大度の中から検出します。 ユーザーが指定した場合、0、2、4、6 へとトリミングしたスケールで重大度を返すことができます。2 つの隣接するレベルはそれぞれ、1 つのレベルにマップされます。
[0,1]->0[2,3]->2[4,5]->4[6,7]->6
画像: 画像モデルの現在のバージョンでは、完全な 0 から 7 の重大度スケールをトリミングしたバージョンがサポートされています。 分類子は重大度 0、2、4、6 のみを返します。
0246
テキスト付きの画像: マルチモーダル モデルの現在のバージョンでは、完全な 0 から 7 の重大度スケールがサポートされています。 この分類子は、このスケールに沿ってすべての重大度の中から検出します。 ユーザーが指定した場合、0、2、4、6 へとトリミングしたスケールで重大度を返すことができます。2 つの隣接するレベルはそれぞれ、1 つのレベルにマップされます。
[0,1]->0[2,3]->2[4,5]->4[6,7]->6
Text content
Warning
このドキュメントの [重大度の定義] タブには、一部の読者が不快に感じる可能性のある有害なコンテンツの例が含まれています。
ヘイトと公平性の重大度レベル
| Severity Level | Description | Example Text |
|---|---|---|
| Level 0 | 子どもを含むすべての対象ユーザーに適している、一般的な意味で使用されるヘイトと公平性に関する用語を含むコンテンツ。 This includes:
|
I hate cats. |
| Level 1 | 一般的な意味で使用されるヘイトと公平性に関連する用語を含むが、文脈によっては異なる意味を獲得する可能性があり、アイデンティティ グループと他者を偏見的または否定的に差別化しないコンテンツ。 This includes:
|
Black people should not be killed by police or mistreated just because of their skin color. |
| Level 2 | アイデンティティ グループについての、好ましく感情的な反応を引き起こすような肯定的な描写または擁護を含むコンテンツ。 This includes:
|
I hate you. |
| Level 3 | 偏見、判断、固定観念に基づく描写または否定的な感情を含むコンテンツ。 This includes:
|
I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all. |
| Level 4 | 個人の属性に基づいて個人を傷つける意図を持って、アイデンティティ グループを標的とする記述として使用される、口頭での直接的な感情に動機付けられた暴言、否定的なコメント、人種的な中傷を含むコンテンツ。 This includes:
|
All [identity group] are ugly. |
| Level 5 | 非人間化、暴力、出来事の否定、いじめ、または脅迫行為により否定的な感情をさらに強めるような、個人またはグループの非人間化または品位を貶める内容を含むコンテンツ。 This includes:
|
The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof. |
| Level 6 | アイデンティティ グループに対する否定的感情とヘイト スピーチに基づくコンテンツ。 アイデンティティ グループと他のアイデンティティ グループを差別化するようなグループの特徴に言及し、その属性に基づいてアイデンティティ グループに対して行動を起こすよう訴えかけることによる。 これには、次のものが挙げられます。
|
Send [identity group] back to the gas chambers. |
| Level 7 | 否定的な感情に基づくコンテンツ。ヘイト犯罪やストーカーの意図を示し、敵対的な感情的反応を引き起こし、アイデンティティ グループやその他のユーザーを差別化し犯罪へとつながるようなコンテンツ。 This includes:
|
Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because… |
性的な重大度レベル
| Severity Level | Description | Example Text |
|---|---|---|
| Level 0 | 子どもを含むすべての対象ユーザーにとって無害な、一般的な意味で使用される性的な内容に関する用語を含むコンテンツ。
|
The sports bra and yoga pants were too tight for comfort. |
| Level 1 | 一般的な意味で使用される性的な内容に関する用語を含むが、文脈により異なる意味を得る可能性があるコンテンツ。 This includes:
|
Fewer young adults are having sex than in previous generations. |
| Level 2 | 架空または現実世界での経験における、性的な内容に関する極端に描写的ではない用語を含むコンテンツ。 This includes:
|
My husband and I introduced a vibrator to our sex life and it has really made a difference. |
| Level 3 | 性的内容に関する用語を含むコンテンツ。性的関連の問題に関する具体的描写のあるコンテンツ、偏見、先入観、批判、または独断的な意見が含まれている場合。 This includes:
|
We made out for a while, and he started to feel me up. I felt a bulge in his pants. |
| Level 4 | 性的なファンタジー、プロのセックス業界と広告、動物の有性生殖について記述するコンテンツ。 This includes:
|
I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage… |
| Level 5 | 個人的な経験として、性愛的内容の番組や経験、明確な同意のある性的嗜好行為、そして性愛ストーリーやウェブサイトについて記述するコンテンツ。 This includes:
|
We both climaxed at the same time. |
| Level 6 | 性的な商業サービスへの勧誘を記述したコンテンツ。性的行為、暴力による性的虐待とレイプ、合意のない権力の交換、虐待、のぞきについての詳細な描写が含まれるもの。 This includes:
|
I love forced sex, it's so much hotter. |
| Level 7 | 性的奴隷の過激な形態を推奨、是認、美化するために使用されるコンテンツ。 過激または違法なコンテンツ。 This includes:
|
I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son. |
暴力の重大度レベル
| Severity Level | Description | Example Text |
|---|---|---|
| Level 0 | 子どもを含むすべての対象ユーザーにとって無害な、一般的な意味で使用される非暴力行為または暴力関連の用語を含むコンテンツ。 This includes:
|
According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles. |
| Level 1 | 一般的な意味で使用される暴力に関連する用語または行為を含むが、文脈により異なる意味を得る可能性があるコンテンツ。 This includes:
|
Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights. |
| Level 2 | 架空または現実世界での経験における、暴力に関する極端に描写的ではない用語や行動を含むコンテンツで、悪意の美化や是認がないもの。 This includes:
|
Physical punishment is a way to correct bad behavior and doesn’t cause harm to children. |
| Level 3 | 暴力に関する用語や行動を含むコンテンツ。暴力に関する具体的描写のあるコンテンツ、偏見、先入観、批判、または独断的な意見が含まれている場合。 This includes:
|
Some people just need to be slapped. |
| Level 4 | 被害者が身体虐待を受けている理由についての根拠のない正当化、虐待者に対する根拠のない肯定的な性質の付与、他の人に危害を加える方法に関連する暴力行為やファンタジーの脅迫に関して記述したコンテンツで、中程度の流血のあるもの。 This includes:
|
Victims of abuse deserve to be hit. They push and push until they get what they deserve. |
| Level 5 | 特定の個人またはグループに危害を与える方法に関する直接的な指示を提供し、暴力をさらに促すこと目的としたコンテンツ。 This includes:
|
Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught. |
| Level 6 | 過激派グループやテロ組織、大量殺害、明らかな物理的損害について、また、テロとそのプロパガンダに対する推奨が記述されたコンテンツで、流血の多い表現のもの。 This includes:
|
We must kill them all. God wills it, and society will be better for it. |
| Level 7 | 過激な形態の暴力を記述、賞賛、支持、推奨、是認、美化するために使用されるコンテンツ。 テロ組織を支援し、過激化、指導、または訓練を行うコンテンツ。 This includes:
|
Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight. |
自傷の重大度レベル
| Severity Level | Description | Example Text |
|---|---|---|
| レベル 0 – 安全 | 子どもを含むすべての対象ユーザーにとって無害な、一般的な意味で使用される自傷行為に関する用語を含むコンテンツ。 This includes:
|
I appreciate your hard work, but you don't need to keep killing yourself over this project. |
| Level 1 | 一般的な意味で使用される自傷行為に関する用語を含むが、文脈により異なる意味を得る可能性があるコンテンツ。 This includes:
|
Binging and purging may be a warning sign for people with a history of extreme weight loss. |
| Level 2 | 架空または現実世界での経験における、自傷行為に関する極端に描写的ではない用語や行動を含むコンテンツ。 This includes:
|
Oedipus stabbed his eyes in despair. |
| Level 3 | 自傷行為に関する用語や行動を含むコンテンツ。自傷行為に関する具体的描写のあるコンテンツ、偏見、先入観、批判、または独断的な意見が含まれている場合。 This includes:
|
I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice? |
| Level 4 | 自殺行為または自傷行為の被害者または生存者を嘲笑するコンテンツ。自傷行為、ファンタジー、または自傷行為の願望に対して、根拠なく肯定的な性質を付与するもの。また、死、解剖、犯罪、または死亡シーンに関する、あからさまに描写的なコンテンツが含まれているもの。 This includes:
|
It's hilarious when [identity group] kill themselves. |
| Level 5 | 自傷行為を行う方法や、被害者をいじめる方法に関する直接的な指示を提供して、自傷行為のさらに促すことを目的としたコンテンツ。 This includes:
|
Go kill yourself, you are worthless. |
| Level 6 | 自殺する方法に関する詳細かつ明示的な指示を説明するコンテンツ。 This includes:
|
Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag. |
| Level 7 | 自殺やその他の重大な自傷行為を是認し美化するために使用されるコンテンツ。 This includes:
|
Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble. |
Image content
Warning
このドキュメントの [重大度の定義] タブには、一部の読者が不快に感じる可能性のある有害なコンテンツの例が含まれています。
ヘイトと公平性の重大度レベル
| Severity Level | Description | Image example |
|---|---|---|
| Safe | コンテンツは安全ですが、以下のような文脈またはそれに類似の文脈において、非差別的な非攻撃的な形で、感情を伴わない、または中立的な感情を持つような、ヘイトと公平性に関連する画像が含まれている可能性があります。
|
コンフェデレート旗 (南軍旗) 以外の旗 (たとえば、クロスを特徴とする国または州の旗)
|
| Low | 肯定的な感情、誤りの肯定的な感情、または否定的な偏った感情のいずれかを含むコンテンツで、アイデンティティ グループ間での差別化を行うもの。 このコンテンツは、感情的な反応を引き起こすことを目的としています。 This includes:
|
「ヘイトスピーチ反対」運動の表現 採用面接を受ける障碍者など、優先されない求職者に関する表現 |
| Medium | アイデンティティ グループや他者に対する否定的な感情を含むコンテンツで、あるアイデンティティ グループに対する行動の推奨と優越感の感情につながりるもの。 This includes:
|
「アイデンティティグループ」を社会的避けることを推奨する画像 人種改善論と優生学を描写する画像 |
| High | アイデンティティ グループに対する否定的な感情とヘイト スピーチを含み、ヘイト スピーチやヘイト犯罪の発生につながるコンテンツ。 This includes:
|
反ユダヤ主義の画像 明らかな暴力 (銃の誇示、使用など) に関係づけられた、青い格子 (斜めの十字模様) を特徴とする「南十字」旗が描かれた画像 |
性的な重大度レベル
| Severity Level | Description | Image example |
|---|---|---|
| Safe | コンテンツは安全ですが、一般的な意味で使用される性的に関連する画像が含まれています。 This includes:
|
抱きしめたり、性的でない物理的接触を行ったりする表現 舌を使わないキスやヌードを伴わないキスなどの愛情の物理的な表示を示す表現 |
| Low | 性的に示唆的な行動や行為を含むコンテンツ。 This includes:
|
人の描写 |
| Medium | 性的興奮を意図した性的シーンに視覚的に露骨な挿入やヌードまたはセミヌードの人物が登場しない、商用およびアマチュアの性愛またはポルノ的な内容を含むコンテンツ。 This includes:
|
部分的に隠されている可能性があるが、画像内で依然として明確に判別できる性交の描写 |
| High | 違法行為を含む、生殖器や性的行為の明らさまで詳細な表現を含むコンテンツ。 This includes:
|
動物や死体との性行為に関する描写 |
暴力の重大度レベル
| Severity Level | Description | Image example |
|---|---|---|
| Safe | コンテンツは安全ですが、一般的な意味で使用される暴力関連の画像が含まれています。 This includes:
|
非現実的な武器や刃物の描写 |
| Low | 現実世界または架空の文脈における暴力関連の画像や行為を含む、流血の少ないコンテンツ。 This includes:
|
ISIS/al-Qaeda の旗の図 |
| Medium | 特定の標的を狙った中程度の具体的描写のある暴力と暴力行為を含むコンテンツ。 This includes:
|
個人を積極的に支配または威嚇するための力と強制の使用についての描写 |
| High | 暴力と暴力行為についての明示的で詳細な、流血の多い表現を含むコンテンツ。 This includes:
|
ISIS の旗とシンボルによって識別可能なテロリスト グループによって実行された死の描写 |
自傷の重大度レベル
| Severity Level | Description | Image example |
|---|---|---|
| Safe | コンテンツは安全ですが、一般的な意味で使用される自傷関連の画像が含まれています。 This includes:
|
平面からパラシュートで飛び降りる様子 |
| Low | 現実の世界または架空の文脈における自傷行為に関連する画像や行為を含む、流血の少ないコンテンツ。 This includes:
|
自傷行為に関連する、道具、傷害および感情的状態の表現 |
| Medium | 自傷行為や自傷行為に関連する中程度の具体的描写のある画像を含むコンテンツ。 This includes:
|
力や威圧を用いて暴力的に支配または脅迫することにより個人に自傷行為をさせることの表現 |
| High | 大量の流血を伴う自傷および自殺行為の明示的で詳細な表現を含むコンテンツ。 This includes:
|
人が高い建物から飛び降りて自殺した、意図的な自殺の描写 |
マルチモーダル (テキスト付きの画像) コンテンツ
Warning
このドキュメントの [重大度の定義] タブには、一部の読者が不快に感じる可能性のある有害なコンテンツの例が含まれています。
ヘイトと公平性の重大度レベル
| Severity Level | Description | Image example |
|---|---|---|
| Safe | コンテンツは安全ですが、次のように一般的で安全なコンテキストで使用される、ヘイトや公平性に関連するテキストやビジュアルが含まれる場合があります。
|
シナリオ: テキスト オーバーレイ付きの画像 画像: 問題のない人物写真 テキスト: Attends rally wearing sneakers |
| Low | アイデンティティ グループの肯定的な特性や保護を含み、ヘイト スピーチやアイデンティティ グループを標的にした発言に関連する、差別、ステレオタイプ、偏見、判断、独断的な意見、または態度を表示するコンテンツ。 This includes:
|
シナリオ: テキスト オーバーレイ付きの画像 画像: 問題のない人物写真 テキスト: Everyone assumes that I got high grades in math because I’m Asian. I did. 理論的根拠: 人種的固定観念を示唆しています。 |
| Medium | 個人または団体を侮辱、いじめ、脅迫、非人間化、または品位を貶める内容を含むコンテンツ。 This includes:
|
シナリオ: テキスト オーバーレイ付きの画像 画像: 問題のないパーキンソン病患者の写真 テキスト: This guy just Friended and Unfriended me 45 times in 15 seconds. Does anyone know him? 理論的根拠: 障碍による嘲笑を示唆 |
| High | アイデンティティ グループに対する暴力をそそのかし、または呼びかけるプロパガンダとしてのヘイト スピーチを含むコンテンツ、過激派の活動に参加するよう過激化を勧誘し、扇動するコンテンツ、またはヘイト スピーチを広めるコンテンツ。 This includes:
|
シナリオ: 画像とテキストのインターリーブ Never forget that everything [image of Adolf Hitler] did in Germany was legal. |
性的な重大度レベル
| Severity Level | Description | Image example |
|---|---|---|
| Safe | コンテンツは安全ですが、次のように一般的で安全なコンテキストで使用される、性に関連する用語やビジュアルが含まれる場合があります。
|
シナリオ: テキスト オーバーレイ付きの画像 画像: スカンク テキスト: Looks aren’t everything, be careful who you marry, and check your mirrors too. |
| Low | 性的な話題に関する偏見、判断、意見を表明する内容や、極端に生々しくないフィクションや実体験の中で性的な用語に言及する内容。 This includes:
|
シナリオ: 画像とテキストのインターリーブ I hope they debate social issues I want [image of a person cupping their ear, representing "to hear"] about how a representative wants to regulate female sexual organs. |
| Medium | 露骨で生々しい言葉やビジュアルで性的興奮や行為を描写する内容で、セックスや性的虐待に関する妄想を含む内容。 This includes:
|
シナリオ: 画像とテキストのインターリーブ There is so much [image containing the phrase "Sex and Violence"] in that book it could use a warning label in the cover. |
| High | 性的な商業サービスへの勧誘を記述したコンテンツ。性的行為、暴力による性的虐待とレイプ、合意のない権力の交換、虐待、のぞきについての詳細な描写が含まれるもの。 これには、過激または違法な性行為を促進、推奨、賛美するために使用される内容も含まれます。 This includes:
|
シナリオ: 画像とテキストのインターリーブ Can too much [image of graphic pornography] actually kill you? Evidently not, because you are still with us. |
暴力の重大度レベル
| Severity Level | Description | Image example |
|---|---|---|
| Safe | コンテンツは安全ですが、次のように一般的で安全なコンテキストで使用される、暴力に関連する用語やビジュアルが含まれる場合があります。
|
シナリオ: 画像とテキストのインターリーブ [Image of lawnmower] can easily throw a [image of rock] to a distance well over 50 feet. |
| Low | フィクションのコンテキスト (ゲーム、文学、芸術など) において、美化、推奨、悪意なく暴力的または生々しいシーンを描写する内容。 This includes:
|
シナリオ: テキスト オーバーレイ付きの画像 画像: 問題のない "秀才" の写真 テキスト: Runs suicides at basketball practice. Dies. 理論的根拠: その人物の身体能力が劣っていることによる極度の疲労を示唆しています。 |
| Medium | 中強度の暴力や死の描写があり、暴力的な行為や脅迫に関する妄想が含まれる内容。 This includes:
|
シナリオ: 画像とテキストのインターリーブ She needs [image of a graphic that reads "to die"] already. |
| High | テロ活動の一環としての殺人を記述、賞賛、支援、承認、または賛美する、インターネット上のテロリストまたは暴力的過激派のプロパガンダや暴力的イデオロギーなどの内容、テロ組織または思想への提供を支援する内容。 This includes:
|
シナリオ: 画像とテキストのインターリーブ I can’t wait for this [image of ISIS kafir beheading]. |
自傷の重大度レベル
| Severity Level | Description | Image example |
|---|---|---|
| Safe | コンテンツは安全ですが、次のように一般的で安全なコンテキストで使用される、自傷に関連する用語やビジュアルが含まれる場合があります。
|
シナリオ: 画像とテキストのインターリーブ How do I tie a [image of a rope]? |
| Low | フィクションの文脈 (文学、映画など) において、自殺を計画または実行する登場人物への言及を含む内容、または自傷行為や自殺の描写が低強度で含まれる内容 This includes:
|
シナリオ: テキスト オーバーレイ付きの画像 画像: カエルのカーミット テキスト: Life ain’t no good for a frog. Even tried to Kermit suicide. |
| Medium | 摂食障害や自殺などの自傷行為の被害者や生存者をばかにする内容や、自傷行為を扇動し、助長するいじめや脅迫。 This includes:
|
シナリオ: テキストのインターリーブ付きの画像 I will [image of a knife] myself soon. But until then, how do I tame my pain? |
| High | 死に至る自傷行為や自殺の方法に関するアドバイスや手順、方法の研究を含む内容、自殺やその他の深刻な種類の自傷行為を美化し、推奨する内容。 This includes:
|
シナリオ: 画像とテキストのインターリーブ Black Friday [image of self-harm with text "My self-harm cuts have nearly faded completely so they won’t scar"] and [image of a kitchen mixer] deals. |
Next step
クイックスタートに従って、アプリケーションで Azure AI Content Safety の使用を開始します。
フィードバック
このページはお役に立ちましたか?
いいえ
Need help with this topic?
Want to try using Ask Learn to clarify or guide you through this topic?
このページはお役に立ちましたか?
Need help with this topic?
Want to try using Ask Learn to clarify or guide you through this topic?