分類モデルの公平性と偏りを監視する

データ プロファイルを使用すると、分類モデルの予測を監視して、異なるグループに関連付けられているデータに対してモデルが同様に実行されるかどうかを確認できます。 たとえば、ローンのデフォルト分類器が、異なる人口統計に属する申請者に対して同じ偽陽性率を生成するかどうかを調査できます。

公平性と偏りのメトリックを操作する

公平性と偏りを監視するには、ブール型のスライス式を作成します。 Trueを評価するスライス式によって定義されたグループは、保護されたグループ (つまり、バイアスをチェックしているグループ) と見なされます。 たとえば、 slicing_exprs=["age < 25"]を作成すると、 slice_key = "age < 25" および slice_value = True で識別されるスライスは保護されたグループと見なされ、 slice_key = "age < 25" および slice_value = False で識別されるスライスは保護されていないグループと見なされます。

プロファイルは、グループ間の分類モデルのパフォーマンスを比較するメトリックを自動的に計算します。 プロファイル メトリック テーブルでは、次のメトリックが報告されます。

• predictive_parity: モデルの精度をグループ間で比較します。
• predictive_equalityグループ間の偽陽性率を比較します。
• equal_opportunityは、ラベルが両方のグループに対して均等に予測されるかどうかを測定します。
• statistical_parity: グループ間の予測結果の差を測定します。

これらのメトリックは、分析の種類が InferenceLog され、 problem_type が classification場合にのみ計算されます。

これらのメトリックの定義については、次のリファレンスを参照してください。

• 機械学習における公平性に関するウィキペディアの記事: https://en.wikipedia.org/wiki/Fairness_(machine_learning)
• フェアネス定義の説明、Verma と Rubin、2018

公平性とバイアス メトリックの出力

これらのメトリックの詳細と、メトリック テーブルでそれらを表示する方法については、 API リファレンスを参照 してください。 すべての公平性メトリックとバイアス メトリックは、次に示すように同じデータ型を共有し、"1 対すべて" の方法ですべての予測クラスで計算された公平性スコアをキーと値のペアとして示します。

これらのメトリックに関するアラートを作成できます。 たとえば、モデルの所有者は、公平性メトリックがしきい値を超えたときにアラートを設定し、調査のためにそのアラートをオンコールのユーザーまたはチームにルーティングできます。