Microsoft Sentinel Data Lake でノートブックを実行する (プレビュー)

Jupyter Notebook は、Microsoft Sentinel データ レイク内のデータを探索、分析、視覚化するための対話型環境を提供します。 ノートブックを使用すると、コードの記述と実行、ワークフローの文書化、結果の表示をすべて 1 か所で行うことができます。 これにより、データ探索の実行、高度な分析ソリューションの構築、他のユーザーとの分析情報の共有が簡単になります。 Visual Studio Code 内で Python と Apache Spark を活用することで、ノートブックは生のセキュリティ データを実用的なインテリジェンスに変換するのに役立ちます。

この記事では、Visual Studio Code で Jupyter Notebook を使用して Data Lake データを探索および操作する方法について説明します。

[前提条件]

Microsoft Sentinel データ レイクに参加する

Microsoft Sentinel データ レイクでノートブックを使用するには、まず Data Lake にオンボードする必要があります。 Microsoft Sentinel データ レイクにオンボードしていない場合は、「 Microsoft Sentinel Data Lake へのオンボード」を参照してください。 Data Lake に最近オンボードした場合、ノートブックを使用して意味のある分析を作成するには、十分な量のデータが取り込まれるまで時間がかかる場合があります。

権限

Microsoft Entra ID ロールは、データ レイク内のすべてのワークスペースに広範なアクセスを提供します。 または、Azure RBAC ロールを使用して、個々のワークスペースへのアクセス権を付与することもできます。 Microsoft Sentinel ワークスペースに対する Azure RBAC アクセス許可を持つユーザーは、Data Lake レベルのワークスペースに対してノートブックを実行できます。 詳細については、「 Microsoft Sentinel のロールとアクセス許可」を参照してください。

分析レベルで新しいカスタム テーブルを作成するには、Data Lake マネージド ID に Log Analytics ワークスペースの Log Analytics 共同作成者 ロールを割り当てる必要があります。

ロールを割り当てるには、次の手順に従います。

1. Azure portal で、ロールを割り当てる Log Analytics ワークスペースに移動します。
2. 左側のナビゲーション ペインで [アクセス制御 (IAM)] を選択します。
3. [ロールの割り当ての追加] を選択します。
4. [ロール] テーブルで、[Log Analytics 共同作成者] を選択し、[次へ] を選択します。
5. [ マネージド ID] を選択し、[ メンバーの選択] を選択します。
6. あなたのデータレイクのマネージド ID は、msg-resources-<guid>という名前のシステム割り当てマネージド ID です。 マネージド ID を選択し、[選択] をクリックします。
7. 「Review and assign」を選択します。

マネージド ID へのロールの割り当ての詳細については、 Azure portal を使用した Azure ロールの割り当てに関するページを参照してください。

Visual Studio Code と Microsoft Sentinel 拡張機能をインストールする

Visual Studio Code をまだお持ちでない場合は、Visual Studio Code for Mac、 Linux、または Windows をダウンロードしてインストール します。

Visual Studio Code (VS Code) 用の Microsoft Sentinel 拡張機能は、拡張機能マーケットプレースからインストールされます。 拡張機能をインストールするには、次の手順に従います。

1. 左側のツール バーで Extensions Marketplace を選択します。
2. Sentinel を検索します。
3. Microsoft Sentinel 拡張機能を選択し、[インストール] を選択します。
4. 拡張機能がインストールされると、Microsoft Sentinel のシールド アイコンが左側のツール バーに表示されます。

Visual Studio Code 用の GitHub Copilot 拡張機能をインストールして、ノートブックでのコード補完と提案を有効にします。

1. Extensions Marketplace で GitHub Copilot を検索してインストールします。
2. インストール後、GitHub アカウントを使用して GitHub Copilot にサインインします。

データ レイク レベル テーブルを探す

Microsoft Sentinel 拡張機能をインストールしたら、データ レイク層テーブルの探索と、データを分析するための Jupyter ノートブックの作成を開始できます。

Microsoft Sentinel 拡張機能にサインインする

1. 左側のツール バーの Microsoft Sentinel シールド アイコンを選択します。

2. 次のテキストを含むダイアログが表示されます 。拡張機能 "Microsoft Sentinel" は Microsoft を使用してサインインしたいと考えています。 [許可] を選択します。

   

3. アカウント名を選択してサインインを完了します。

   

データ レイク テーブルとジョブを表示する

サインインすると、Microsoft Sentinel 拡張機能の左側のウィンドウに 、Lake テーブル と ジョブ の一覧が表示されます。 テーブルを選択すると、列の定義が表示されます。

ジョブの詳細については、「 ジョブとスケジュール」を参照してください。

新しいノートブックを作成する

1. 新しいノートブックを作成するには、次のいずれかの方法を使用します。

2. 検索ボックスに「 > 」と入力するか、 Ctrl + Shift + P キーを押して、「 Create New Jupyter Notebook」と入力します。

3. [ファイル] > [新しいファイル] を選択し、ドロップダウンから [Jupyter Notebook ] を選択します。
   

4. 新しいノートブックで、次のコードを最初のセルに貼り付けます。

   from sentinel_lake.providers import MicrosoftSentinelProvider
   data_provider = MicrosoftSentinelProvider(spark)
   
   table_name = "EntraGroups"  
   df = data_provider.read_table(table_name)  
   df.select("displayName", "groupTypes", "mail", "mailNickname", "description", "tenantId").show(100,   truncate=False)  
   

5. 実行 三角形を選択して、ノートブックでコードを実行します。 結果は、コード セルの下の出力ウィンドウに表示されます。
   

6. ランタイム プールの一覧の一覧から Microsoft Sentinel を選択します。

7. [中] を選択して、中規模のランタイム プールでノートブックを実行します。 さまざまなランタイムの詳細については、「 適切な Microsoft Sentinel ランタイムの選択」を参照してください。

セッションが開始されると、ノートブック内のコードが実行され、結果がコード セルの下の出力ウィンドウに表示されます。たとえば、

Microsoft Sentinel データ レイクと対話する方法を示すサンプル ノートブックについては、 Microsoft Sentinel Data Lake のサンプル ノートブックを参照してください。

ノートブックで GitHub Copilot を使用する

GitHub Copilot を使用すると、ノートブックでコードを記述できます。 GitHub Copilot では、コードのコンテキストに基づいてコードの提案とオートコンプリートが提供されます。 GitHub Copilot を使用するには、Visual Studio Code に GitHub Copilot 拡張機能 がインストールされていることを確認します。

Microsoft Sentinel データ レイクのサンプル ノートブックからコードをコピーし、ノートブック フォルダーに保存して GitHub Copilot のコンテキストを提供します。 GitHub Copilot は、ノートブックのコンテキストに基づいてコード補完を提案できるようになります。

次の例は、コード レビューを生成する GitHub Copilot を示しています。

Microsoft Sentinel プロバイダー クラス

Microsoft Sentinel データ レイクに接続するには、 SentinelLakeProvider クラスを使用します。 このクラスは、 access_module.data_loader モジュールの一部であり、データ レイクと対話するメソッドを提供します。 このクラスを使用するには、それをインポートし、 spark セッションを使用してクラスのインスタンスを作成します。

from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark)

使用可能なメソッドの詳細については、「 Microsoft Sentinel プロバイダー クラス リファレンス」を参照してください。

適切なランタイム プールを選択する

Microsoft Sentinel 拡張機能で Jupyter ノートブックを実行するには、3 つのランタイム プールを使用できます。 各プールは、さまざまなワークロードとパフォーマンス要件に合わせて設計されています。 ランタイム プールの選択は、Spark ジョブのパフォーマンス、コスト、実行時間に影響します。

ログの表示

ログは、Visual Studio Code の [出力 ] ウィンドウで表示できます。

1. [出力] ウィンドウで、ドロップダウンから Microsoft Sentinel を選択します。
2. 詳細なログ エントリを含めるには、[ デバッグ] を選択します。

ジョブとスケジュール

Visual Studio Code 用の Microsoft Sentinel 拡張機能を使用して、特定の時間または間隔でジョブを実行するようにスケジュールできます。 ジョブを使用すると、データ処理タスクを自動化して、Microsoft Sentinel データ レイク内のデータを集計、変換、または分析できます。 ジョブは、データを処理したり、データ レイク層または分析層のカスタム テーブルに結果を書き込んだりするためにも使用されます。 ジョブの作成と管理の詳細については、「 Jupyter Notebook ジョブの作成と管理」を参照してください。

VS Code Notebook のサービス パラメーターと制限

次のセクションでは、VS Code Notebooks を使用する場合の Microsoft Sentinel Data Lake (プレビュー) のサービス パラメーターと制限の一覧を示します。

トラブルシューティング

次の表に、ノートブックを操作するときに発生する可能性がある一般的なエラー、その根本原因、およびそれらを解決するための推奨されるアクションを示します。

Spark コンピューティング

VS Code Runtime

対話型ノートブック

図書館

仕事

関連コンテンツ

• ノートブック ジョブを作成して管理する
• Microsoft Sentinel データ レイクのサンプル ノートブック
• Microsoft Sentinel プロバイダークラスのリファレンス
• Microsoft Sentinel Data Lake の概要
• Microsoft Sentinel Data Lake のロールとアクセス許可。