Microsoft Sentinel 데이터 레이크에서 노트북 실행(미리 보기)

Jupyter Notebook은 Microsoft Sentinel 데이터 레이크에서 데이터를 탐색, 분석 및 시각화하기 위한 대화형 환경을 제공합니다. Notebook을 사용하면 코드를 작성하고 실행하고, 워크플로를 문서화하고, 결과를 한 곳에서 볼 수 있습니다. 이렇게 하면 데이터 탐색을 쉽게 수행하고, 고급 분석 솔루션을 빌드하고, 다른 사용자와 인사이트를 공유할 수 있습니다. Visual Studio Code 내에서 Python 및 Apache Spark를 활용하여 Notebook을 사용하면 원시 보안 데이터를 실행 가능한 인텔리전스로 변환할 수 있습니다.

이 문서에서는 Visual Studio Code에서 Jupyter Notebook을 사용하여 데이터 레이크 데이터를 탐색하고 상호 작용하는 방법을 보여 줍니다.

필수 조건

Microsoft Sentinel 데이터 레이크에 등록하기

Microsoft Sentinel 데이터 레이크에서 Notebook을 사용하려면 먼저 데이터 레이크에 온보딩해야 합니다. Microsoft Sentinel 데이터 레이크에 온보딩하지 않은 경우 Microsoft Sentinel 데이터 레이크에 온보딩을 참조하세요. 최근에 데이터 레이크에 온보딩한 경우 Notebook을 사용하여 의미 있는 분석을 수행하기 전에 충분한 양의 데이터가 수집될 때까지 어느 정도 시간이 필요할 수 있습니다.

권한

Microsoft Entra ID 역할은 데이터 레이크의 모든 작업 영역에서 광범위한 액세스를 제공합니다. 또는 Azure RBAC 역할을 사용하여 개별 작업 영역에 대한 액세스 권한을 부여할 수 있습니다. Microsoft Sentinel 작업 영역에 대한 Azure RBAC 권한이 있는 사용자는 데이터 레이크 계층의 해당 작업 영역에 대해 Notebook을 실행할 수 있습니다. 자세한 내용은 Microsoft Sentinel의 역할 및 권한을 참조하세요.

분석 계층에서 새 사용자 지정 테이블을 만들려면 데이터 레이크 관리 ID에 Log Analytics 작업 영역에서 Log Analytics 기여자 역할이 할당되어야 합니다.

역할을 할당하려면 다음 단계를 수행합니다.

1. Azure Portal에서 역할을 할당하려는 Log Analytics 작업 영역으로 이동합니다.
2. 왼쪽 탐색 창에서 액세스 제어(IAM)를 선택합니다.
3. 역할 할당 추가를 선택합니다.
4. 역할 테이블에서 Log Analytics 기여자를 선택한 다음, 다음을 선택합니다.
5. 관리 ID를 선택한 다음 멤버 선택을 선택합니다.
6. 귀하의 데이터 레이크 관리 ID는 msg-resources-<guid>라는 이름이 지정된 시스템 할당 관리 ID입니다. 관리 ID를 선택한 다음, 선택을 선택합니다.
7. 검토 및 할당을 선택합니다.

관리 ID에 역할을 할당하는 방법에 대한 자세한 내용은 Azure Portal을 사용하여 Azure 역할 할당을 참조하세요.

Visual Studio Code 및 Microsoft Sentinel 확장 설치

Visual Studio Code가 아직 없는 경우 Mac, Linux 또는 Windows용 Visual Studio Code를 다운로드하여 설치 합니다.

VS Code(Visual Studio Code)용 Microsoft Sentinel 확장은 확장 마켓플레이스에서 설치됩니다. 확장을 설치하려면 다음 단계를 수행합니다.

1. 왼쪽 도구 모음에서 확장 마켓플레이스를 선택합니다.
2. Sentinel을 검색합니다.
3. Microsoft Sentinel 확장을 선택하고 설치를 선택합니다.
4. 확장이 설치되면 왼쪽 도구 모음에 Microsoft Sentinel 방패 아이콘이 나타납니다.

Visual Studio Code용 GitHub Copilot 확장을 설치하여 Notebook에서 코드 완성 및 제안을 사용하도록 설정합니다.

1. 확장 마켓플레이스에서 GitHub Copilot 를 검색하여 설치합니다.
2. 설치 후 GitHub 계정을 사용하여 GitHub Copilot에 로그인합니다.

데이터 레이크 계층 테이블 탐색

Microsoft Sentinel 확장을 설치한 후 데이터 레이크 계층 테이블을 탐색하고 Jupyter Notebook을 만들어 데이터를 분석할 수 있습니다.

Microsoft Sentinel 확장에 로그인

1. 왼쪽 도구 모음에서 Microsoft Sentinel 방패 아이콘을 선택합니다.

2. 다음 텍스트와 함께 대화 상자가 나타납니다. "Microsoft Sentinel" 확장은 Microsoft를 사용하여 로그인하려고 합니다. 허용을 선택합니다.

   

3. 계정 이름을 선택하여 로그인을 완료합니다.

   

데이터 레이크 테이블 및 작업 보기

로그인하면 Microsoft Sentinel 확장은 왼쪽 창에 Lake 테이블 및 작업 목록을 표시합니다. 테이블을 선택하여 열 정의를 확인합니다.

작업에 대한 자세한 내용은 작업 및 예약을 참조하세요.

새 Notebook 만들기

1. 새 Notebook을 만들려면 다음 방법 중 하나를 사용합니다.

2. 검색 상자에 입력 > 하거나 Ctrl+Shift+P 를 누른 다음 새 Jupyter Notebook 만들기를 입력합니다.

3. 새 파일 파일을 > 선택한 다음 드롭다운에서 Jupyter Notebook 을 선택합니다.
   

4. 새 Notebook에서 다음 코드를 첫 번째 셀에 붙여넣습니다.

   from sentinel_lake.providers import MicrosoftSentinelProvider
   data_provider = MicrosoftSentinelProvider(spark)
   
   table_name = "EntraGroups"  
   df = data_provider.read_table(table_name)  
   df.select("displayName", "groupTypes", "mail", "mailNickname", "description", "tenantId").show(100,   truncate=False)  
   

5. 실행 삼각형을 선택하여 Notebook에서 코드를 실행합니다. 결과는 코드 셀 아래의 출력 창에 표시됩니다.
   

6. 런타임 풀 목록에 대한 목록에서 Microsoft Sentinel 을 선택합니다.

7. 보통을 선택하여 중간 크기의 런타임 풀에서 Notebook을 실행합니다. 다른 런타임에 대한 자세한 내용은 적절한 Microsoft Sentinel 런타임 선택을 참조하세요.

세션이 시작되면 Notebook의 코드가 실행되고 결과가 코드 셀 아래의 출력 창에 표시됩니다(예:

Microsoft Sentinel 데이터 레이크와 상호 작용하는 방법을 보여 주는 샘플 노트북은 Microsoft Sentinel 데이터 레이크에 대한 샘플 노트북을 참조하세요.

Notebook에서 GitHub Copilot 사용

GitHub Copilot를 사용하여 Notebook에서 코드를 작성할 수 있습니다. GitHub Copilot는 코드 컨텍스트에 따라 코드 제안 및 자동 완성을 제공합니다. GitHub Copilot를 사용하려면 Visual Studio Code에 GitHub Copilot 확장 이 설치되어 있는지 확인합니다.

Microsoft Sentinel 데이터 레이크용 샘플 노트북에서 코드를 복사하여 노트북 폴더에 저장하면 GitHub Copilot에 대한 문맥을 제공합니다. 그러면 GitHub Copilot는 Notebook의 컨텍스트에 따라 코드 완성을 제안할 수 있습니다.

다음 예제에서는 코드 검토를 생성하는 GitHub Copilot를 보여줍니다.

Microsoft Sentinel 공급자 클래스

Microsoft Sentinel 데이터 레이크에 연결하려면 클래스를 SentinelLakeProvider 사용합니다. 이 클래스는 모듈의 access_module.data_loader 일부이며 데이터 레이크와 상호 작용하는 메서드를 제공합니다. 이 클래스를 사용하려면 해당 클래스를 가져오고 세션을 사용하여 클래스의 인스턴스를 만듭니다 spark .

from sentinel_lake.providers import MicrosoftSentinelProvider
data_provider = MicrosoftSentinelProvider(spark)

사용 가능한 메서드에 대한 자세한 내용은 Microsoft Sentinel Provider 클래스 참조를 참조하세요.

적절한 런타임 풀 선택

Microsoft Sentinel 확장에서 Jupyter Notebook을 실행할 수 있는 세 개의 런타임 풀이 있습니다. 각 풀은 다양한 워크로드 및 성능 요구 사항을 위해 설계되었습니다. 런타임 풀 선택은 Spark 작업의 성능, 비용 및 실행 시간에 영향을 줍니다.

로그 보기

로그는 Visual Studio Code의 출력 창에서 볼 수 있습니다.

1. 출력 창의 드롭다운에서 Microsoft Sentinel을 선택합니다.
2. 자세한 로그 항목을 포함하려면 디버그 를 선택합니다.

작업 및 일정

Visual Studio Code용 Microsoft Sentinel 확장을 사용하여 특정 시간 또는 간격으로 작업을 실행하도록 예약할 수 있습니다. 작업을 사용하면 데이터 처리 작업을 자동화하여 Microsoft Sentinel 데이터 레이크의 데이터를 요약, 변환 또는 분석할 수 있습니다. 작업은 데이터 레이크 계층 또는 분석 계층의 사용자 지정 테이블에 데이터를 처리하고 결과를 쓰는 데도 사용됩니다. 작업을 만들고 관리하는 방법에 대한 자세한 내용은 Jupyter Notebook 작업 만들기 및 관리를 참조하세요.

VS Code Notebook에 대한 서비스 매개 변수 및 제한

다음 섹션에서는 VS Code Notebook을 사용할 때 Microsoft Sentinel 데이터 레이크(미리 보기)에 대한 서비스 매개 변수 및 제한을 나열합니다.

문제 해결

다음 표에서는 Notebook을 사용할 때 발생할 수 있는 일반적인 오류, 근본 원인 및 해결을 위한 제안된 작업을 나열합니다.

Spark 컴퓨팅

VS Code 런타임

대화형 전자 필기장

라이브러리

직업

관련 콘텐츠

• Notebook 작업 만들기 및 관리
• Microsoft Sentinel 데이터 레이크용 샘플 노트북
• Microsoft Sentinel 공급자 클래스 참조
• Microsoft Sentinel 데이터 레이크 개요
• Microsoft Sentinel 데이터 레이크의 역할과 권한.