Jupyter Notebook은 Microsoft Sentinel 데이터 레이크 에코시스템의 필수적인 부분으로, 데이터 분석 및 시각화를 위한 강력한 도구를 제공합니다. 노트북은 PySpark를 사용하여 데이터 레이크와 상호 작용할 수 있게 해주는 Microsoft Sentinel Visual Studio Code 확장 프로그램에서 제공합니다. Notebook을 사용하면 복잡한 데이터 변환을 수행하고, 기계 학습 모델을 실행하고, Notebook 환경 내에서 직접 시각화를 만들 수 있습니다.
Jupyter Notebook을 사용하는 Microsoft Sentinel Visual Studio Code 확장은 다음과 같은 이점을 통해 레이크 데이터를 탐색하고 분석할 수 있는 강력한 환경을 제공합니다.
- 대화형 데이터 탐색: Jupyter Notebook은 데이터를 탐색하고 분석하기 위한 대화형 환경을 제공합니다. 코드 조각을 실행하고, 결과를 시각화하고, 결과를 모두 한 곳에서 문서화할 수 있습니다.
- Python 라이브러리와의 통합: Microsoft Sentinel 확장에는 광범위한 Python 라이브러리가 포함되어 있으므로 데이터 분석, 기계 학습 및 시각화에 기존 도구 및 프레임워크를 사용할 수 있습니다.
- 강력한 데이터 분석: Apache Spark 컴퓨팅 세션의 통합을 통해 분산 컴퓨팅 기능을 사용하여 대규모 데이터 세트를 효율적으로 분석할 수 있습니다. 이렇게 하면 보안 데이터에 대해 복잡한 변환 및 집계를 수행할 수 있습니다.
- 낮음 및 느린 공격: 보안 이벤트, 경고 및 인시던트와 관련된 대규모의 복잡하고 상호 연결된 데이터를 분석하여 기존 규칙 기반 시스템을 회피할 수 있는 횡적 이동 또는 낮고 느린 공격과 같은 정교한 위협 및 패턴을 검색할 수 있습니다.
- AI 및 ML 통합: AI 및 기계 학습과 통합하여 변칙 검색, 위협 예측 및 행동 분석을 향상시켜 보안 팀이 에이전트를 빌드하여 조사를 자동화할 수 있도록 합니다.
- 확장성: Notebook은 방대한 양의 데이터를 효율적으로 처리하고 추세, 패턴 및 변칙을 파악하기 위한 심층 일괄 처리를 가능하게 하는 확장성을 제공합니다.
- 시각화 기능: Jupyter Notebook은 다양한 시각화 라이브러리를 지원하므로 데이터의 차트, 그래프 및 기타 시각적 표현을 만들 수 있으므로 인사이트를 얻고 결과를 효과적으로 전달할 수 있습니다.
- 공동 작업 및 공유: Jupyter Notebook은 동료와 쉽게 공유할 수 있으므로 데이터 분석 프로젝트에 대한 공동 작업을 수행할 수 있습니다. 간편한 공유 및 프레젠테이션을 위해 HTML 및 PDF를 비롯한 다양한 형식으로 전자 필기장을 내보낼 수 있습니다.
- 설명서 및 재현성: Jupyter Notebook을 사용하면 코드, 분석 및 결과를 단일 파일로 문서화하여 결과를 보다 쉽게 재현하고 다른 사용자와 공유할 수 있습니다.
노트북에 대한 레이크 탐색 시나리오
다음 시나리오에서는 Microsoft Sentinel Lake의 Jupyter Notebook을 사용하여 보안 작업을 향상시키는 방법을 보여 줍니다.
| 시나리오 | 설명 |
|---|---|
| 실패한 로그인의 사용자 동작 | 실패한 로그인 시도의 패턴을 분석하여 일반적인 사용자 동작의 기준을 설정합니다. 실패한 로그인 전후에 시도된 작업을 조사하여 잠재적 손상이나 무차별 대입 공격 활동을 탐지합니다. |
| 중요한 데이터 경로 | 중요한 데이터 자산에 액세스할 수 있는 사용자 및 디바이스를 식별합니다. 액세스 로그를 조직 컨텍스트와 결합하여 위험 노출을 평가하고, 액세스 경로를 매핑하고, 보안 검토를 위해 영역의 우선 순위를 지정합니다. |
| 변칙 위협 분석 | 비정상적인 위치, 디바이스 또는 시간의 로그인과 같이 설정된 기준에서의 편차를 식별하여 위협을 분석합니다. 잠재적인 내부자 위협을 포함하여 위험 수준이 높은 활동을 식별하기 위해 자산 데이터로 사용자 동작을 오버레이합니다. |
| 위험 점수 매기기 우선 순위 지정 | 데이터 레이크의 보안 이벤트에 사용자 지정 위험 점수 매기기 모델을 적용합니다. 자산 위험성 및 사용자 역할과 같은 상황별 신호를 사용하여 이벤트를 보강하여 위험을 정량화하고, 폭발 반경을 평가하고, 조사를 위해 인시던트의 우선 순위를 지정합니다. |
| 예비 분석 및 시각화 | 여러 로그 원본에서 예비 데이터 분석을 수행하여 공격 타임라인을 재구성하고, 근본 원인을 확인하고, 관련자에게 결과를 전달하는 데 도움이 되는 사용자 지정 시각화를 작성합니다. |
레이크와 분석 계층으로의 데이터 쓰기
Notebook을 사용하여 레이크 계층과 분석 계층에 데이터를 기록할 수 있습니다. Visual Studio Code용 Microsoft Sentinel 확장은 레이크 및 분석 계층에 쓰기의 복잡성을 추상화하는 PySpark Python 라이브러리를 제공합니다. 클래스의 MicrosoftSentinelProvider 함수를 save_as_table() 사용하여 사용자 지정 테이블에 데이터를 쓰거나 레이크 계층 또는 분석 계층의 기존 테이블에 데이터를 추가할 수 있습니다. 자세한 내용은 Microsoft Sentinel 공급자 클래스 참조를 참조하세요.
작업 및 일정
Visual Studio Code용 Microsoft Sentinel 확장을 사용하여 특정 시간 또는 간격으로 작업을 실행하도록 예약할 수 있습니다. 작업을 사용하면 데이터 처리 작업을 자동화하여 Microsoft Sentinel 데이터 레이크의 데이터를 요약, 변환 또는 분석할 수 있습니다. 작업을 사용하여 데이터를 처리하고 레이크 계층 또는 분석 계층의 사용자 지정 테이블에 결과를 작성합니다. 자세한 내용은 Jupyter Notebook 작업 만들기 및 관리를 참조하세요.