Microsoft Sentinel 데이터 레이크를 사용하면 최대 12년 동안 방화벽 또는 DNS 데이터, 자산 인벤토리 및 기록 레코드와 같은 대용량의 낮은 충실도 로그를 저장하고 분석할 수 있습니다. 스토리지와 컴퓨팅은 분리되므로 이동하거나 복제하지 않고 여러 도구를 사용하여 동일한 데이터 복사본을 쿼리할 수 있습니다.
KQL(Kusto Query Language) 및 Jupyter Notebook을 사용하여 데이터 레이크의 데이터를 탐색하여 위협 헌팅 및 조사부터 보강 및 기계 학습에 이르기까지 다양한 시나리오를 지원할 수 있습니다.
이 문서에서는 데이터 레이크 탐색의 핵심 개념과 시나리오를 소개하고, 일반적인 사용 사례를 강조 표시하며, 익숙한 도구를 사용하여 데이터와 상호 작용하는 방법을 보여 줍니다.
KQL 대화형 쿼리
KQL(Kusto Query Language)을 사용하여 여러 작업 영역을 통해 데이터 레이크에서 직접 대화형 쿼리를 실행합니다.
분석가는 KQL을 사용하여 다음을 수행할 수 있습니다.
- 기록 데이터를 사용하여 조사 및 대응: 데이터 레이크의 장기 데이터를 사용하여 법의학적 증거를 수집하고, 인시던트를 조사하고, 패턴을 감지하고, 인시던트에 대응합니다.
- 대용량 로그를 사용하여 조사 강화: 데이터 레이크에 저장된 노이즈 또는 낮은 충실도 데이터를 활용하여 보안 조사에 컨텍스트와 깊이를 추가합니다.
- 데이터 레이크의 자산 및 로그 데이터 상관 관계: 자산 인벤토리 및 ID 로그를 쿼리하여 사용자 활동을 리소스와 연결하고 더 광범위한 공격을 발견합니다.
KQL 쿼리를 Defender 포털의 Microsoft Sentinel>Data Lake 탐색에서 사용하여 장기 데이터에 대한 임시 대화형 KQL 쿼리를 직접 실행합니다. 온보딩 프로세스가 완료된 후 데이터 레이크 탐색을 사용할 수 있습니다. KQL 쿼리는 데이터가 분석 계층에 더 이상 상주하지 않을 수 있는 인시던트 조사를 하는 SOC 분석가에게 적합합니다. 쿼리를 사용하면 코드를 다시 작성하지 않고 익숙한 쿼리를 사용하여 포렌식 분석을 수행할 수 있습니다. KQL 쿼리를 시작하려면 Data Lake exploration - KQL 쿼리를 참조하세요.
KQL 작업
KQL 작업은 Microsoft Sentinel 데이터 레이크의 데이터에 대한 일회성 또는 예약된 비동기 KQL 쿼리입니다. 작업은 예를 들어 조사 및 분석 시나리오에 유용합니다.
- 인시던트 조사 및 대응을 위한 오랫동안 실행되는 일회성 쿼리
- 충실도가 낮은 로그를 사용하여 보강 워크플로를 지원하는 데이터 집계 작업
- 회고 분석을 위한 TI(기록 위협 인텔리전스) 일치 검사
- 여러 테이블에서 비정상적인 패턴을 식별하는 변칙 검색 검사
- 데이터 레이크에서 분석 계층으로 데이터를 승격하여 인시던트 조사 또는 로그 상관 관계를 사용하도록 설정합니다.
데이터 레이크에서 일회성 KQL 작업을 실행하여 데이터 레이크 계층에서 분석 계층으로 특정 기록 데이터를 승격하거나 데이터 레이크 계층에서 사용자 지정 요약 테이블을 만듭니다. 데이터를 승격하는 것은 분석 계층 창을 넘는 인시던트를 조사할 때 근본 원인 분석이나 제로 데이 탐지에 유용합니다. 데이터 레이크에서 예약된 작업을 제출하여 반복 쿼리를 자동화하여 변칙을 검색하거나 기록 데이터를 사용하여 기준을 작성합니다. 위협 사냥꾼은 이를 사용하여 시간이 지남에 따라 비정상적인 패턴을 모니터링하고 결과를 검색 또는 대시보드에 공급할 수 있습니다. 자세한 내용은 Microsoft Sentinel 데이터 레이크에서 작업 만들기 및 Microsoft Sentinel 데이터 레이크의 작업 관리를 참조하세요.
탐색 시나리오
다음 시나리오에서는 Microsoft Sentinel 데이터 레이크의 KQL 쿼리를 사용하여 보안 작업을 향상시키는 방법을 보여 줍니다.
| 시나리오 | 세부 정보 | 예시 |
|---|---|---|
| 장기 기록 데이터를 사용하여 보안 인시던트 조사 | 보안 팀은 인시던트 전체 범위를 파악하기 위해 기본 보존 기간을 초과해야 하는 경우가 많습니다. | 무차별 암호 대입 공격을 조사하는 계층 3 SOC 분석가는 데이터 레이크에 대한 KQL 쿼리를 사용하여 90일이 지난 데이터를 쿼리합니다. 1년 전의 의심스러운 활동을 식별한 후 분석가는 더 심층적인 분석 및 인시던트 상관 관계를 위해 조사 결과를 분석 계층으로 승격합니다. |
| 시간 경과에 따른 변칙 검색 및 동작 기준 빌드 | 검색 엔지니어는 기록 데이터를 사용하여 기준을 설정하고 악의적인 동작을 나타낼 수 있는 패턴을 식별합니다. | 검색 엔지니어는 몇 달 동안 로그인 로그를 분석하여 활동 급증을 감지합니다. 데이터 레이크에서 KQL 작업을 예약하여 시계열 기준을 작성하고 자격 증명 남용과 일치하는 패턴을 파악합니다. |
| 높은 볼륨의 낮은 충실도 로그를 사용하여 조사 보강 | 일부 로그는 분석 계층에 너무 시끄럽거나 볼륨이 많지만 컨텍스트 분석에 여전히 유용합니다. | SOC 분석가는 KQL을 사용하여 데이터 레이크에만 저장된 네트워크 및 방화벽 로그를 쿼리합니다. 이러한 로그는 분석 계층에 없지만 경고의 유효성을 검사하고 조사 중에 지원 증거를 제공하는 데 도움이 됩니다. |
| 유연한 데이터 계층화로 새로운 위협에 대응 | 새로운 위협 인텔리전스가 등장하면 분석가는 기록 데이터에 신속하게 액세스하고 조치를 취해야 합니다. | 위협 인텔리전스 분석가는 데이터 레이크에서 제안된 KQL 쿼리를 실행하여 새로 게시된 위협 분석 보고서에 반응합니다. 몇 달 전에 관련 활동을 검색하면 필요한 로그가 분석 계층으로 승격됩니다. 향후 검색에 대한 실시간 검색을 사용하도록 설정하기 위해 관련 테이블에서 계층화 정책을 조정하여 가장 최근의 로그를 분석 계층으로 미러링할 수 있습니다. |
| 기존 보안 로그 이외의 원본에서 자산 데이터 탐색 | Microsoft Entra ID 개체 및 Azure 리소스와 같은 자산 인벤토리를 사용하여 조사를 보강합니다. | 분석가는 KQL을 사용하여 Microsoft Entra ID 사용자, 앱, 그룹 또는 Azure Resources 인벤토리와 같은 ID 및 리소스 자산 정보를 쿼리하여 기존 보안 데이터를 보완하는 광범위한 컨텍스트에 대한 로그의 상관 관계를 지정할 수 있습니다. |