Erstellen von KQL-Jobs im Microsoft Sentinel Data Lake

KQL-Aufträge sind einmalige oder geplante asynchrone KQL-Abfragen zu Daten im Microsoft Sentinel-Data Lake. Aufträge sind zum Beispiel nützlich für Untersuchungs- und Analyseszenarien;

• Langfristige einmalige Abfragen für Vorfalluntersuchungen und Reaktion auf Vorfälle (IR)
• Datenaggregationsaufgaben, die Anreicherungsworkflows mithilfe von Protokollen mit niedriger Genauigkeit unterstützen
• Abgleichsscans für historische TI-Daten (Threat Intelligence) zur retrospektiven Analyse
• Anomalieerkennungsscans, die ungewöhnliche Muster über mehrere Tabellen hinweg identifizieren

KQL-Aufträge sind besonders effektiv, wenn Abfragen Verknüpfungen oder Gewerkschaften in verschiedenen Datasets verwenden.

Aufträge werden auch verwendet, um die Daten aus der Datenseeebene auf die Analyseebene zu bewerben. Sobald Sie sich in der Analyseebene befinden, verwenden Sie den KQL-Editor für das erweiterte Suchen, um die Daten abzufragen. Das Bewerben von Daten auf die Analyseebene hat die folgenden Vorteile:

• Kombinieren Sie aktuelle und historische Daten auf der Analyseebene, um erweiterte Analyse- und Machine Learning-Modelle für Ihre Daten auszuführen.
• Reduzieren Sie die Abfragekosten, indem Sie Abfragen auf der Analyseebene ausführen.
• Kombinieren Sie Daten aus mehreren Arbeitsbereichen zu einem einzelnen Arbeitsbereich auf der Analyseebene.
• Kombinieren Sie Microsoft Entra-ID, Microsoft 365- und Microsoft Resource Graph-Daten in der Analyseebene, um erweiterte Analysen in allen Datenquellen auszuführen.

Sie können Daten zu einer neuen Tabelle heraufstufen oder die Ergebnisse an eine vorhandene Tabelle auf der Analyseebene anfügen. Beim Erstellen einer neuen Tabelle wird der Tabellenname mit _KQL_CL suffixiert, um anzugeben, dass die Tabelle von einem KQL-Auftrag erstellt wurde.

Voraussetzungen

Die folgenden Voraussetzungen sind erforderlich, um KQL-Aufträge im Microsoft Sentinel-Datensee zu erstellen und zu verwalten.

Onboarding zum Data Lake

Um KQL-Aufträge im Microsoft Sentinel-Datensee zu erstellen und zu verwalten, müssen Sie zuerst dem Datensee beitreten. Weitere Informationen zum Onboarding in den Datensee finden Sie unter Onboarding zum Microsoft Sentinel-Datensee.

Erlaubnisse

Microsoft Entra ID-Rollen bieten umfassenden Zugriff auf alle Arbeitsbereiche im Data Lake. Um Tabellen in allen Arbeitsbereichen zu lesen, in die Analyseebene zu schreiben und Aufträge mithilfe von KQL-Abfragen zu planen, müssen Sie über eine der unterstützten Microsoft Entra-ID-Rollen verfügen. Weitere Informationen zu Rollen und Berechtigungen finden Sie unter Microsoft Sentinel Data Lake-Rollen und -Berechtigungen.

Um neue benutzerdefinierte Tabellen auf der Analyseebene zu erstellen, muss die verwaltete Identität des Data Lake der Rolle Log Analytics-Mitwirkender im Log Analytics-Arbeitsbereich zugewiesen werden.

Führen Sie die folgenden Schritte aus, um die Rolle zuzuweisen:

1. Navigieren Sie im Azure-Portal zum Log Analytics-Arbeitsbereich, dem Sie die Rolle zuweisen möchten.
2. Wählen Sie im linken Navigationsbereich Zugriffssteuerung (IAM) aus.
3. Wählen Sie "Rollenzuweisung hinzufügen" aus.
4. Wählen Sie in der Rollentabelle *Log Analytics-Mitwirkender und dann "Weiter" aus.
5. Wählen Sie "Verwaltete Identität" und dann " Mitglieder auswählen" aus.
6. Ihre verwaltete Data Lake-Identität ist eine vom System zugewiesene verwaltete Identität mit dem Namen msg-resources-<guid>. Wählen Sie diese verwaltete Identität aus und klicken Sie dann auf "Auswählen".
7. Wählen Sie Überprüfen und zuweisen aus.

Weitere Informationen zum Zuweisen von Rollen zu verwalteten Identitäten finden Sie unter Zuweisen von Azure-Rollen mithilfe des Azure-Portals.

Einen Job erstellen

Sie können Aufträge erstellen, die nach einem Zeitplan oder einmal ausgeführt werden sollen. Wenn Sie einen Auftrag erstellen, geben Sie den Zielarbeitsbereich und die Tabelle für die Ergebnisse an. Die Ergebnisse können in eine neue Tabelle geschrieben oder an eine vorhandene Tabelle auf der Analyseebene angefügt werden.

1. Starten Sie den Auftragserstellungsprozess über den KQL-Abfrage-Editor oder über die Auftragsverwaltungsseite.

   1. Um einen Auftrag aus dem KQL-Abfrage-Editor zu erstellen, wählen Sie in der oberen rechten Ecke des Abfrage-Editors die Schaltfläche " Auftrag erstellen " aus.
   2. Um einen Auftrag auf der Seite "Auftragsverwaltung" zu erstellen, wählen Sie "Microsoft Sentinel>Data lake exploration>Jobs " und dann die Schaltfläche " Neuen KQL-Auftrag erstellen " aus.

2. Geben Sie einen Auftragsnamen ein. Der Auftragsname muss für den Mandanten eindeutig sein. Auftragsnamen können bis zu 256 Zeichen enthalten. Sie können weder einen # noch einen - in einem Auftragsnamen verwenden.

3. Geben Sie eine Auftragsbeschreibung ein, die den Kontext und den Zweck des Auftrags bereitstellt.

4. Wählen Sie im Dropdownmenü "Arbeitsbereich auswählen" den Zielarbeitsbereich aus. Dies ist der Arbeitsbereich auf der Analyseebene, in den Sie die Abfrageergebnisse schreiben möchten.

5. Wählen Sie die Zieltabelle aus:

   1. Um eine neue Tabelle zu erstellen, wählen Sie "Neue Tabelle erstellen " aus, und geben Sie einen Tabellennamen ein. Tabellen, die von KQL-Aufträgen erstellt werden, haben das Suffix _KQL_CL am Tabellennamen angefügt.

   2. Um eine vorhandene Tabelle anzufügen, wählen Sie "Zu einer vorhandenen Tabelle hinzufügen " aus, und wählen Sie den Tabellennamen in der Dropdownliste aus. Beim Hinzufügen zu einer vorhandenen Tabelle müssen die Abfrageergebnisse mit dem Schema der vorhandenen Tabelle übereinstimmen.

6. Wählen Sie Weiteraus.

7. Überprüfen oder schreiben Sie Ihre Abfrage im Bereich zum Vorbereiten der Abfrage. Überprüfen Sie, ob die Zeitauswahl auf den erforderlichen Zeitraum für den Auftrag festgelegt ist, wenn der Datumsbereich in der Abfrage nicht angegeben ist.

8. Wählen Sie die Arbeitsbereiche aus, für die die Abfrage aus der Dropdownliste "Ausgewählte Arbeitsbereiche" ausgeführt werden soll. Dies sind die Quellarbeitsbereiche, deren Tabellen Sie abfragen möchten. Die von Ihnen ausgewählten Arbeitsbereiche bestimmen die tabellen, die für die Abfrage verfügbar sind. Die ausgewählten Arbeitsbereiche gelten für alle Registerkarten im Abfrage-Editor. Bei Verwendung mehrerer Arbeitsbereiche wird der union() Operator standardmäßig auf Tabellen mit demselben Namen und Schema aus verschiedenen Arbeitsbereichen angewendet. Verwenden Sie den workspace() Operator, um eine Tabelle aus einem bestimmten Arbeitsbereich abzufragen, z. B workspace("MyWorkspace").AuditLogs. .

   Hinweis

   Wenn Sie in eine vorhandene Tabelle schreiben, muss die Abfrage Ergebnisse mit einem Schema zurückgeben, das dem Zieltabellenschema entspricht. Wenn die Abfrage keine Ergebnisse mit dem richtigen Schema zurückgibt, schlägt der Auftrag fehl, wenn sie ausgeführt wird.

9. Wählen Sie Weiteraus.

   

   Wählen Sie auf der Seite "Abfrageauftrag planen " aus, ob Sie den Auftrag einmal oder in einem Zeitplan ausführen möchten. Wenn Sie einmal auswählen, wird der Auftrag ausgeführt, sobald die Auftragsdefinition abgeschlossen ist. Wenn Sie "Zeitplan" auswählen, können Sie ein Datum und eine Uhrzeit angeben, zu dem der Auftrag ausgeführt werden soll, oder den Auftrag in einem terminserien Zeitplan ausführen.

10. Wählen Sie einen einmaligen oder geplanten Auftrag aus.

    Hinweis

    Durch das Bearbeiten eines einmaligen Auftrags wird die Ausführung unverzüglich ausgelöst.

11. Wenn Sie "Zeitplan" ausgewählt haben, geben Sie die folgenden Details ein:

    1. Wählen Sie die Wiederholungshäufigkeit aus der Dropdownliste aus. Sie können " Nach Minute", "Stündlich", " Täglich", "Wöchentlich" oder "Monatlich" auswählen.
    2. Legen Sie den Wert "Wiederholen" fest, um festzulegen, wie oft der Auftrag in Bezug auf die ausgewählte Häufigkeit ausgeführt werden soll.
    3. Geben Sie unter "Zeitplan festlegen" die Datums- und Uhrzeitangaben "Von" ein. Die Anfangszeit des Auftrags im Feld Von muss mindestens 30 Minuten nach der Auftragserstellung betragen. Der Auftrag wird ab diesem Datum und dieser Uhrzeit nach der Häufigkeit ausgeführt, die im Dropdown-Menü Alle ausführen ausgewählt ist.
    4. Wählen Sie das An-Datum und die Uhrzeit aus, um anzugeben, wann der Auftragsterminplan abgeschlossen ist. Wenn der Zeitplan unbegrenzt fortgesetzt werden soll, wählen Sie "Auftrag festlegen" aus, der unbegrenzt ausgeführt werden soll.

    Die Zeiten des Auftrags von und bis werden für das Gebietsschema des Benutzers festgelegt.

12. Wählen Sie "Weiter" aus, um die Auftragsdetails zu überprüfen.

    

13. Überprüfen Sie die Auftragsdetails, und wählen Sie "Absenden" aus, um den Auftrag zu erstellen. Wenn der Auftrag ein einmaliger Auftrag ist, wird er ausgeführt, nachdem Sie "Absenden" ausgewählt haben. Wenn der Auftrag geplant ist, wird er der Liste der Aufträge auf der Seite " Aufträge " hinzugefügt und entsprechend den Startdaten und der Startzeit ausgeführt.

14. Der Job ist geplant, und die folgende Seite wird angezeigt. Sie können den Auftrag anzeigen, indem Sie den Link auswählen.

Überlegungen und Einschränkungen

Berücksichtigen Sie beim Erstellen von Aufträgen im Microsoft Sentinel-Datensee die folgenden Einschränkungen und bewährten Methoden:

KQL

• Alle KQL-Operatoren und -Funktionen werden mit Ausnahme der folgenden Optionen unterstützt:

  • adx()
  • arg()
  • externaldata()
  • ingestion_time()

• Benutzerdefinierte Funktionen werden nicht unterstützt.

Arbeitsplätze

• Auftragsnamen müssen für den Mandanten eindeutig sein.
• Auftragsnamen können bis zu 256 Zeichen lang sein.
• Auftragsnamen dürfen keinen # oder - enthalten.
• Die Startzeit des Auftrags muss mindestens 30 Minuten nach der Auftragserstellung oder Bearbeitung betragen.

Spaltennamen

Die folgenden Standardspalten werden für den Export nicht unterstützt. Diese Spalten werden während der Aufnahme in der Zielebene überschrieben:

• Mieter-ID

• _TimeReceived

• Typ

• SourceSystem

• _ResourceId

• _Abonnement-ID

• _ItemId

• _BilledSize

• _IstAbrechnungsfähig

• _WorkspaceId

• TimeGenerated wird überschrieben, wenn es älter als 2 Tage ist. Um die ursprüngliche Ereigniszeit beizubehalten, empfehlen wir, den Quellzeitstempel in eine separate Spalte zu schreiben.

Informationen zu Dienstgrenzwerten finden Sie unter Microsoft Sentinel Data Lake Service Limits.

Dienstparameter und Grenzwerte für KQL-Aufträge

In der folgenden Tabelle sind die Dienstparameter und Grenzwerte für KQL-Aufträge im Microsoft Sentinel-Datensee aufgeführt.

Tipps zur Problembehandlung und Fehlermeldungen finden Sie unter Problembehandlung bei KQL-Abfragen für den Microsoft Sentinel-Datensee.

Verwandte Inhalte

• Verwalten von Aufträgen im Microsoft Sentinel-Datensee
• Übersicht über Microsoft Sentinel-Datensee
• KQL-Abfragen im Microsoft Sentinel-Datensee
• Jupyter-Notizbücher und der Microsoft Sentinel-Datensee