Microsoft Fabric Real-Time Intelligence의 eventstreams 기능을 사용하여 실시간 이벤트를 패브릭으로 가져오고, 변환한 다음, 코드를 작성하지 않고 다양한 대상으로 라우팅할 수 있습니다. eventstream을 만들고, 스트림에 이벤트 데이터 원본을 추가하고, 필요에 따라 변환을 추가하여 이벤트 데이터를 변환한 다음, 지원되는 대상으로 데이터를 라우팅합니다.
또한 이벤트 스트림에 사용할 수 있는 Apache Kafka 엔드포인트를 사용하면 Kafka 프로토콜을 사용하여 실시간 이벤트를 보내거나 사용할 수 있습니다.
Fabric으로 이벤트 가져오기
Eventstreams는 다양한 원본에서 이벤트 데이터를 가져오는 원본 커넥터를 제공합니다. 이벤트 스트림을 만들 때 향상된 기능을 사용하도록 설정하면 더 많은 원본을 사용할 수 있습니다.
| 출처 | 설명 |
|---|---|
| Azure Data Explorer(미리 보기) | Azure Data Explorer 데이터베이스와 테이블이 있는 경우 Eventstream을 사용하여 테이블에서 Microsoft Fabric으로 데이터를 수집할 수 있습니다. |
| Azure Event Hubs | Azure 이벤트 허브를 가지고 계신 경우에 이벤트 스트림을 사용하셔서 이벤트 허브 데이터를 Microsoft Fabric에서 수집해 보실 수 있습니다. |
| Azure Event Grid(미리 보기) | Azure Event Grid 네임스페이스가 있는 경우 Eventstream을 사용하여 MQTT 또는 MQTT가 아닌 이벤트 데이터를 Microsoft Fabric에 수집할 수 있습니다. |
| Azure Service Bus(미리 보기) | Eventstream을 사용하여 Azure Service Bus 큐 또는 토픽의 구독에서 Microsoft Fabric으로 데이터를 수집할 수 있습니다. |
| Azure IoT Hub | Azure IoT Hub가 있는 경우 Eventstream을 사용하여 IoT 데이터를 Microsoft Fabric에 수집할 수 있습니다. |
| 사용자 지정 엔드포인트(즉, 표준 기능의 사용자 지정 앱) | 사용자 지정 엔드포인트 기능을 사용하면 애플리케이션 또는 Kafka 클라이언트가 연결 문자열 사용하여 Eventstream에 연결할 수 있으므로 스트리밍 데이터를 Eventstream으로 원활하게 수집할 수 있습니다. |
| Azure IoT Operations | 이벤트 스트림 사용자 지정 엔드포인트를 사용하여 Microsoft Fabric Real-Time Intelligence에 직접 실시간 데이터를 보내도록 Azure IoT 작업을 구성합니다(Microsoft Entra ID 또는 SASL 인증 지원). |
| 샘플 데이터 | 이벤트 스트림을 설정하는 동안 데이터 수집을 테스트하기 위해 자전거, 노란색 택시, 주식 시장, 버스, S&P 500 회사 주식 또는 의미 체계 모델 로그 를 샘플 데이터 원본으로 선택할 수 있습니다. |
| 실시간 날씨(미리 보기) | 다양한 위치의 실시간 날씨 데이터를 스트리밍하기 위해 Eventstream에 실시간 날씨 원본을 추가할 수 있습니다. |
| Azure SQL 데이터베이스 변경 데이터 캡처(CDC) | Azure SQL Database CDC 원본 커넥터를 사용하면 Azure SQL 데이터베이스에서 현재 데이터의 스냅샷을 캡처할 수 있습니다. 그런 다음, 커넥터는 이 데이터에 대한 향후 행 수준 변경 내용을 모니터링하고 기록합니다. |
| PostgreSQL 데이터베이스 CDC | PostgreSQL 데이터베이스 CDC(변경 데이터 캡처) 원본 커넥터를 사용하면 PostgreSQL 데이터베이스에서 현재 데이터의 스냅샷을 캡처할 수 있습니다. 그런 다음, 커넥터는 이 데이터에 대한 향후 행 수준 변경 내용을 모니터링하고 기록합니다. |
| MongoDB CDC(미리 보기) | Microsoft Fabric 이벤트 스트림용 MongoDB CDC 원본 커넥터는 MongoDB에서 데이터의 초기 스냅샷을 캡처합니다. 모니터링할 컬렉션을 지정할 수 있으며 Eventstream은 선택한 데이터베이스 및 컬렉션의 문서에 대한 실시간 변경 내용을 추적하고 기록합니다. |
| MySQL 데이터베이스 CDC | Azure MySQL CDC(변경 데이터 캡처) 원본 커넥터를 사용하면 Azure Database for MySQL 데이터베이스에서 현재 데이터의 스냅샷을 캡처할 수 있습니다. 모니터링할 테이블을 지정할 수 있으며, Eventstream은 테이블에 대한 향후 행 수준 변경 내용을 기록합니다. |
| Azure Cosmos DB CDC | Microsoft Fabric Eventstream용 Azure Cosmos DB CDC(변경 데이터 캡처) 원본 커넥터를 사용하면 Azure Cosmos DB 데이터베이스에서 현재 데이터의 스냅샷을 캡처할 수 있습니다. 그런 다음, 커넥터는 이 데이터에 대한 향후 행 수준 변경 내용을 모니터링하고 기록합니다. |
| VM(가상 머신) 데이터베이스(DB) CDC의 SQL Server | 패브릭 이벤트 스트림에 대한 SQL Server on VM DB(CDC) 원본 커넥터를 사용하면 VM의 SQL Server 데이터베이스에 있는 현재 데이터의 스냅샷을 캡처할 수 있습니다. 그런 다음 커넥터는 데이터에 대한 향후 행 수준 변경 내용을 모니터링하고 기록합니다. |
| Azure SQL Managed Instance CDC | Microsoft Fabric 이벤트 스트림에 대한 Azure SQL Managed Instance CDC 원본 커넥터를 사용하면 SQL Managed Instance 데이터베이스에서 현재 데이터의 스냅샷을 캡처할 수 있습니다. 그런 다음, 커넥터는 이 데이터에 대한 향후 행 수준 변경 내용을 모니터링하고 기록합니다. |
| Fabric 작업 영역 항목 이벤트 | Fabric 작업 영역 항목 이벤트는 Fabric 작업 영역이 변경될 때 발생하는 불연속 Fabric 이벤트입니다. 이러한 변경 내용에는 Fabric 항목 만들기, 업데이트 또는 삭제가 포함되었습니다. Fabric Eventstream을 사용하면 추가 분석을 위해 이러한 Fabric 작업 영역 이벤트를 캡처하고, 변환하며, Fabric의 다양한 목적지로 라우팅할 수 있습니다. |
| Fabric OneLake 이벤트 | OneLake 이벤트를 사용하면 OneLake에서 파일 및 폴더의 변경 내용을 구독한 다음 이러한 변경 내용에 실시간으로 대응할 수 있습니다. 패브릭 이벤트 스트림을 사용하면 이러한 OneLake 이벤트를 캡처하고, 변환하고, 패브릭의 다양한 대상으로 라우팅하여 추가 분석을 수행할 수 있습니다. 패브릭 이벤트 스트림 내에서 OneLake 이벤트를 원활하게 통합하면 OneLake에서 활동을 모니터링하고 분석할 수 있는 유연성이 향상됩니다. |
| 패브릭 작업 이벤트 | 작업 이벤트를 사용하면 Fabric에서 작업을 실행할 때 생성된 변경 내용을 구독할 수 있습니다. 예를 들어 의미 체계 모델을 새로 고치거나, 예약된 파이프라인을 실행하거나, Notebook을 실행할 때 변경 내용에 대응할 수 있습니다. 이러한 각 활동은 해당 작업을 생성할 수 있으며, 그러면 해당 작업 이벤트 집합이 생성됩니다. Fabric 이벤트 스트림을 사용하면 이러한 작업 이벤트를 캡처하고, 변환하고, 패브릭의 다양한 대상으로 라우팅하여 추가 분석을 수행할 수 있습니다. 패브릭 이벤트 스트림 내에서 작업 이벤트를 원활하게 통합하면 작업에서 활동을 모니터링하고 분석할 수 있는 유연성이 향상됩니다. |
| Azure Blob Storage 이벤트 | Azure Blob Storage 이벤트는 클라이언트가 Blob을 만들거나 바꾸거나 삭제할 때 실행됩니다. 커넥터를 사용하면 Blob Storage 이벤트와 실시간 허브의 Fabric 이벤트를 연결할 수 있습니다. 이러한 이벤트를 연속 데이터 스트림으로 변환하고 Fabric의 다양한 대상으로 라우팅하기 전에 변환할 수 있습니다. |
| Google Cloud Pub/Sub | Google Pub/Sub는 Eventstream을 게시하고 구독할 수 있는 메시징 서비스입니다. Google Pub/Sub를 Eventstream에 원본으로 추가하여 실시간 이벤트를 캡처 및 변환하고 Fabric의 다양한 목적지로 라우팅할 수 있습니다. |
| Amazon Kinesis 데이터 스트림 | Amazon Kinesis Data Streams는 스트리밍 데이터에 최적화된 확장성과 내구성이 뛰어난 데이터 수집 및 처리 서비스입니다. Amazon Kinesis Data Streams를 Eventstream 내 원본으로 통합하면 실시간 데이터 스트림을 원활하게 처리한 후 Fabric 내 여러 목적지로 라우팅할 수 있습니다. |
| Apache Kafka용 Confluent Cloud | Confluent Cloud for Apache Kafka는 Apache Kafka를 사용하여 강력한 데이터 스트리밍 및 처리 기능을 제공하는 스트리밍 플랫폼입니다. Confluent Cloud for Apache Kafka를 이벤트 스트림 내의 원본으로 통합하면 패브릭 내의 여러 대상으로 라우팅하기 전에 실시간 데이터 스트림을 원활하게 처리할 수 있습니다. |
| Apache Kafka(미리 보기) | Apache Kafka는 확장 가능한 실시간 데이터 시스템을 빌드하기 위한 오픈 소스 분산 플랫폼입니다. Apache Kafka를 이벤트 스트림 내의 원본으로 통합하면 Apache Kafka에서 실시간 이벤트를 원활하게 가져와서 처리한 후 패브릭 내의 여러 대상으로 라우팅할 수 있습니다. |
| Amazon MSK Kafka | Amazon MSK Kafka는 설정, 크기 조정 및 관리를 간소화하는 완전히 관리되는 Kafka 서비스입니다. Amazon MSK Kafka를 이벤트 스트림 내의 원본으로 통합하면 MSK Kafka에서 실시간 이벤트를 원활하게 가져와서 처리한 후 패브릭 내의 여러 대상으로 라우팅할 수 있습니다. |
| MQTT(미리 보기) | Microsoft Fabric Eventstream을 사용하면 MQTT 브로커에 연결하여 MQTT 브로커의 메시지를 Fabric Eventstream으로 수집하고 Fabric 내의 다양한 대상으로 라우팅할 수 있습니다. |
| Solace PubSub+(미리 보기) | Microsoft Fabric Eventstream을 사용하면 Solace PubSub+에 연결하여 Solace PubSub+의 메시지를 Fabric Eventstream에 수집하고 Fabric 내의 다양한 대상으로 라우팅할 수 있습니다. |
코드 없음 환경을 사용하여 이벤트 처리
이벤트 스트림의 엔드 투 엔드 데이터 흐름 다이어그램은 데이터 흐름 및 조직에 대한 포괄적인 이해를 제공할 수 있습니다.
이벤트 프로세서 편집기는 드래그 앤드 드롭 방식의 경험을 제공합니다. 코드를 작성하지 않고 이벤트 데이터 처리, 변환 및 라우팅 논리를 만드는 직관적인 방법입니다.
| 변환 | 설명 |
|---|---|
| 필터 | 이 변환을 사용하여 입력의 필드 값에 따라 이벤트를 필터링합니다. 데이터 형식(숫자 또는 텍스트)에 따라 변환은 선택한 조건과 일치하는 값(예: is null 또는 is not null)을 유지합니다. |
| 필드 관리 | 이 변환을 사용하여 입력 또는 다른 변환에서 들어오는 필드를 추가, 제거, 변경(데이터 형식) 또는 이름을 바꿉니다. |
| 집계 | 이 변환을 사용하여 일정 기간 동안 새 이벤트가 발생할 때마다 집계(합계, 최소, 최대 또는 평균)를 계산합니다. 또한 이 작업을 통해 데이터의 다른 차원에 따라 집계를 필터링하거나 조각화하면서 이러한 계산 열의 이름을 바꾸도록 할 수 있습니다. 동일한 변환에 하나 이상의 집계가 있을 수 있습니다. |
| 그룹별 정렬 | 이 변환을 사용하여 특정 기간 내의 모든 이벤트에 대한 집계를 계산합니다. 하나 이상의 필드에 있는 값을 기준으로 그룹화할 수 있습니다. 집계 변환과 유사하게 열의 이름을 바꾸는 것을 허용할 뿐만 아니라, 집계에 더 많은 옵션을 제공하고 시간 창에 대한 더 복잡한 옵션을 포함합니다. 집계와 마찬가지로 변환당 둘 이상의 집계를 추가할 수 있습니다. |
| Union | 이 변환을 사용하여 두 개 이상의 노드를 연결하고 공유 필드(이름 및 데이터 형식이 같은)가 있는 이벤트를 하나의 테이블에 추가합니다. 일치하지 않는 필드는 삭제되고 출력에 포함되지 않습니다. |
| 넓히다 | 이 변환을 사용하여 배열 내의 각 값에 대한 새 행을 만듭니다. |
| 가입하다 | 이 변환을 사용하여 두 스트림 간의 일치 조건에 따라 두 스트림의 데이터를 결합합니다. |
Eventstream을 만드는 동안 향상된 기능을 사용하도록 설정한 경우 변환 작업은 모든 대상에 대해 지원됩니다. 파생 스트림은 사용자 지정 엔드포인트나 패브릭 액티베이터와 같은 일부 대상의 중간 브리지 역할을 합니다. 향상된 기능을 사용하도록 설정하지 않은 경우 변환 작업은 레이크하우스 및 이벤트 하우스(수집 전 이벤트 처리) 대상에만 사용할 수 있습니다.
이벤트를 목적지로 라우팅
패브릭 이벤트 스트림 기능은 지원되는 다음 대상으로 데이터 전송을 지원합니다.
| 목적지 | 설명 |
|---|---|
| 사용자 지정 엔드포인트(표준 기능의 사용자 지정 앱) | 이 대상을 사용하여 실시간 이벤트를 사용자 지정 엔드포인트로 라우팅합니다. 사용자 고유의 애플리케이션을 Eventstream에 연결하고 이벤트 데이터를 실시간으로 사용할 수 있습니다. 이 대상은 Microsoft Fabric 외부의 시스템에 실시간 데이터를 보내려는 경우에 유용합니다. |
| Eventhouse | 이 대상을 사용하면 실시간 이벤트 데이터를 이벤트 하우스로 수집할 수 있으며, 여기서 강력한 KQL(Kusto Query Language)을 사용하여 데이터를 쿼리하고 분석할 수 있습니다. Eventhouse의 데이터를 사용하여 이벤트 데이터에 대한 심층적인 인사이트를 얻고 풍부한 보고서 및 대시보드를 만들 수 있습니다. 수집 전 직접 수집 및 이벤트 처리의 두 가지 수집 모드 중에서 선택할 수 있습니다. |
| 레이크하우스 | 이 목적지는 실시간 이벤트를 레이크하우스로 수집하기 전에 변환할 수 있는 기능을 제공합니다. 실시간 이벤트는 Delta Lake 형식으로 변환된 다음 지정된 레이크하우스 테이블에 저장됩니다. 이 목적지는 데이터 웨어하우징 시나리오를 지원합니다. |
| 파생 스트림 | 필터 또는 필드 관리와 같은 스트림 작업을 이벤트 스트림에 추가한 후 이 특수한 유형의 대상을 만들 수 있습니다. 파생 스트림은 스트림 처리 후 변환된 기본 스트림을 나타냅니다. 파생 스트림을 패브릭의 여러 대상으로 라우팅하고 실시간 허브에서 파생 스트림을 볼 수 있습니다. |
| 패브릭 활성화 도구(미리 보기) | 이 대상을 사용하여 실시간 이벤트 데이터를 패브릭 활성화자에 직접 연결할 수 있습니다. 활성화자는 데이터에 연결하고, 조건을 모니터링하고, 조치를 수행하는 데 필요한 모든 정보를 포함하는 지능형 에이전트의 유형입니다. 데이터가 특정 임계값에 도달하거나 다른 패턴과 일치하면 Activator는 사용자에게 경고하거나 Power Automate 워크플로를 시작하는 등의 적절한 작업을 자동으로 수행합니다. |
이벤트 스트림에서 여러 대상을 연결하여 이벤트 스트림이 서로 간섭하지 않고 이벤트 스트림에서 동시에 데이터를 수신할 수 있습니다.
참고
4개 이상의 용량 단위(SKU: F4)가 있는 패브릭 이벤트 스트림 기능을 사용하는 것이 좋습니다.
패브릭 이벤트 스트림의 Apache Kafka
패브릭 이벤트 스트림 기능은 Apache Kafka 엔드포인트를 제공하므로 Kafka 프로토콜을 통해 스트리밍 이벤트를 연결하고 사용할 수 있습니다. 애플리케이션이 이미 Apache Kafka 프로토콜을 사용하여 특정 토픽을 사용하여 스트리밍 이벤트를 보내거나 받는 경우 Eventstream에 쉽게 연결할 수 있습니다. Eventstream에 제공된 Kafka 엔드포인트를 사용하도록 연결 설정을 업데이트하기만 하면 됩니다.
패브릭 이벤트 스트림 기능은 완전히 관리되는 클라우드 네이티브 서비스인 Azure Event Hubs와 연결됩니다. eventstream을 만들면 이벤트 허브 네임스페이스가 자동으로 프로비전됩니다. 프로비저닝 구성 없이도 이벤트 허브가 기본 스트림에 할당됩니다. Azure Event Hubs의 Kafka 호환 기능에 대한 자세한 내용은 Apache Kafka용 Azure Event Hubs란?을 참조하세요.
이벤트 스트림에 이벤트를 보내기 위한 Kafka 엔드포인트 세부 정보를 가져오는 방법에 대한 자세한 내용은 이벤트 스트림에 사용자 지정 엔드포인트 또는 사용자 지정 앱 원본 추가를 참조하세요. Eventstream에서 이벤트를 사용하는 방법에 대한 자세한 내용은 이벤트 스트림에 사용자 지정 엔드포인트 또는 사용자 지정 앱 대상 추가를 참조하세요.
제한점
패브릭 이벤트 스트림에는 다음과 같은 일반적인 제한 사항이 있습니다. eventstreams로 작업하기 전에 이러한 제한 사항을 검토하여 요구 사항에 부합하는지 확인합니다.
| 한계 | 가치 |
|---|---|
| 최대 메시지 크기 | 1MB |
| 이벤트 데이터의 최대 보존 기간 | 90일 |
| 이벤트 전달 보장 제도 | 한 번 이상 |