Azure Databricks のアーキテクチャのベスト プラクティス

サービスの制限とクォータを理解する: Azure Databricks サービス では、コンピューティング クラスター、ワークスペース容量、ストレージ スループット、ネットワーク帯域幅の制限によって、ワークロードの信頼性を直接制限します。 アーキテクチャの設計では、1,000 ノード のクラスター制限、ワークスペース クラスターの最大値、ピーク時にスケーリング操作を停止できるリージョン容量の制約など、予期しないサービス中断を防ぐために、これらのクォータを事前に組み込む必要があります。

障害モード分析を使用して潜在的な障害を予測する: 体系的 な障害モード分析 では、システム障害の可能性を特定し、分散コンピューティングの回復性を維持するための対応する軽減戦略を確立します。

一般的な障害シナリオとその実証済みの軽減方法は次のとおりです。

これらの軽減戦略では、自動再起動、自動スケーリング、Delta Lake 整合性の保証、フォールト トレランスのための Unity カタログ セキュリティ機能など、ネイティブの Azure Databricks 機能を利用します。

重要なレイヤー間の冗長性をサポートするように設計します 。冗長性は、ワークロードの継続性を維持するために重要なアーキテクチャ レイヤーに適用する必要がある重要な戦略です。

たとえば、さまざまなインスタンスの種類を使用して、クラスターを可用性ゾーン間で分散し、クラスター プールを利用し、自動ノード置換ポリシーを実装します。 同様に、Reliable ネットワーク設計は、コントロール プレーンの到達可能性、データ アクセス、依存関係との通信を妨げかねない接続エラーから保護します。 冗長ネットワーク パス、多様なプライベート エンドポイント構成、DNS フェールオーバー メカニズム、VNet インジェクションを使用すると、ネットワークの回復性を実現できます。 ガバナンスの障害によってデータ アクセスが停止され、コンプライアンス要件が損なわれる可能性があるため、サービスの中断時にコンプライアンスとデータ のアクセシビリティを維持するには、メタデータの回復性も重要です。

可用性を高める場合は、リージョンの停止から保護し、拡張されたサービス中断時のビジネス継続性を確保する地理的冗長性のために、複数リージョンの Azure Databricks デプロイを検討してください。 複数リージョンのセットアップは、ディザスター リカバリーの実行可能なソリューションでもあります。

スケーリング戦略を実装する: 自動スケールを使用して、パフォーマンスを安定した状態に保ちながら、需要の変動に対処します。 ピーク需要期におけるリソース追加とリージョンの容量制限および速度のバランス調整に起因する遅延と、クラスター起動時の待機時間に対処する計画を立てます。

信頼性を向上させるためにサーバーレス コンピューティングを採用します 。サーバーレス コンピューティング オプションを使用すると、インフラストラクチャ管理を Microsoft に移行することで、運用の複雑さが軽減され、信頼性が向上します。これにより、自動スケーリング、組み込みのフォールト トレランス、およびクラスター ライフサイクル管理のオーバーヘッドなしで一貫した可用性が提供されます。

包括的な正常性の監視とアラートの実装:すべての Azure Databricks コンポーネントに対する包括的な監視により、可用性への影響が発生する前にプロアクティブな問題の検出と迅速な対応が可能になり、ワークスペースの正常性、クラスターの状態、ジョブの実行パターン、データ パイプラインのパフォーマンスを自動化されたエスカレーション ワークフローでカバーできます。

Delta Lake の信頼性機能を使用してデータを保護する: Delta Lake は、ACID トランザクション、自動バージョン管理、タイム トラベル機能、スキーマの適用を通じて、破損を防ぎ、データの問題からの復旧を可能にする重要なデータ保護を提供します。

ジョブの信頼性と再試行メカニズムを構成します。 ジョブの信頼性の構成では、インテリジェントな再試行ポリシー、タイムアウト管理、および一時的な問題と永続的なエラーを区別するエラー処理メカニズムによって回復性のあるデータ処理が確立されます。

データ パイプラインの回復性とフォールト トレランスを構築します。 データ パイプラインの回復性は、相互接続されたデータ システム全体で障害が連鎖し、ビジネス分析ワークフローを中断する可能性がある分散データ処理の重要な信頼性の課題に対処します。

高度な回復性戦略では、Lakeflow 宣言型パイプライン、構造化ストリーミング チェックポイント、自動ローダーの復旧データ機能、および Lakeflow 宣言パイプラインの品質制約を利用して、インフラストラクチャの中断中に自動エラー処理、データ品質の強制、および正常な低下を提供します。

バックアップとディザスター リカバリーの手順を確立します。 効果的な ディザスター リカバリー では、回復時間の目標をビジネス要件に合わせ、ワークスペース メタデータ、ノートブック リポジトリ、ジョブ定義、クラスター構成、統合データ ストレージ システムの自動バックアップ プロセスを確立する必要があります。

復旧にセカンダリ リージョンを使用している場合は、ワークスペース メタデータの同期、コード リポジトリのレプリケーション、依存する Azure サービスとの連携された統合に注意して、地理的境界を越えて運用継続性を維持します。

信頼性テストとカオス エンジニアリングを実装します。 体系的な信頼性テストでは、障害復旧メカニズムが実際の条件下で正しく機能することを検証し、混乱エンジニアリングの原則を組み込んで、運用環境に影響を与える前の回復性のギャップを特定します。

セキュリティ ベースラインを確認します。Azure Databricks セキュリティ ベースラインは、Microsoft クラウド セキュリティ ベンチマークで指定されているセキュリティに関する推奨事項を実装するための手順のガイダンスとリソースを提供します。

セキュリティで保護された開発ライフサイクル (SLC) を統合する: 開発ライフサイクルの早い段階で脆弱性を特定するために、ソース コードと MLflow モデルのセキュリティ検証のセキュリティ コード スキャンを実装します。

コードとしてのインフラストラクチャ (IaC) 検証を使用して、Azure Databricks リソースのセキュリティで保護された構成を適用します。

また、セキュリティで保護されたソース コード管理を実装し、開発ワークフロー内で資格情報を安全に管理し、データ処理と機械学習モデルのデプロイに使用される CI/CD パイプラインに自動セキュリティ テストを統合することで、開発環境を保護します。

一元的なガバナンスを提供します。 Databricks パイプラインを使用して、データ ソースの追跡可能性と監査を追加します。 Unity Catalog は、きめ細かなアクセス制御と検証を使用して、ワークスペース全体のデータ検出と系列追跡をサポートする一元化されたメタデータ カタログを提供します。

Unity カタログは、外部データ ソースと統合できます。

意図的なリソースのセグメント化を導入します。 個別のワークスペースとサブスクリプションを使用して、さまざまなスコープでセグメント化を適用します。 運用環境、開発環境、サンドボックス環境に個別のセグメントを使用して、潜在的な侵害の爆発半径を制限します。

機密度と機能によるセグメント化の適用: より厳密なアクセス制御を使用して専用ワークスペース内の機密データ ワークロードを分離し、サンドボックス環境を使用して、制限された特権を持ち、運用データ アクセスなしで探索的な作業を行います。

セキュリティで保護されたネットワーク アクセスを実装します。 Spark クラスターや VM などの Azure Databricks のデータ プレーン リソースは、vNet インジェクションを使用して Azure Virtual Network (VNet) にデプロイされます。 これらのリソースは、その VNet 内のサブネットにデプロイされます。 そのため、Databricks プラットフォームによって管理されるコントロール プレーンは、未承認のアクセスを防ぐデータ プレーンから分離されます。 コントロール プレーンはデータ プレーンと安全に通信してワークロードを管理しますが、すべてのデータ処理はネットワーク内に残ります。

vNet インジェクションを使用すると、Azure のプライベート ネットワーク機能を使用して、構成、ルーティング、セキュリティを完全に制御できます。 たとえば、Azure Private Links を使用して、パブリック インターネットを使用せずにコントロール プレーンへの接続をセキュリティで保護できます。 ネットワーク セキュリティ グループ (NSG) を使用して、サブネット間のエグレス トラフィックとイングレス トラフィックを制御したり、Azure Firewall、NAT ゲートウェイ、またはネットワーク仮想アプライアンスを介してトラフィックをルーティングして検査と制御を行うことができます。 必要に応じて、VNet をオンプレミス ネットワークとピアリングすることもできます。

承認と認証のメカニズムを実装します。 コントロール プレーンとデータ プレーンの両方で ID とアクセスの管理 を検討します。 Databricks ランタイムは、ジョブの実行中に独自のセキュリティ機能とアクセス制御を適用し、階層型セキュリティ モデルを作成します。 Unity カタログや Spark クラスターなどの Azure Databricks コンポーネントは Microsoft Entra ID と統合され、Azure の組み込みの RBAC ポリシーを使用したアクセス管理が可能になります。 この統合により、シングル サインオン、多要素認証、条件付きアクセス ポリシーなどを使用したエンタープライズ認証も提供されます。

アーキテクチャが Databricks ネイティブ セキュリティに依存する場所と、それが Entra ID と交差する場所を理解することが重要です。 この二重層アプローチでは、個別の ID 管理とメンテナンス戦略が必要になる場合があります。

保存データを暗号化する: Azure Databricks は Azure Key Vault と統合され、暗号化キーを管理します。 この統合ではカスタマー マネージド キー (CMK) がサポートされており、失効、監査、セキュリティ ポリシーへの準拠など、暗号化キーの操作を制御できます。

ワークロード シークレットを保護する: データ ワークフローを実行するには、多くの場合、データベース接続文字列、API キー、その他の機密情報などのシークレットを格納する必要があります。 Azure Databricks では、ソース コードやジョブから安全にアクセスできるシークレットをワークスペース内に格納するためのシークレット スコープがネイティブでサポートされています。

シークレット スコープは Azure Key Vault と統合されているため、シークレットを参照して一元的に管理できます。 エンタープライズ チームでは、多くの場合、コンプライアンス、セキュリティ、およびポリシーの適用のために、Key Vault でサポートされるシークレット スコープが必要です。

セキュリティ監視を実装します。 Azure Databricks では、ログイン試行、ノートブック アクセス、アクセス許可の変更など、ワークスペース内の管理者アクティビティを表示できる監査ログがネイティブでサポートされています。 また、Unity カタログのアクセス ログでは、どのデータ、いつ、どのようにアクセスしたかが追跡されます。

Azure Databricks では、これらのログを Azure Monitor で表示できます。

セキュリティ分析ツール (SAT) は、Azure Databricks ワークスペースと完全に互換性があります。

コスト ドライバーを決定します。 理論上の容量計画は、多くの場合、過剰プロビジョニングと無駄な支出につながります。逆に、十分なリソースに投資しないことは危険です。

ワークロードの動作に基づいてコストを見積もり、最適化の機会を求めます。 パイロット ワークロードを実行し、クラスターのパフォーマンスをベンチマークし、自動スケールの動作を分析します。 実際の使用状況データは、クラスターのサイズを適切に設定し、スケーリング ルールを設定し、適切なリソースを割り当てるのに役立ちます。

支出に対する明確な説明責任を設定します。 複数の Azure Databricks ワークスペースを使用する場合は、特定のコストを担当するチームまたはプロジェクトを追跡することが重要です。 これには、リソース (クラスターやジョブなど) にプロジェクトまたはコスト センターの情報をタグ付けし、チャージバック モデルを使用して使用量ベースのコストをチームに割り当て、予算管理を設定して支出を監視および制限する必要があります。

適切なレベルを選択します。 開発および基本的な運用ワークロードに提供する Standard レベルを使用することをお勧めします。ほとんどの分析ワークロードの中心となる Unity カタログなどのセキュリティ機能を提供するため、運用ワークロードの Premium レベル。

サーバーレス コンピューティングと VM のどちらかを選択します。 サーバーレスの場合は、使用した分 (従量課金制) に対してのみ課金されます。 サーバーレスは、自動的にスケーリングされ、運用オーバーヘッドが削減されるため、バースト性の高いワークロードまたはオンデマンド ジョブに推奨されます。 インフラストラクチャを管理したり、アイドル時間の支払いをしたりする必要はありません。

予測可能または安定した使用量の場合は、VM ベースのクラスターを選択します。 これにより、より詳細な制御が可能になりますが、オーバープロビジョニングを回避するために運用管理とチューニングが必要になります。 長期使用が確実な場合は、予約容量を使用します。 Databricks Commit Units (DBCU) は、使用コミットメントと引き換えに割引を提供する前払いの使用契約です。

過去の傾向を分析し、将来の需要を予測して最適な選択を行ってください。

クラスターの使用率を最適化する: クラスターが不要になったときにクラスターを自動的にスケーリングしてシャットダウンすることで、Azure Databricks のコストを削減します。

予算でクラスター プールが許可されているかどうかを評価します。 クラスターの開始時刻を短縮できますが、使用していない場合でもインフラストラクチャ コストが発生するアイドル 状態のリソースです。

スケールダウンされた構成を使用して、開発/テスト環境のコストを節約します。 不要なリソースの作成を回避するために、チーム間のクラスター共有を奨励します。 自動終了ポリシーを適用して、アイドル状態のクラスターのプロビジョニングを解除します。

ワークロードごとにコンピューティングを最適化します。 ワークロードによって必要なコンピューティング構成が異なります。 より高いメモリと処理能力が必要なジョブもあれば、低コストの軽量ジョブを実行するジョブもあります。 適切なジョブに適切なクラスターを使用します。

すべてに同じ大きなクラスターを使用する代わりに、各ジョブに適切なクラスターを割り当てます。 Azure Databricks を使用すると、各ワークロードに合わせてコンピューティング リソースを調整できるため、コストの削減とパフォーマンスの向上に役立ちます。

ストレージ コストを最適化する: 大量のデータを格納すると、コストが高くなる可能性があります。 Delta Lake の機能を使用してコストを削減してみてください。 たとえば、データ圧縮を使用すると、多数の小さなファイルを少数の大きなファイルにマージして、ストレージのオーバーヘッドを削減し、クエリを高速化できます。

古いデータの管理に熱心に取り組む。 保持ポリシーを使用して、古いバージョンを削除できます。 さらに、アクセス頻度の低い古いデータをより安価なストレージ層に移動できます。 必要に応じて、時間ベースの削除や階層化ルールなどのライフサイクル ポリシーを自動化すると、データの価値が低下した際にアーカイブや削除を行い、ストレージを効率的に保つのに役立ちます。

ストレージ形式や圧縮設定が異なると、使用される領域の量が減る場合もあります。

データ処理手法を最適化する: 大量のデータを処理する場合、コンピューティング、ネットワーク、クエリに関連するコストがあります。 コストを削減するには、クエリのチューニング、データ形式の選択、Delta Lake とコードの最適化のための戦略の組み合わせを使用します。

• データ移動を最小限に抑えます。 データ処理パイプラインを評価して、不要なデータ移動と帯域幅のコストを削減します。 変更されていないデータを再処理しないように増分処理を実装し、キャッシュを使用して頻繁にアクセスされるデータをコンピューティング リソースの近くに格納します。 コネクタが外部データ ソースにアクセスしたり、外部データ ソースと統合したりする際のオーバーヘッドを軽減します。

• 効率的なファイル形式を使用します。 Zstandard のような Databricks にネイティブな Parquet や圧縮アルゴリズムなどの形式は、移動されるデータが少ないため、読み取り時間が短縮され、データ コストが削減されます。

• クエリを効率的にします。 テーブル全体のスキャンを避けて、コンピューティング コストを削減します。 代わりに、一般的なフィルター列に基づいて Delta テーブルをパーティション分割します。 ネイティブ機能を使用してコンピューティング時間を短縮します。 たとえば、CatalystOptmzer やアダプティブ クエリ実行 (AQE) などのネイティブ Spark 機能は、実行時に結合とパーティション分割を動的に最適化します。 Databricks Photon エンジンにより、クエリの実行が高速化されます。

• 競合コンシューマー、Queue-Based 負荷平準化、コンピューティング リソース統合などのコード最適化設計パターンを Azure Databricks 環境内で適用します。

消費量を監視する: Databricks Unit (DBU) は、コンピューティングの使用状況に基づく抽象化された課金モデルです。 Azure Databricks では、クラスター、ランタイム時間、およびその他のコンポーネントに関する使用状況メトリックを可視化する詳細情報が提供されます。 そのデータを予算計画および原価管理に使用します。

自動支出ガードレールを使用する: リソースの過剰な使用と効率的な使用を回避するには、リソースの使用を禁止または規制するポリシーを適用します。 たとえば、作成できるクラスターの種類を確認し、クラスターのサイズまたはその有効期間を制限します。 また、許可された予算境界に近いリソース使用量の通知を受け取るようにアラートを設定します。 たとえば、ジョブが突然 10 個×多くの DBU を消費し始めた場合、スクリプトは管理者に警告したりシャットダウンしたりできます。

Databricks システム テーブルを利用して、クラスターの使用状況と DBU の使用量を追跡します。 テーブルに対してクエリを実行して、コストの異常を検出できます。

監視データの収集: Azure Databricks ワークロードでは、クラスターの正常性、リソースの使用状況、ジョブとパイプライン、データ品質、アクセス アクティビティなどの主要な領域の追跡に重点を置きます。 これらのメトリックを使用して分析情報を取得し、システムが期待されるパフォーマンスで機能を提供することを確認します。 また、データとリソースへのアクセス方法と使用方法を監査し、ガバナンスを適用するためにも使用できます。

• クラスターを監視します。 Azure Databricks クラスターを監視する場合は、パフォーマンスと効率を反映するインジケーターに焦点を当てます。 クラスターの全体的な正常性を追跡し、CPU、メモリ、ディスクなどのリソースがノード間でどのように使用されているかを確認します。

• ジョブとパイプラインを監視する: 実行フローを反映するメトリックをキャプチャします。 これには、ジョブの成功率と失敗率の追跡、実行時間が含まれます。 また、ジョブのトリガー方法に関する情報を収集して、実行コンテキストを明確にします。

  Databricks システム テーブルを使用すると、ジョブの状態、依存関係チェーン、スループットをキャプチャするネイティブな方法が提供されます。

• データ ソースの接続を監視します。 外部システムとの統合と依存関係を監視します。 これには、データ ソースの接続状態のキャプチャ、API の依存関係の追跡、サービス プリンシパルの認証動作の監視が含まれます。 Unity カタログを使用して外部の場所を管理および監視し、潜在的なアクセスまたは構成の問題を特定できます。

• データ品質の監視: データの整合性と鮮度の両方を検証するシグナルを収集します。 これには、自動ローダーなどのツールを使用したスキーマの進化に関する問題の監視、完全性チェック、null 値検出、異常識別を行うルールの実装が含まれます。 Lakeflow 宣言パイプラインを使用して、データ処理中に組み込みの品質制約を適用できます。

  さらに、Unity カタログを使用してデータ系列をキャプチャすると、システム間でデータがどのように流れ、変換されるかを追跡し、パイプラインの透明性と説明責任を提供できます。

Azure Databricks の組み込みの監視ツールは、Azure Monitor と統合されています。

自動化された反復可能なデプロイ資産を設定します 。コードとしてのインフラストラクチャ (IaC) を使用して、Azure Databricks リソースを定義および管理します。

リージョンの選択、ネットワーク、アクセス制御など、ワークスペースのプロビジョニングを自動化して、環境間の一貫性を確保します。 クラスター テンプレートを使用してコンピューティング構成を標準化し、構成ミスのリスクを軽減し、コストの予測可能性を向上させます。 また、JSON ARM テンプレートなどの形式を使用してジョブとパイプラインをコードとして定義し、バージョン管理され再現可能になります。

Databricks アセット バンドルを使用して、適切な分岐戦略とロールバック 手順を使用して、Git リポジトリのノートブックのソース コード、ジョブ構成、パイプライン定義、インフラストラクチャ設定のバージョン管理を行います。

デプロイを自動化する: Azure Databricks の CI/CD パイプラインを使用して、パイプライン、ジョブ構成、クラスター設定、Unity カタログ資産のデプロイを自動化します。 変更を手動でプッシュする代わりに、バージョン管理用の Databricks Repos、パイプライン自動化用の Azure DevOps または GitHub Actions、コードと構成をパッケージ化するための Databricks アセット バンドルなどのツールを検討してください。

定期的なタスクを自動化する: 一般的な自動化には、クラスターのライフサイクルの管理 (スケジュールされた開始/停止など)、ログのクリーンアップ、パイプラインの正常性の検証が含まれます。 Logic Apps や Functions などの Azure ツールと統合することで、チームは、失敗したジョブの再起動やクラスターのスケーリングなどの問題に自動的に対応する自己復旧ワークフローを構築できます。 この種の自動化は、ワークロードの増加に応じて信頼性の高い効率的な Azure Databricks 操作を維持するための鍵となります。

強力なテストプラクティスがあります。 Azure Databricks 固有の戦略には、ノートブック コードの単体テスト、データ パイプラインの統合テスト、Lakeflow 宣言パイプライン ロジックの検証、Unity カタログでのアクセス許可テスト、インフラストラクチャデプロイの検証が含まれます。 これらのプラクティスは、問題を早期にキャッチし、運用インシデントを減らすのに役立ちます。

インシデントを処理する運用 Runbook を開発する:運用 Runbook は 、一般的な Azure Databricks シナリオを処理するための構造化されたステップ バイ ステップ ガイダンスを提供します。 これらの Runbook には、診断コマンド、ログの場所、エスカレーションの連絡先、推定解決時間の復旧手順が含まれており、チーム間で一貫した迅速なインシデント対応が可能になります。

バックアップと復旧の手順の開発:バックアップと復旧の手順 では、復旧時間と復旧ポイントの目標を満たす自動バックアップ スケジュールとリージョン間レプリケーションを使用して、ワークスペース構成、分析ソース コード、ジョブ定義、データ資産を保護することで、ビジネス継続性を確保します。

チームのコラボレーションとナレッジ管理を実装します。 チームコラボレーションプラクティスは、共有ワークスペース組織、ノートブックコラボレーション機能、ドキュメント標準を通じて Azure Databricks の生産性を最適化します。これにより、知識の転送を容易にし、開発チーム間のプロジェクトの重複を減らすことができます。

容量計画を実行します。 ワークロードを分析し、リソースの使用状況を監視して、ワークロードに実際に必要なコンピューティングとストレージの量を決定します。 その分析情報を活用して、クラスターのサイズを最適化し、ジョブ スケジュールを効率化し、ストレージの増加を予測することで、プロビジョニングの不足を回避してリソースの制約を防ぎます。

ワークロードの特性に最適なコンピューティング構成を選択します 。サーバーレス オプションを評価します。このオプションにより、自動スケーリングが向上し、起動時間が短縮されます。 それらを従来のクラスターと比較して、最適な方法を選択します。

クラスターの場合は、データ ボリュームと処理パターンに基づいて、インスタンスの種類、サイズ、スケーリング設定などの構成を最適化します。 特定のユース ケースについて、インスタンス ファミリ間のトレードオフを分析してください。 たとえば、パフォーマンス要件に合わせて、メモリ最適化インスタンスとコンピューティング最適化インスタンス(ローカル SSD と Standard ストレージ オプション)を評価します。

Spark クラスターでは、さまざまな種類のワークロードを実行できます。そのためには、独自のパフォーマンス チューニングが必要です。 一般に、ジョブの実行を高速化し、コンピューティングのボトルネックを回避する必要があります。 これらの目標を達成するために、Executor メモリ、並列処理、ガベージ コレクションなどの設定を微調整します。

ワークロード に適したサービスを選択する 方法に関する追加のガイダンスについては、適切なサービスの選択に関する推奨事項を参照してください。

重要なワークロードのリソース割り当てに優先順位を付けます。 同時に実行されているワークロードを分離し、優先順位を付けます。 リソース プール、クラスター プール、分離モード、ジョブ キューなどの機能を使用して、ジョブ間の干渉を回避します。 リソース クォータとスケジュール ルールを設定して、優先度の高いタスクがバックグラウンドプロセスまたは優先度の低いプロセスによって遅くなるのを防ぎます。

可変ワークロードの自動スケールを構成します。 Azure Databricks で自動スケール ポリシーを設定するには、クラスターのスケーリングトリガー、ノードの追加または削除の速度、リソース制限を定義します。 これらの設定は、Azure Databricks が変化するワークロードに効率的に対応し、リソースの使用を最適化し、イベントのスケーリング中にパフォーマンスの問題を回避するのに役立ちます。

効率的なデータストレージと取得メカニズムを設計する: 特に大量のデータに対するデータ集中型操作のパフォーマンス向上には、慎重な計画とチューニングが必要です。

• 戦略的にデータを整理します。 Delta Lake テーブルを整理するときにクエリのパフォーマンスを最適化するデータ パーティション分割スキームを設計します。 適切なパーティション分割により、テーブル全体をスキャンするのではなく、Spark がクエリ中に関連するデータのサブセットのみを読み取るパーティションの排除が可能になります。

  ファイルのサイズ設定は重要な役割を果たします。ファイルが小さすぎると、過剰なメタデータ オーバーヘッドが発生し、Spark ジョブが遅くなりますが、大きすぎるファイルはメモリとパフォーマンスの問題を引き起こす可能性があります。

  ユーザーまたはジョブが通常データに対してクエリを実行する方法に合わせてデータ レイアウトを調整する。 それ以外の場合は、テーブル全体のスキャンによってパフォーマンスが低下する可能性があります。

• 効果的なキャッシュを実装します。 ホット データセットのキャッシュを使用し、キャッシュ ヒット率を監視して、メモリを不必要に使用しないようにします。 Spark には組み込みのキャッシュ メカニズムが用意されており、Azure Databricks には Delta Cache が用意されており、ノード間でディスク レベルでデータをキャッシュすることでさらに最適化されます。

• 効率的なクエリを記述します。 不要なデータ スキャン、過剰なシャッフル、実行時間の長さを回避します。これらはすべてパフォーマンスの非効率性に寄与します。

  クエリ プラン分析を利用して実行効率を向上させる適切なインデックス作成、述語プッシュダウン、プロジェクション プッシュダウン、結合の最適化手法を使用して、SQL クエリと Spark 操作を最適化します。

  Azure Databricks には、いくつかの組み込みの最適化が用意されています。 Catalyst オプティマイザーは効率のためにクエリを書き換えますが、アダプティブ クエリ実行 (AQE) は実行時にプランを調整してデータ スキューを処理し、結合を改善します。 テーブル統計、Z オーダー クラスタリング、ブルーム フィルターなどの Delta Lake 機能により、スキャンされるデータがさらに削減され、より高速でコスト効率の高いクエリが実現します。

• 適切なデータ形式と圧縮を選択します。 パフォーマンスを損なうことなくストレージを削減し、読み取りを高速化する Parquet やスマート圧縮アルゴリズム (ZSTD など) などの形式を選択します。

ネットワークと I/O のパフォーマンスを最適化する: 高パフォーマンスのストレージ オプション (Premium や SSD ベースのストレージなど) を選択し、格納場所の近くでデータを処理してデータ移動を最小限に抑えるようにアーキテクチャを設計します。

さらに、書き込みのバッチ処理や不要なシャッフルの回避など、効率的なデータ転送戦略を使用してスループットを最大化し、待機時間を短縮します。

ワークロードの種類に基づいてジョブの実行を最適化する:. 特定のニーズに合わせて最適化戦略を調整する 例:

• ストリーム処理: リアルタイム データ パイプラインには、低待機時間と高スループットのパフォーマンスが必要です。 Azure Databricks では、これはトリガー間隔、マイクロバッチ サイズ、透かし、チェックポイント処理などのパラメーターのチューニングを意味します。 構造化ストリーミングやスキーマの進化、厳密な一度限りの処理を含むDelta Lakeの機能を使用すると、負荷が変動する中で一貫した処理を実現できます。
• 機械学習: ML のトレーニングジョブと推論ジョブは、多くの場合、コンピューティング集中型です。 分散トレーニング、GPU アクセラレーション、効率的な特徴エンジニアリング パイプラインを使用して、パフォーマンスを向上させることができます。 Azure Databricks では、MLflow、ML 用 Databricks Runtime、Horovod などのツールとの統合による ML パフォーマンス チューニングがサポートされています。 リソース構成をチューニングし、データの前処理の最適化を適用すると、トレーニング時間と推論の待機時間を大幅に短縮できます。

Lakeflow 宣言型パイプラインを使用すると、これらの最適化に関する推奨事項の実装が簡略化され、自動化されます。

監視システムを使用して、パフォーマンスのボトルネックを特定します。包括的なパフォーマンス監視を実装して、ジョブ、クラスター、クエリのパフォーマンスを可視化し、コストを増やし、ワークロードを遅くするボトルネックや非効率性を特定します。

CPU とメモリの使用量、ジョブの実行時間、クエリの待機時間、クラスターの正常性などの主要なメトリックの異常を分析します。 これにより、低下した Spark 構成、最適化されていないクエリ、プロビジョニング不足/過剰なクラスターのいずれが原因であるかに関係なく、速度低下を特定できます。

Spark UI などの組み込みツールを使用してクエリ プランとジョブ ステージを分析し、Azure Monitor を使用してインフラストラクチャ レベルのメトリックを追跡し、カスタム メトリックまたはログを使用して詳細な分析情報を得ることができます。 これらのツールはプロアクティブ チューニングをサポートしているため、ユーザーまたは重要なパイプラインに影響を与える前に問題を修正できます。

体系的なパフォーマンス テストを実施する: ロード テスト、ストレス テスト、ベンチマークを使用して、実行時間、リソースの使用状況、システムの応答性を検証します。 パフォーマンス ベースラインを確立し、CI/CD パイプラインに自動テストを組み込むことで、速度低下を早期に検出し、最適化の影響を測定できます。