HDInsight の Apache Hadoop クラスターで空のエッジノードを使用する

2024-06-15

HDInsight クラスターに空のエッジノードを追加する方法について説明します。空のエッジノードは、ヘッドノードの場合と同じクライアントツールがインストールされ、構成された Linux 仮想マシンです。ただし、Apache Hadoop サービスは実行されていません。エッジノードは、クラスターへのアクセス、クライアントアプリケーションのテスト、およびクライアントアプリケーションのホストに使用できます。

空のエッジノードは、既存の HDInsight クラスターに追加することも、クラスターの作成時にその新しいクラスターに追加することもできます。空のエッジノードを追加するには、Azure Resource Manager テンプレートを使用します。次のサンプルでは、テンプレートを使用して行う方法を示しています。

"resources": [
    {
        "name": "[concat(parameters('clusterName'),'/', variables('applicationName'))]",
        "type": "Microsoft.HDInsight/clusters/applications",
        "apiVersion": "2015-03-01-preview",
        "dependsOn": [ "[concat('Microsoft.HDInsight/clusters/',parameters('clusterName'))]" ],
        "properties": {
            "marketPlaceIdentifier": "EmptyNode",
            "computeProfile": {
                "roles": [{
                    "name": "edgenode",
                    "targetInstanceCount": 1,
                    "hardwareProfile": {
                        "vmSize": "{}"
                    }
                }]
            },
            "installScriptActions": [{
                "name": "[concat('emptynode','-' ,uniquestring(variables('applicationName')))]",
                "uri": "[parameters('installScriptAction')]",
                "roles": ["edgenode"]
            }],
            "uninstallScriptActions": [],
            "httpsEndpoints": [],
            "applicationType": "CustomApplication"
        }
    }
],

サンプルに示されているように、必要に応じてスクリプトアクションを呼び出して、追加の構成を行うことができます。たとえば、エッジノードでの Apache Hue のインストールなどです。このスクリプトアクションのスクリプトは、Web で公開されている必要があります。たとえば、スクリプトが Azure Storage に格納されている場合、パブリックコンテナーまたはパブリック BLOB のいずれかを使用します。

エッジノードの仮想マシンのサイズは、HDInsight クラスターワーカーノードの VM サイズの要件を満たしている必要があります。推奨されるワーカーノードの VM サイズについては、「HDInsight で Apache Hadoop クラスターを作成する」をご覧ください。

エッジノードを作成した後、SSH を使用してエッジノードに接続し、クライアントツールを実行して HDInsight の Hadoop クラスターにアクセスすることができます。

警告

エッジノードにインストールされているカスタムコンポーネントは、Microsoft からビジネス上合理的なサポートを受けることができます。これにより、発生する問題を解決できる場合があります。または、追加の支援を受けるために、コミュニティリソースを参照することもできます。コミュニティから支援を受けることができる、最もアクティブなサイトの一部を次に示します。

Apache テクノロジを使用している場合、https://apache.org にある Apache の各プロジェクトサイト (例: Apache Hadoop サイト) で支援を受けられる可能性があります。

重要

Ubuntu イメージは、公開から 3 か月以内に、新しい HDInsight クラスターの作成のために入手できるようになります。 2019 年 1 月時点で、実行中のクラスター (エッジノードを含む) に修正プログラムは自動適用されません。お客様は、スクリプトによるアクションまたはその他のメカニズムを使用して、実行中のクラスターに修正プログラムを適用する必要があります。詳細については、「HDInsight 用の OS の修正プログラム」を参照してください。

既存のクラスターにエッジノードを追加する

このセクションでは、Resource Manager テンプレートを使用して既存の HDInsight クラスターにエッジノードを追加します。 Resource Manager テンプレートは、 GitHubにあります。 Resource Manager テンプレートは、 https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-add-edge-node/scripts/EmptyNodeSetup.sh にあるスクリプトアクションを呼び出します。このスクリプトではアクションは実行されません。これは、Resource Manager テンプレートからのスクリプトアクションの呼び出しを示すためのものです。

次の画像を選択して Azure にサインインし、Azure portal で Azure Resource Manager テンプレートを開きます。

次のプロパティを構成します。

プロパティ	説明
サブスクリプション	クラスターの作成に使用される Azure サブスクリプションを選択します。
Resource group	既存の HDInsight クラスターに使用されるリソースグループを選択します。
場所	既存の HDInsight クラスターの場所を選択します。
クラスター名	既存の HDInsight クラスターの名前を入力します。

[上記の使用条件に同意する] をオンにしてから [購入] を選択し、エッジノードを作成します。

重要

必ず、既存の HDInsight クラスター用に使用される Azure リソースグループを選択します。正しく選択しなかった場合、"ネストされたリソースに対して要求された操作を実行できません。親リソース '<クラスター名>' が見つかりません。" というエラーメッセージが表示されます。

クラスター作成時にエッジノードを追加する

このセクションでは、Resource Manager テンプレートを使用して、エッジノードを含む HDInsight クラスターを作成します。 Resource Manager テンプレートは Azure クイックスタートテンプレートギャラリーにあります。 Resource Manager テンプレートは、 https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-with-edge-node/scripts/EmptyNodeSetup.sh にあるスクリプトアクションを呼び出します。このスクリプトではアクションは実行されません。これは、Resource Manager テンプレートからのスクリプトアクションの呼び出しを示すためのものです。

HDInsight クラスターがない場合は作成します。 HDInsight での Hadoop の使用に関するページをご覧ください。
次の画像を選択して Azure にサインインし、Azure portal で Azure Resource Manager テンプレートを開きます。

次のプロパティを構成します。

プロパティ	説明
サブスクリプション	クラスターの作成に使用される Azure サブスクリプションを選択します。
Resource group	クラスターの新しいリソースグループを作成します。
場所	リソースグループの場所を選びます。
クラスター名	新しく作成するクラスターの名前を入力します。
[Cluster Login User Name](クラスターログインユーザー名)	Hadoop HTTP ユーザー名を入力します。既定の名前は adminです。
[クラスターログインパスワード]	HTTP ユーザーパスワードを入力します。
SSH ユーザー名	SSH ユーザー名を入力します。既定の名前は sshuserです。
SSH パスワード	SSH ユーザーパスワードを入力します。
スクリプトアクションのインストール	この記事では既定値のままにします。

一部のプロパティは、テンプレートにハードコーディングされています:クラスターの種類、クラスターのワーカーノード数、エッジノードのサイズ、およびエッジノードの名前。

[上記の使用条件に同意する] をオンにしてから [購入] を選択し、エッジノードを使用してクラスターを作成します。

複数のエッジノードの追加

HDInsight クラスターには複数のエッジノードを追加できます。複数エッジノード構成は、Azure Resource Manager テンプレートを使用することによってのみ行うことができます。この記事の冒頭にあるテンプレートサンプルを参照してください。作成するエッジノードの数を反映させるには、targetInstanceCount を更新します。

エッジノードにアクセスする

エッジノードの SSH エンドポイントは、<エッジノード名>.<クラスター名>-ssh.azurehdinsight.net:22 です。たとえば、new-edgenode.myedgenode0914-ssh.azurehdinsight.net:22 のようになります。

エッジノードは、Azure Portal ではアプリケーションとして表示されます。 Portal には、SSH を使用してエッジノードにアクセスするための情報が表示されます。

エッジノードの SSH エンドポイントを確認するには

Azure Portal にサインオンします。
エッジノードを含む HDInsight クラスターを開きます。
[アプリケーション] を選択します。エッジノードが表示されます。既定の名前は new-edgenodeです。
エッジノードを選択します。 SSH エンドポイントが表示されます。

エッジノードで Hive を使用するには

SSH を使用してエッジノードに接続します。詳細については、HDInsight での SSH の使用に関するページを参照してください。
SSH を使用してエッジノードに接続したら、次のコマンドを使用して Hive コンソールを開きます。
```
hive
```
次のコマンドを使用して、クラスター内の Hive テーブルを表示します。
```
show tables;
```

エッジノードを削除する

Azure Portal からエッジノードを削除できます。

Azure Portal にサインオンします。
エッジノードを含む HDInsight クラスターを開きます。
[アプリケーション] を選択します。エッジノードの一覧が表示されます。
削除するエッジノードを右クリックし、 [削除] を選択します。
[はい] を選択して確定します。

次のステップ

この記事では、エッジノードを追加する方法とエッジノードにアクセスする方法について学習しました。詳細については、以下の記事をお読みください。

HDInsight アプリケーションをインストールする:HDInsight アプリケーションをクラスターにインストールする方法について確認します。
カスタム HDInsight アプリケーションをインストールする: 未発行の HDInsight アプリケーションを HDInsight にデプロイする方法について確認します。
HDInsight アプリケーションを発行する:カスタム HDInsight アプリケーションを Azure Marketplace に発行する方法について確認します。
MSDN:HDInsight アプリケーションをインストールする:HDInsight アプリケーションを定義する方法を確認します。
スクリプトアクションを使用して Linux ベースの HDInsight クラスターをカスタマイズする: スクリプトアクションを使用してアプリケーションを追加インストールする方法を確認します。
Resource Manager テンプレートを使用して HDInsight で Linux ベースの Apache Hadoop クラスターを作成する: Resource Manager テンプレートを呼び出して HDInsight クラスターを作成する方法を確認します。

次の方法で共有

HDInsight の Apache Hadoop クラスターで空のエッジ ノードを使用する

既存のクラスターにエッジ ノードを追加する

クラスター作成時にエッジ ノードを追加する

複数のエッジ ノードの追加

エッジ ノードにアクセスする

エッジ ノードを削除する