この記事では、ノートブック コンピューティング リソースのオプションについて説明します。 ノートブックは、汎用コンピューティングリソース、サーバーレスコンピューティング、またはSQLコマンド専用のSQL分析に最適化されたコンピュートリソースであるSQLウェアハウス上で実行できます。 コンピュートの種類についての詳細は、コンピュートを参照してください。
ノートブック用のサーバーレス コンピューティング
サーバーレス コンピューティングを使用すると、ノートブックをオンデマンド コンピューティング リソースにすばやく接続できます。
サーバーレス コンピューティングにアタッチするには、ノートブックの [接続] のドロップダウン メニューをクリックし、[サーバーレス] を選択します。
詳細については、「ノートブックのサーバーレス コンピューティング」を参照してください。
サーバーレス ノートブックの自動セッション復元
サーバーレス コンピューティングがアイドル状態で終了すると、ノートブックの Python 変数値などの進行中の作業が失われる可能性があります。 これを回避するには、 サーバーレス ノートブックの自動セッション復元を有効にします。
- ワークスペースの右上にあるユーザー名をクリックし、ドロップダウン リストの [設定] をクリックします。
- [設定] サイドバーで、[Developer] を選択します。
- [ 試験段階の機能] で、[ サーバーレス ノートブックの自動セッション復元 ] 設定をオンにします。
この設定を有効にすると、Databricks はアイドル終了前にサーバーレス ノートブックのメモリ状態をスナップショットできます。 再接続すると、ノートブックの Python 変数がスナップショットから自動的に復元され、シームレスに作業を続行できます。
この機能には制限があり、次の復元はサポートされていません。
- Spark の状態
- ファイル ハンドル
- ロックとその他のコンカレンシー プリミティブ
- ネットワーク接続
汎用コンピューティング リソースにノートブックをアタッチする
ノートブックを汎用コンピューティング リソースにアタッチするには、コンピューティング リソースに対するアクセス許可 にアタッチできる
重要
ノートブックがコンピューティング リソースにアタッチされている限り、ノートブック に対する
ノートブックをコンピューティング リソースにアタッチするには、ノートブック ツール バーの
メニューには、最近使用した、または現在実行中の汎用コンピューティング および SQL ウェアハウスの選択が表示されます。
使用可能なすべてのコンピュートから選択するには、その他... をクリックしてください。 使用可能な一般的なコンピューティングまたは SQL ウェアハウスから選択します。
ドロップダウン メニューから [新しいリソースの作成] を選択して、新しい汎用コンピューティング リソース
重要
アタッチされたノートブックには、次の Apache Spark 変数が定義されています。
| クラス | 変数名 |
|---|---|
SparkContext |
sc |
SQLContext/HiveContext |
sqlContext |
SparkSession (Spark 2.x) |
spark |
SparkSession、SparkContext、SQLContext を作成しないでください。 これを行うと、一貫性のない動作につながります。
SQL ウェアハウスを使用してノートブックを使用する
ノートブックが SQL ウェアハウスにアタッチされている場合は、SQL と Markdown セルを実行できます。 他の言語 (Python や R など) でセルを実行すると、エラーがスローされます。 SQL ウェアハウスで実行される SQL セルは、 SQL ウェアハウスのクエリ履歴に表示されます。 クエリを実行したユーザーは、出力の下部にある経過時間をクリックして、ノートブックからクエリ プロファイルを表示できます。
ノートブックを実行するには、Pro またはサーバーレス SQL ウェアハウスが必要です。 ワークスペースと SQL ウェアハウスへのアクセス権を持っている必要があります。
SQL ウェアハウスにノートブックをアタッチするには、次の操作を行います。
ノートブックのツール バーでコンピューティング セレクターをクリックします。 ドロップダウン メニューには、現在実行中の、または最近使用したコンピューティング リソースが表示されます。 SQL ウェアハウスには、
のマークが付いています。メニューから SQL ウェアハウスを選択します。
使用可能なすべての SQL ウェアハウスを表示するには、ドロップダウン メニューから [その他...] を選択します。 ノートブックで使用できるコンピューティング リソースを示すダイアログが表示されます。 [SQL ウェアハウス] を選択し、使用するウェアハウスを選択して、[アタッチ] をクリックします。
ワークフローまたはスケジュールされたジョブを作成するときに、SQL ノートブックのコンピューティング リソースとして SQL ウェアハウスを選択することもできます。
SQL ウェアハウスの制限事項
詳細については、「Databricks ノートブックの既知の制限事項」を参照してください。
ノートブックのデタッチ
コンピューティング リソースからノートブックをデタッチするには、ノートブック ツール バーのコンピューティング セレクターをクリックし、一覧のアタッチされたコンピューティングにマウス ポインターを合わせてサイド メニューを表示します。 サイド メニューから、 [デタッチ] を選択します。
また、コンピューティングの詳細ページの [ノートブック] タブを使用して、汎用コンピューティング リソースから ノートブック をデタッチすることもできます。
ヒント
Azure Databricks では、未使用のノートブックをコンピューティングからデタッチすることをお勧めします。 これにより、ドライバーのメモリ領域が解放されます。