Databricksアダプターについてご紹介いたします。
Databricksアダプターで使えるコンポーネントは次の通りです。
| DatabricksへSELECT 文を発行して結果セットをストリームとして出力します。 | |
| Databricksのテーブルに対して更新を行います。 | |
| Databricksにて任意のSQLの実行を行います。 |
今回は、Databricksアダプターを使うための事前準備とコネクション作成方法についてご説明します。
■事前準備
【Databricks】
最初に、テスト用のカタログとテーブルを作成します。すでにDatabricksをお使いの場合は、既存のカタログやテーブルを利用することもできます。
ウェアハウス：デフォルトの「Serverless Starter Warehouse」を利用します。
カタログ：「TEST_CATALOG」を作成します。
スキーマ：デフォルトで作成される「default」を利用します。
テーブル：「TEST」を作成します。今回はSQLを使用してテーブルを作成しています。ここでは、idとnameの2つの列を持つテーブルを作成するため、下記の内容としました。
create table TEST (
id INT,
name VARCHAR(255)
)
このSQLを実行し、DatabricksのGUIからテーブルを作成します。
下記のようなウィンドウが表示される場合、「起動、アタッチ、実行」ボタンで実行します。
ここで、サーバーのホスト名、HTTPパス、アクセストークンも取得しておきます。この情報は、後ほど実施するコネクション設定で必要になります。
サーバーのホスト名、HTTPパス：Databricks左メニュー→SQLウェアハウス→表示される一覧から対象のSQLウェアハウス（今回はServerless Starter Warehouse）をクリックし、表示された詳細画面の「接続の詳細」タブをクリック、各値の右にあるコピーボタンをクリックし、テキストファイルなどに張り付けておいてください。
アクセストークン：右上のアカウントアイコンをクリック→表示されたメニューで「設定」をクリック→表示された設定メニューから「開発者」をクリック→アクセストークン欄の「管理」ボタンをクリック→「新規トークンを生成」ボタンをクリック→表示される内容の入力を行い「生成」ボタンをクリックし、表示されたトークンの右にあるコピーボタンをクリックし、テキストファイルなどに張り付けておいてください。
※上記の設定作業が行えない場合、権限が不足している可能性があります。詳細はDatabricks社のドキュメントにてご確認ください。
※本番環境では適切なアクセス制御を実施いただきますようお願いします。
【ASTERIA Warpサーバー】
Databricksアダプターを利用するには、事前にアダプターのインストールが必要です。
アダプターは［FSMC］→［システム］→［アップデート］→［アダプター］画面にてダウンロードするか、ユーザーサイトからダウンロードしたアダプターをサーバーにアップロードすることで適用できます。
アダプターのインストールについて詳しくは下記のオンラインヘルプをご参考ください。
［FSMC > システム > アップデート］のオンラインヘルプ
※アダプターのインストール後設定を有効にするためにはフローサービス全体の再起動が必要となります。
【フローデザイナー】
ASTERIA Warpサーバー側でDatabicksアダプターが正常にインストールされたら、フローデザイナー側でコンポーネントを取得する必要があります。手順は下記になります。
- フローデザイナーからフローサービスに接続
- メニューの「ツール > コンポーネント／マッパー関数の取得」でjarファイルを取得
- フローデザイナーを再起動
※今回ダウンロードするファイルは fccdatadatabricks-2506.3009.jar となります。
■コネクションの作成
事前準備が終わりましたら、コネクションを作成します。
FSMCでコネクションを作成する手順は下記になります。
FSMC画面の［設定］→［コネクション］→［Databricks］メニューから「新規」ボタンをクリックします。
コネクション作成画面が表示されますので、下記の通り項目を設定します。
・接続名：コネクション名を設定します。
・Server：事前準備で取得したサーバーのホスト名を設定します。
・HTTP Path：事前準備で取得したHTTPパスを設定します。
・Token：事前準備で取得したトークンを設定します。
詳細設定は以下のものを追加してください。
| オプション名 | 値 |
| Catalog | Databricks側のカタログ名を設定します。例：TEST_CATALOG |
| Query All Metadata | false |
※デザイナーからもコネクションの設定が可能です。
■コネクションの接続テスト
Databricksアダプターのコネクションが作成されたので、コネクションの接続テストを実行してみます。
以下のようにコネクション接続テスト成功画面が表示されましたら接続テスト完了です。
■最後に
Databricksアダプターを利用するために必要な事前準備、およびコネクションの作成方法についてご紹介いたしました。
コネクションの作成後、接続テストが正常に完了しますと DatabricksGetコンポーネント、 DatabricksPutコンポーネント、 DatabricksSQLCallコンポーネントが使えるようになります。
各コンポーネントの使い方については既存のRDB系のコンポーネントと同様です。
つまり、RDBGetコンポーネントの付属ツールである「SQLビルダー」、RDBPutコンポーネントの付属ツールである「テーブルの選択」ツールについても同様に使えます。
-
DatabricksGetコンポーネントのSQLビルダー
- DatabricksPutコンポーネントのテーブルの選択
なお、 Databricksアダプターで使えるSQL文やデータモデルについては、下記のCData社のオンラインヘルプもあわせてご確認いただければと思います。
・CData JDBC Driver for Databricks > SQL準拠
・CData JDBC Driver for Databricks > Data Model
今回の紹介はここまでです。