Databricksアダプターをご利用する際には下記のような注意事項があります。
■共通
マルチセレクトオプション(旧CDataオプション)の利用上の共通的な注意事項については下記をご参照ください。
■動作環境
- ASTERIA Warp 2506以降
■アダプターの動作
- Databricks側で hive_metastore が無効化されている環境に接続する場合、コネクション設定の詳細タブでプロパティ「Query All Metadata」に値「false」を設定する必要があります。この設定はデフォルトではtrueです。trueのままhive_metastore が無効化されている環境に接続テストをすると「UC_HIVE_METASTORE_DISABLED_EXCEPTION」が発生します。
- 本アダプターは、Databricks Thrift を使用して、SQL でDatabricks データへの双方向連携を実現します。Databricks REST APIで提供されている機能には対応しておりません。
- データ型「VOID」および「OBJECT」には対応しておりません。また、一部のデータ型は古いDatabricks Runtimeでは利用できない場合があります。
- カタログ「system」やスキーマ「information_schema」はSQLビルダー上に表示されません。そのため、テーブルが存在しないワークスペースに接続した場合、SQLビルダー上にテーブル一覧が表示されません。
- serverless環境の場合、接続テストを1回目に実施したとき接続に失敗したり、SQLビルダーを1回目に開いたときにテーブル一覧が表示されない場合があります。その場合、数十秒程度時間をあけて再度実施してください。
- データ型「BINARY」の値をSELECTすると、デフォルトではBase64エンコードされた形で取得されます。
- DatabricksPutコンポーネントでは、INTERVAL型、GEOGRAPHY型、GEOMETRY型、ARRAY型、MAP型、STRUCT型のフィールドへはデータを追加・更新できません。DatabricksSQLCallコンポーネントで、Databricks側で用意されている関数を利用することで追加・更新可能です。このとき、コネクションのプロパティ「QueryPassThrough」をtrueに設定しておく必要があります。
- X'48656C6C6F' のような「16進リテラル」を含むSQLを実行したい場合は、コネクションのプロパティ「QueryPassThrough」をtrueに設定しておく必要があります。そうでない場合「SQL 不正な形式のSQLステートメント:)トークンが必要ですが、48656C6C6F値が設定されているStrが見つかりました。 」のようなエラーが発生します。
- STRUCT型へのINSERTやUPDATEを行う場合は、コネクションのプロパティ「QueryPassThrough」をtrueに設定しておく必要があります。そうでない場合「SQL 不正な形式のSQLステートメント:)トークンが必要ですが、AS値が設定されているIdentifierが見つかりました。 」のようなエラーが発生します。(SELECT時のフィールド名に対するAS構文は「QueryPassThrough」がfalseでも使用できます)
■更新履歴
- ASTERIA Warp 2512
- WHERE 句がSQL 標準に準拠したすべての構文をサポートするようになりました。
- information_schema システムスキーマを公開するかどうかを指定する IncludeSystemSchemas 接続プロパティが追加されました。デフォルトはfalse です。
- ASTERIA Warp 2506
- アダプターをリリースしました。
上記は現在、弊社で確認した内容について記載しています。
今後、不具合対応やバージョンアップなどで改善される場合は確認出来次第、反映します。
他にマルチセレクトオプション固有の制限事項について詳しくは以下のヘルプをご参考ください。
| ASTERIA Warpバージョン | ヘルプページ |
| 2512 | |
| 2506 |