パイプライン機能がわかる12の用語を説明します。

ASTERIA Warp

社内外に存在するシステムやWeb上のサービスとのデータ連携を「簡単に、素早く、安全に」実現することをコンセプトに開発された製品です。ASTERIA Warpには、シンプルなデータ連携のための「パイプライン機能」と多目的データ連携のための「フロー機能」があります。

パイプライン機能

データ処理の実行エンジンをもつ「パイプラインサービス」とパイプラインサービスへのインターフェースである「パイプラインコーディネーター」で構成されます。パイプラインコーディネータを使ってパイプラインサービスにアクセスし、データ処理内容を「パイプライン」として保存します。

パイプライン

データを集め、変換して、出力する一連のデータ処理定義です。パイプラインでは、データを集める部分を「センサー」、データを変換する部分を「フィルター」、データを出力する部分を「ジョイント」に分けて定義します。それぞれセンサー、フィルター、ジョイントでは、「パイプライン機能」があらかじめ装備している処理（「アクション」）を選び、必要な情報を設定します。

パイプラインサービス

「パイプライン」の実行環境であり、パイプライン機能の全体を管理します。

パイプラインコーディネーター

「パイプラインサービス」にアクセスするブラウザベースのインターフェースで、単にコーディネーターと呼ぶこともあります。「パイプライン」の設計、パイプラインサービスのモニター機能やシステム管理機能などを操作できます。

ステージ

パイプラインを構成する「センサー」「フィルター」「ジョイント」の部分をさす言葉です。

センサー

データをパイプラインに取り込む入り口のような役割をもっています。対象となるファイルやデータベース、メールサーバーを監視したり、Webブラウザからの入力データ、コマンドの実行結果を受け取ったりすることができます。データの受け取り方は、大きく分けて「パイプラインサービスで定期的にデータの収集」「接続先からのデータの入力」の２種類があり、いずれかの方法でデータを受け取るとパイプラインが実行されます。

フィルター

データを変換する役割をもっています。センサーステージで取得したデータに対して、四則演算やコード変換、条件による抽出などを行い、ジョイントステージで使いやすい形式に変換します。

ジョイント

データを連携先に引き渡す出口のような役割をもっています。フィルターステージから受け取ったデータを、指定されたフォーマットで出力します。指定するフォーマットや出力先は、ファイルやデータベースのみならず、メールの送信やグラフ、RSS、GoogleMapの作成など多種多様なデータ形式に対応しています。

アクション

「パイプライン機能」があらかじめ装備している「センサー」「フィルター」「ジョイント」用の処理です。それぞれのステージで、アクションを選択し、アクションの実行に必要な情報を設定することで、処理内容が決まります。標準で 100種類以上のアクションが用意されています。

リクエスト

パイプラインを実行したときの処理の一つ一つの単位です。フィルターで受け取るデータ一つ一つに対して、リクエストが開始されます。データをレコード形式で扱う場合は、複数のレコードが１つのリクエストになります。

開始・停止・実行

パイプラインは、センサーでデータを受け取ったタイミングで実行されます。パイプラインサービスでデータを受け取れる状態にするために、パイプラインを開始しておきます。つまり、パイプラインを開始すると、パイプラインサービスがデータを受け取れる状態になり、定期的にデータを収集するセンサーであれば対象のリソース（フォルダなど）の監視を始めます。パイプラインを停止すると、パイプラインサービスがデータの受け取りや監視を行わないため、パイプラインは実行されません。（実行中のパイプラインリクエストを停止状態にすることはキャンセルといいます。）