日付時間ごとに出力しているパイプラインのリクエストログを、毎日日付が変わったら前日分をZIP形式に圧縮して保存します。
ログファイルの管理
ログの解析が重要な意味をもつシステムでは、ログを定期的にバックアップするなどローテーションのしくみをもつものが多くあります。しかし、そのようなメンテナンスツールは複数のログをまとめてバックアップの対象に指定したり、複数のログに対して同じスケジュールでバックアップを行ったり、ツールの仕様で決まっているメンテナンスを行うことになります。
１種類のログファイルごとに、それぞれのスケジュールでバックアップを行いたいときは。。。
パイプラインでやってみよう
このパイプラインでは、このショーケースのデモで実際に動作しているパイプラインでリクエストごとに出力しているログを日付ごとにZIP形式にしてバックアップしています。デモを実行して作成日付を確認してみてください。
パ イプライン機能では、ログファイルや作業ファイルの削除スケジュールを設定するメンテナンス機能をもっています。このメンテナンス処理では、ログを保存しておく期間や削除する時間を指定します。対象のログの種類は５種類ほどで、多くは一時的な作業ファイルやアクセスログなどです。ここでバックアップしているリクエストログはその１種で、まとめて削除する対象になっています。リクエストログを詳しくチェックしていく必要があれば、デモのように個別にバックアップファイルを作成してスケジュールすることができます。
ダウンロード
ダウンロードの前に「ダウンロードソフトウェア契約書」を読んでください。
パイプラインの実行手順は「はじめにお読みください」を読んでください。
SPL-0005.par (パイプライン)
※前日に実行したログがないとエラーになります。
パイプラインの内容
05_01ログファイルZIP作成
日付が変わったら前日分のパイプラインのリクエストログをZIP形式のファイルに保存します。
デモのパイプラインを参照する
コーディネーターにログインし、パイプラインを参照してみましょう。
- コーディネーターにログインします。
- パイプラインリストの「05_01ログファイルZIP作成」をクリックします。
※パイプラインリスト上部にある検索フィールドを使って「05_」のようにデモ番号を入力して検索すると参照しやすくなります。
センサーをクリック
センサーでデータを取得することなく、スケジュール設定した時刻にパイプラインを起動することができます。
フィルターをクリック
以下のデータ変換処理を行っています。
- 「現在時刻を設定」＝現在時刻を日付時刻型で取得
- 「日付の計算」＝日付を１減算して昨日の日付を設定
- 「指定された形式の日付フォーマットに変換」＝日付時刻型からyyyyMMddの日付文字列に変換
ジョイントをクリック
「ファイルをZIP形式に圧縮してファイルに保存」アクションを使って、ジョイントで指定したフォルダをZIP形式で圧縮して保存します。ファイルを加工したり抽出したりしたい場合は、「ZIP形式に圧縮してファイルに保存」アクションを使って、「センサー」ステージで取得したファイルデータを「フィルター」ステージで変換して「ジョイント」ステージでZIP形式で圧縮して保存することもできます。
動作環境
ASTERIA Warp 4.4以上