WARP4.8新機能紹介 ~ ファイルを直接アップロード、ダウンロード

WARP4.7.1以前のバージョンでは、FTPとAWS S3コンポーネントでファイルをアップロードする時、最初にアップロードするファイルをストリームに読み込まなければなりませんでした。もしも1GBぐらいあるような大きなサイズのファイルをアップロードする場合には、まずそのファイルをFileGetコンポーネントでストリームに読み込まなければなりません。するとストリームに読み込んだ時点で少なくとも1GB以上のメモリが必要になります。

最近ではAWSのS3に、巨大なログファイルや、動画ファイル、バックアップファイルなどをアップロードして保管しておくということもあるでしょう。TB単位のファイルをアップロードするということになった場合には、どれだけのメモリを必要とするのか想像することすらできません。これはダウンロードについても同じです。

そこで、WARP4.8ではストリームを使わなくてもファイルをアップロード/ダウンロードできる次の4つのコンポーネントを追加しました。

  • FTPUpload
  • FTPDownload
  • AWS S3Upload
  • AWS S3Download


今回は、AWS S3Uploadを使用して1GBのファイルをS3にアップロードし、フローサービスのメモリの使用量を見てみましょう。

使用するフローはAWS S3Uploadコンポーネントを配置しただけの簡単なフローです。

s3_flow.png

フローサービスのメモリ使用量をチェックするために、フローサービスに付属のモニターツールを使用します。これはfsmonと呼ばれるツールで、メモリ使用量やWorkerスレッドの処理数などをリアルタイムに見ることができます。

s3_fsmon.png

fsmonの詳しい使用方法についてはこちらのヘルプをご覧ください。


それでは1.12GBのファイルをS3にアップロードしてみます。

s3_fsmon_result.png

上のグラフのギザギザした部分がファイルをアップロードしている間のメモリ使用量の推移です。緑色のグラフがフローサービスで使用しているメモリ使用量になります。ファイルをアップロードしている間もほとんどメモリ使用量が変わらないことが分かりますね。また、1.12GBのファイルをアップロードしているのに、フローサービスが160MB程度のメモリしか使用していないことも驚きです。

アップロード後のS3のマネージメントコンソールの画像もあげておきます。確かに1.1GBのファイルがアップロードされていますね。

s3_awsmc.png

ちなみに、アップロードにかかった時間は122265ms、つまり約2分です。Tokyoリージョンということもありますがとても速いですね。

この記事は役に立ちましたか?
0人中0人がこの記事が役に立ったと言っています
    キーワード:
  • FTP
  • AWS
  • fsmon
  • WARP4.8
  • WARP4.8新機能紹介
  • S3
他にご質問がございましたら、リクエストを送信してください

このセクションの記事

他のキーワードで検索する