リアルタイムデータ処理アプリケーションGUSTを使った、自社に最適なシステム構築のヒント

 

 

ビッグデータ、なかでもセンサーデータの活用においてリアルタイムデータ処理が注目されています。リアルタイムデータ処理とは、すべてのデータをストレージにストックしていた従来の手法に代わり、データをリアルタイムに処理して不要なデータをフローしていく基盤です。
現在活用されているリアルタイムデータ処理サービスには、クラウドサービス、フレームワーク、アプリケーションとさまざまな特徴があり適用範囲が異なります。それぞれの機能を組み合わせることで、自社に最適なシステムを構築することができます。
今回は、プログラミングレスでカスタマイズに長けたリアルタイムデータ処理アプリケーション、GUST(ガスト)との連携例をご紹介します。

 

もっと知りたい方は、こちらへ

 

 

GUSTを活用した連携のヒント

 

GUSTは、複数のルールエンジンが備わっており、プログラミング不要でさまざまなデータを自動的に処理することを可能にするリアルタイムデータ処理アプリケーションです。
GUSTの活用例としては、図表のような構築が考えられます。

 

GUSTは、図表の青い部分、すなわち「データの収集、圧縮」から「リアルタイムでのデータマート作成」、そして「リアルタイムモニタリング」までの処理を行います。

GUSTはアプリケーションですので、クラウド、プライベートクラウドなど場所を選ばず、プログラミングレスで迅速に構築することができます。もちろん、AWSのサービスと組み合わせて活用することも可能です。

また拡張性、カスタマイズ性に長けていますので、自社のニーズに的確に対応することができます。

 

GUSTとKinesis(キネシス)との連携

 

AWS‎(Amazon Web Service)が提供するAmazon Kinesis は、大規模データのリアルタイム処理をサポートするフルマネージ型のクラウドベースのサービスです。

最大の特徴はデータをバッファリングしておくことで、バッファによって一時的なトラフィックの増加に対応します。

GUSTとKinesisとの連携例としては、次のような構築が考えられます。

 

たとえば2箇所から生データを出力して、それぞれ別の処理を行いたいというようなケースでは、図表のようにGUSTを連携することで、既存の環境を残したまま新しいサービスを追加することができます。

 

GUSTとStorm(ストーム)との連携

 

ASF(The Apache Software Foundation）が提供するApache Storm は、Hadoop を活用し、リアルタイムで効率的なクラスタ処理を可能にするオープンソースのリアルタイム分散処理フレームワークです。
GUSTとStormとの連携例としては、次のような構築が考えられます。

 

図表の左側の青い部分、機器からStormへ流れる合間にGUSTを加えることで、データの新たな要件の追加や一時加工を行うことができます。

また、図表の右側の青い部分では、Stormとアウトプット先の合間にGUSTを連携させることで、GUSTの待機調整(スロットリング)機能を使ったり、アウトプットするサービスへの認証機能として働くことができます。

 

ストリームデータ処理ツール「GUST」の詳細は、こちらへ

ストリームデータ処理ツール「GUST」についてもっと知りたい方は、こちらへ