ビッグデータをリアルタイムで処理する、ストリームデータ処理ツールGUST(ガスト)のすべて　4-4

 

 

独自の分散KVSテクノロジーを活用し「大量データを高速に処理する」認証基盤やIoT基盤などのソリューションを提供しているかもめエンジニアリングでは、2015年6月からストリームデータ処理ツールGUST(ガスト)の提供を開始しました。

ストリームデータ処理とは、すべてのデータをストレージにストックしてから処理していた従来の手法に代わり、データをリアルタイムに処理する基盤です。企業が保有するデータが日に日に膨れ上がるなか、注目を集めているテクノロジーです。
このシリーズではビッグデータをリアルタイムに処理するストリームデータ処理ツールGUSTについてご紹介します。

シリーズ4回目の今回は、かもめのストリームデータ処理ツール、GUST(ガスト)の機能について掘り下げます。

 

もっと知りたい方は、こちらへ

 

 

GUST(ガスト)は、抽出、集約、正規化など生データの「前処理」を行う

 

ストリームデータ処理ツールGUST(ガスト)は、Hadoopをはじめとした、いわゆるビッグデータ関連製品と組み合わせて動作し、データの抽出、集約、正規化などデータの「前処理」に力を発揮します。

GUST(ガスト)は、生データを収集後、必要に応じてデータの利用や蓄積がしやすいように「データを下ごしらえするツール」とも言えます。

GUST(ガスト)では、収集されたデータに対して次のような処理を実施します。

－クレンジング

解析に不要なデータを除いたり、変換したり、マッピングしたりすることができます。

－取捨選択から破棄

不要なデータを取捨選択の上、破棄します。

－タグ付け

データごとに属性(タグ)をつけ、関連データを整理することができます。

－セキュリティ（DRM等）

データのマスキングが可能です。

－モニタリング

アクセスログ、行動履歴、システムログなどをリアルタイムでモニタリングし、重要なデータを検知して必要に応じて自動的にアクションを起こします。

もちろん、すでに蓄積されたデータを加工することもできます。

 

GUST(ガスト)は、リアルタイムでデータマートを構築することができる

 

データウェアハウス(DWH)から企業固有の目的に合わせたデータを抽出したデータマートは、幅広い業種で活用できるため、利用目的によっては即時性が求められることも少なくありません。

高速処理を実現するGUST(ガスト)を応用すると、瞬時にデータマートを構築できます。

GUST(ガスト)では、データを蓄積しながら、リアルタイムでデータマートを構築することが可能です。データソースから一旦データを蓄積した後、バッチ処理などで夜間にデータマートを構築していた従来の手法に比べ、圧倒的なスピードアップを図ることができます。

 

大量データのリアルタイム変換事例

 

最後に、GUST(ガスト)の活用事例を簡単にご紹介します。

こちらの事例は、通信業者様が保有する大量の生データをリアルタイムに処理している仕組みです。立ち上げから運用まで1ヶ月弱で構築しました。

データを圧縮し、3種類に分類し、さらに集計しなおしてアウトプットしてする流れを作っています。

処理時間、処理単位、データウエアハウスの有無などは、企業様固有のニーズに合わせてカスタマイズしていただけます。また、データ圧縮と集計の統合や、監視・ログ分析システムとの連携といったかたちで導入していただくことも可能です。

業務上、どうしてもデータを保存しなければならない場合は、目的別に、データ処理ツールを使い分けることをおすすめします。

保存したい情報はバッチ処理で、迅速に入手したい情報はGUST(ガスト)をお使いいただければと思います。

GUST(ガスト)は、他のビッグデータ製品のアドオンとして導入することが可能ですので、Hadoopをはじめとしたデータ処理のフレームワークと組み合わせてお使いいただければと思います。

 

ストリームデータ処理ツール「GUST」の詳細は、こちらへ

ストリームデータ処理ツール「GUST」についてもっと知りたい方は、こちらへ