ビッグデータをリアルタイムで処理する、ストリームデータ処理ツールGUST(ガスト)のすべて　4-3

 

 

独自の分散KVSテクノロジーを活用し「大量データを高速に処理する」認証基盤やIoT基盤などのソリューションを提供しているかもめエンジニアリングでは、2015年6月からストリームデータ処理ツールGUST(ガスト)の提供を開始しました。

 

ストリームデータ処理とは、すべてのデータをストレージにストックしてから処理していた従来の手法に代わり、データをリアルタイムに処理する基盤です。企業が保有するデータが日に日に膨れ上がるなか、注目を集めているテクノロジーです。

このシリーズではビッグデータをリアルタイムに処理するストリームデータ処理ツールGUSTについてご紹介します。

 

シリーズ3回目の今回は、いよいよかもめのストリームデータ処理ツール、GUST(ガスト)についてご紹介します。

 

もっと知りたい方は、こちらへ

 

 

秒間数十万件という高速でデータをフローするストリームデータ処理ツールGUST(ガスト)

 

ストリームデータ処理ツールGUST(ガスト)は、リアルタイム処理のなかでも、1秒間に数十万件という高速処理を実現します。かもめ独自の分散処理技術による圧倒的スピードによって、リアルタイムに大量のデータ処理を可能にしています。

 

GUST(ガスト)がもつ秒間数十万件という圧倒的な処理速度は、「大量データ処理」と「高速分散処理」に特化して実績を積み上げてきた、かもめ独自のテクノロジーが結実したものです。

とくにGUST(ガスト)は、1.8GHz程度のミニサーバ10台でも秒間約10万件の処理性能を実現しており、低スペックなマシンでも高性能を実現する独自のアーキテクチャーが実装されているところも特徴です。

 

GUST(ガスト)の、データ量最適化とリアルタイム監視機能

 

GUST(ガスト)の活用例としては、次のようなものです。

－データ量の最適化

ビッグデータなどの大量のシステムログや通信ログなどを、Hadoopなどで分析する場合の前処理として、必要なデータのみを抽出し、データの整理を行ってデータ容量を抑制します。この時点でデータ量が最適化されると同時に、フォーマットも分析しやすく整形されます。

結果的にデータ量の圧縮、ストレージの節約、分析処理時間の短縮を実現します。

－リアルタイム監視

ビッグデータを含めた大量のアクセスログ、行動履歴、システムログなどをリアルタイムに監視します。不審な行動、システム障害の兆候だけでなく、購買に直結する行動なども検知して、即座にアクションを実行します。

 

ストリームデータ処理ツール「GUST」の詳細は、こちらへ

ストリームデータ処理ツール「GUST」についてもっと知りたい方は、こちらへ