ビッグデータをリアルタイムに処理するデータストリーミング処理ツール「GUST」


「GUST」とは

  • ビッグデータの処理を、よりスムーズ/低コストで行うためのソリューションです。
  • 大量データを瞬時に高速処理して最適化します。
  • アクセスログを監視して購買に直結する行動を見逃さずに次なるアクションを実行可能にします。

ビッグデータ時代への突入

ビジネスにおいて、ビッグデータの活用は必要不可欠になっています。

  • 広告、マーケティング
  • 潜在需要・潜在課題の掘り起こし
  • 通信・インフラ・生産・流通の効率化
  • 不正行為・危険の検知
  • 気象・地震等の予報精度向上

IoTの普及により、情報量はさらに増加します。

2020年までのデバイス数予測

fig_091

目前に迫る「情報爆発」

「情報」は、天文学的な量に膨れ上がりつつあります。

fig_gust_041引用… https://www.ieice.org/jpn/books/kaishikiji/2011/201108.pdf

デジタルネイティブコンテンツはさらに増加します。

fig_gust_051引用… http://www.itmedia.co.jp/enterprise/articles/1412/24/news011.html

データセンターの消費電力は国家規模になっています。

fig_gust_061引用… http://www.itmedia.co.jp/enterprise/articles/1412/24/news011.html

データを「溜める」ことには限界があります。

fig_gust_072

解決/解消のために考えられることは何でしょう?

スケールアップ 高パフォーマンスな設備を使う
うまく「捨てる」 不要なデータは、保存する前に廃棄する
うまく「まとめる」 バラつきをなくし整理してから処理する
溜めない できるだけ溜め込まずに処理する

「ストック」から「フロー」へ

生データをそのまま溜めてしまうと、以下のような不具合があります。

fig_gust_103

すぐには使えない膨大なデータが押し寄せる

「GUST」は、データを流しながら、有効な加工を行います。

fig_gust_113

“下ごしらえ”済みのデータを利用・蓄積できる

「GUST」は、他のビッグデータ製品と共存します。

fig_gust_121

・デバイス等からの 情報収集
・情報のデジタル化
yajirushi_32_50 ・各種ストレージ
・Treasure Dataなどの
オンラインストレージ
・データ量適正化
・Hadoopなどの分析処理
・マイニング、統計処理
・BI(ビジネスインテリジェンス)etc…
●クレンジング(変換、マッピング)
●捨てる(取捨選択)
●タグ付け
●セキュリティ(DRM等)
●モニタリング etc…
※蓄積済みデータの加工も同様に行えます

「GUST」は、以下のような用途も可能です。

リアルタイムに、DWH/データマートを構築

  • 従来は、一旦データを蓄積した後、夜間バッチ処理などでDWHを構築。

fig_gust_148

  • GUSTなら、データを蓄積しながら、リアルタイムにDWHを構築。

fig_gust_149

独自の分散処理エンジンで、秒間数十万件の処理を実現します。

fig_gust_131

独自の分散処理エンジンが、高速処理を支えています。

分散KVS製品 「KFEP(ケイフェップ)」

  • かもめエンジニアリング自社開発
  • 国内大手通信キャリアを中心に豊富な実績 (約100ライセンス稼働中)
  • 拡張性にすぐれ、 スモールスタート ⇒ スケールアウトによる性能向上 が容易
  • お客さまのご要望により柔軟にカスタマイズ

「GUST」は、以下のような分野でお使いいただけます。

大量のシステムログや通信ログなどを、Hadoopなどで分析する場合の前処理として、必要なデータのみ抽出、データの集約、データの正規化などを行い、データ量を最適化すると共に分析しやすいフォーマットに整形する。(データ量の圧縮、ストレージの節約、分析処理時間の短縮)
大量のアクセスログ、行動履歴、システムログなどをリアルタイムに監視し、不審な行動、購買に直結する行動、システム障害の兆候、などを検知した場合に、即座にアクションを実行する。

「GUST」がお手伝いします

特長と導入効果

高速・リアルタイムな情報処理
ストレージシステム等のコスト削減
豊富な採用実績に裏付けられた信頼性
高い拡張性
分析・解析の精度向上

もっと知りたい方へ