ビッグデータを高速処理する、リアルタイムデータ処理とは？

 

 

企業が保有するデータが、従来の情報システムのデータだけでなく、センサーデータへと多様化しています。このビッグデータ社会のなかで、注目を集めているテクノロジーがリアルタイムデータ処理です。リアルタイムデータ処理とは、すべてのデータをストレージにストックしていた従来の手法に代わり、データをリアルタイムに処理して不要なデータをフローしていく基盤です。
リアルタイムデータ処理が求められる背景と概要についてご紹介します。

 

もっと知りたい方は、こちらへ

 

 

「蓄積されたデータ」から「今、流れているデータ」へ

 

スマートデバイスをはじめとしたIoTの普及などを背景に、企業が生み出すデータ量は、1日あたり10テラバイトを超える勢いです。もはや情報“爆発”社会とでも形容すべき今日では、データの質そのものも変化してきています。

これまで「データ」といえば、企業の情報システムに蓄積された顧客情報や販売履歴などを指していました。それらのデータは 「過去の蓄積されたデータを分析し、有益な情報を得る」ことを前提にバッチ処理を行い、データベース化されていたのです。そこで求められていたのはスピードよりも精度であり、セキュアな環境下での保管と管理でした。

一方、昨今急増しているのは、センサーやRFID(Radio Frequency IDentification：自動認識システム)が生み出す、新しいタイプのデータです。センサーが生み出すデータは、必ずしも保管が必要ではありません。例えば、何らかの異変を察知する目的でセンサーを活用する場合、値が正常であることが確認できれば、そのほかのデータは不要になります。

従来のように蓄積されたビッグデータを数時間から数日かけて処理を行うバッチ処理では、集計結果を見るまでに数日かかることも少なくありませんでした。対して、蓄積されたデータではなく、流れているビッグデータをリアルタイムで集計しながら迅速に変化に対応する基盤が、リアルタイムデータ処理という技術です。

リアルタイムデータ処理では「今、流れているデータを即時に処理し、次のアクションへつなぐ」ことを可能にします。少ないリソースで、ビッグデータに立ち向かう手法ともいえます。

 

リアルタイムデータ処理は、「今、すばやく対応したい業務」すべてに有効

 

リアルタイムデータ処理は、このような現場で有効です。

―在庫・物流・人員配置の現場で、人や物流の動きをリアルタイムに管理する。

―医療・ヘルスケア分野で、インシデント検知を行う。

―ターゲティング広告を行う。

―交通などのインフラのコントロールを行う。

―精密機械やシステムの故障・異常を事前に予測する。

―不正行為にいたるパターンを検知する。

このほかにも、リアルタイムデータ処理は、クリック ストリームの分析、金融取引関連の警告、IoT関連デバイスのモニタリング、ソーシャル分析、ネットワーク監視など、さまざまなシーンで活用できます。言い換えると、ビッグデータを活用しながら「迅速な意思決定が必要な現場」すべてにおいて有効といえます。

 

KinesisやStormと比較しても、アプリケーション層まで実装しているリアルタイムデータ処理ツール「GUST」は導入が容易

 

現在、リアルタイムデータ処理の基盤としては複数のサービスがあります。

まず、AWS‎(Amazon Web Service)が提供するAmazon Kinesis は、大規模な分散データストリームをリアルタイムで処理するためのクラウドベースのサービスです。

次に、ASF(The Apache Software Foundation）が提供するApache Storm は、Hadoop を活用し、リアルタイムで効率的なクラスタ処理を可能にするオープンソースのリアルタイム分散処理フレームワークです。

さらに、かもめエンジニアリングが提供しているのが、GUST(ガスト)というリアルタイム処理アプリケーションです。GUSTはバッチ処理のアドオンとして活用できるだけでなく、KinesisやStormとの連携も実現します。KinesisやStormと比較しても、アプリケーション層まで実装しているリアルタイムデータ処理ツールGUSTは容易に導入できます。

かもめエンジニアリングは、国際特許を取得した高速分散KVSで「ビッグデータを高速に処理する」認証基盤やIoT基盤などのソリューションを提供しており、GUST(ガスト)にも、これまでの高い運用実績にもとづいたノウハウがいかんなく盛り込まれています。

 

ストリームデータ処理ツール「GUST」の詳細は、こちらへ

ストリームデータ処理ツール「GUST」についてもっと知りたい方は、こちらへ