画像はイメージです original image: © fanjianhua - Fotolia.com
大量のセンサーデータを高速に保存・検索する、三菱電機が開発した「センサーデータベース」技術
2016.11.10
Updated by Asako Itagaki on November 10, 2016, 17:51 pm JST
画像はイメージです original image: © fanjianhua - Fotolia.com
2016.11.10
Updated by Asako Itagaki on November 10, 2016, 17:51 pm JST
IoTのユースケースの一つとして道路や鉄道などのインフラにおける点検や劣化診断が挙げられる。そこで問題となるのが、収集した大量のデータを高速に蓄積・検索・集計することだ。
三菱電機は、従来のリレーショナルデータベースに比較して、同じ件数のセンサーデータに対してデータ蓄積に要する容量、蓄積に要する時間、センサーデータを検索集計する時間のそれぞれを最大1000分の1に削減する「高性能センサーデータベース」技術を開発している。そのデモンストレーションを見る機会があったので紹介したい。
デモでは、10kmの距離を自動車で走行しながら路面の3Dスキャンを行った事例が紹介された。10kmを走る間に測定されるデータは5億点にのぼる。このデータをもとに路面の3Dモデリングを行うための集計処理にかかる時間は約2秒。データを読み込んで一拍おいて表示されるイメージだが、従来のリレーショナルデータベースで同じデータを扱おうと思うと約1500秒かかるのだそうだ。約750分の1の処理時間となる。
同社が開発した技術では、データの圧縮・ストレージ内での配置最適化・データ処理単位の最適化により、高速化をはかっている。データ圧縮の最適化では、センサーデータの種類によって最適なデータ圧縮パターンが異なることに着目。700通り以上の圧縮パターンの組み合わせから最も効率が良いパターンを選んで圧縮することで、データの容量そのものを小さくする。圧縮したデータのストレージへの書き込み時には、一塊のデータがなるべく複数のブロックにまたがらないよう、取り出しやすく並べる。また、処理する時には、キャッシュメモリー内で処理が完結できるよう、データ処理単位を最適化することにより高速化を計っている。
▼効率的な蓄積と高速な検索・集計(報道発表資料より)
デモンストレーションでは、これらの処理を行うことにより、Windows 7で動作するメインメモリー8GBのPCサーバー上にセンサーデータベースを構築していた。処理を高速化するだけでなく、ハードウェア自体をPCにすることで運用の容易化や省電力化が期待できる。
IoTソリューションのアーキテクチャとしては、センサーで収集したデータをクラウドに持ち込む前にエッジで処理するエッジコンピューティングの重要性が増しているが、そのために有用な技術だ。また、複数のサーバーを並べることでストレージ容量の拡張と処理速度の高速化が可能。この技術は既に鉄道の劣化診断サービスで実用化されているとのことだ。
【関連情報】
・安価なハードウェア構成で100兆件規模のセンサーデータの蓄積、高速検索・集計を実現「高性能センサーデータベース」を開発 (報道発表資料)
おすすめ記事と編集部のお知らせをお送りします。(毎週月曜日配信)
登録はこちらWirelessWire News編集委員。独立系SIerにてシステムコンサルティングに従事した後、1995年から情報通信分野を中心にフリーで執筆活動を行う。2010年4月から2017年9月までWirelessWire News編集長。「人と組織と社会の関係を創造的に破壊し、再構築する」ヒト・モノ・コトをつなぐために、自身のメディアOrgannova (https://organnova.jp)を立ち上げる。