データエンジニアリングⅣ
技報サイト内検索
2016年3月発行 Vol.35 No.4 通巻127号データエンジニアリングⅣ
国内外のデータ流通量は年々増加しており、近年のソーシャルメディアを流れる情報に加えて、スマートメーターやセンサーデバイスから発生するデータが増加の速度をさらに上げています。こうしたデータを活用してその成果をビジネスにつなげること、すなわちIoT（Internet of Things）に取り組むことが企業競争力を高めるために必要不可欠になっています。本特集号では、ソーシャルメディアやセンサーデバイスがもたらす多様で大量のデータを蓄積するデータベース基盤や、それらのデータを分析・活用するテキストマイニング、機械学習、BEMS（ビル向けエネルギーマネジメントシステム）などの技術を解説し、適用事例を紹介します。
製品クレームの“見せる化”による品質向上への取り組み
日本ユニシスは，テキストマイニング技術を活用しクレーム内容の監視と不具合につながる事象の検知を自動化するアラートシステムを，ある顧客向けに構築した．本システムの特徴は，クレーム情報の見せる化による組織対応力強化，属人性を排除した検知の自動化と負荷軽減，製品の特性と季節性を考慮した検知精度の向上である．検知ロジックの効果を検証するためのシミュレーションを行ったところ，専任の担当者が実際に検知した時期と同じタイミングで，不具合につながる事象を捉えることができた．高評価を受け，現在では全機種のクレーム情報を本システムの監視対象としている．
含意関係認識のための機械学習と全文検索
二つの文の間に含意関係が成り立つかどうかを判別する含意関係認識は，より高度な自然言語処理を実現する技術として期待されている．我々は，2014年度に開催された含意関係認識技術を評価する国際ワークショップNTCIR RITE-VALに参加し，大学入試センター試験社会科を題材とした二つのタスクにおいて，最上位の成績を収めた．本稿では，その取り組みにおける機械学習と全文検索手法を解説し，検証結果から有効性を考察する．複数の手法を評価検証し，対象とするデータの性質に合った有効な手法を見出したことが，好成績につながった．社会科のような特定のドメインにおいて，自然言語処理の精度を高めるための手法や検証方法は，専門性が高い分野で広く応用できると考えている．
UNIBEMSによるエネルギーマネジメントと今後の展開
東日本大震災以降，節電に対する意識は高くなっている．国はエネルギー政策としてBEMS事業を立ち上げ，BEMSアグリゲータの募集を行った．日本ユニシスは，BEMSアグリゲータに採択され，独自のBEMS として，「UNIBEMS」を構築した． 本稿では，日本ユニシスがエネルギーマネジメントを行うアグリゲータとして開発したUNIBEMSについて，「データベース構造」，「エリア機能」，「センサー会社との接続を実現させた手法」から，機能とその特徴を説明する．また，導入実績を紹介し，導入効果の事例として費用削減効果と負荷調整作業の結果を説明する．最後に，UNIBEMSの今後の課題と展開について述べる．
SQL on Hadoopの可能性
2010年代に入ってから，ビッグデータが多くの企業から注目されている．その理由は，ビッグデータを活用することで，同業他社との差別化を図り，売上拡大や業務効率化により企業価値を向上させることができるからである．ビッグデータを蓄積/処理する基盤としてDWH 向けRDBMSやHadoopがあり，成り立ちやアーキテクチャは異なるが，データを格納して，SQLをインタフェースとしてデータにアクセスすることができる点など，利用者から見ると違いが分かり難くなってきている． 上記課題に対して，DWH向けRDBMSとHadoopを用いて，データロード，データ検索について性能面での比較検証を行い，SQL on Hadoop（Hadoop内のデータをSQLで処理する機能）の適用範囲について考察を行った．その結果，データレイクにおける対話型の検索ツールとしては，SQL on Hadoopの適用は有用であるという結論に至った．本稿では検証結果と考察を報告する．
大規模データ処理アーキテクチャの動向と展望
データベース技術は，対象とするデータの特性に応じて発展を続けている．Web上に集約される大規模データは，それまでのデータ処理技術の枠に収まらないビッグデータとして認識され，データ処理技術の多様化を引き起こした．Web系企業においては，2000年代初頭より大規模データ処理の課題が認識され，Googleにおける分散データ処理基盤のクローンとして登場したHadoopは一つの解決を示したが，さらに複雑化するビッグデータ分析の要求に対応するものとして，2010年頃より分散インメモリ処理によるSparkが登場している．またWebスケール・アプリケーションにおけるデータ処理基盤として，NoSQLの利用が広がっている．一方，従来のRDBMSにおいても，大規模トランザクション処理やH/Wリソースの発展への最適化が求められ，新たなアーキテクチャによるリファクタリングが進んでいる．多様なデータ処理技術は，独立に発展しながらも補完し合い，ビッグデータ処理のプラットフォームとして，融合されたアーキテクチャを形成している．