2017年1月26日、六本木・ビルボードジャパン東京にて、“ライブ”と“テクノロジー”を組み合わせることで新たなライブ体験を生み出すことをテーマにしたハッカソンの、最終発表と表彰式が行われた。本ハッカソンは開催から約3か月にわたって実施された長丁場の開発期間が与えられたプロジェクト。全10チームの参加者たちが、Dentsu Lab Tokyo、TOSHIBA、napster、レコチョクの4社から技術提供を受けて企画・開発・制作を行い、成果を発表した。

最終審査会では審査員長の中村伊知哉氏（慶應義塾大学大学院、メディアデザイン研究科 教授／Cip協議会理事長）をはじめ、東急不動産 次世代技術センターの岡崎卓氏、歌声合成ソフトウェア「初音ミク」の企画・開発を担当し大ヒットさせたクリプトン・フューチャー・メディア株式会社の佐々木渉氏、株式会社クリエイティブマンプロダクション 宣伝部部長の平山善成氏、世界で活躍する新進気鋭の音楽家 野崎良太氏という多彩なメンバーが登場。プレゼン後には、異なる立場からの多面的なコメントや質問が飛び交ったのが印象的だった。

ライブ映像の撮影から自動的に編集を行うシステム『LiveCJ』が最優秀賞受賞

最優秀賞と株式会社クリエイティブマンプロダクション賞のダブル受賞を勝ち取ったのはチーム「ライブアース」。ライブ映像の撮影から自動的に編集を行うシステム『LiveCJ』の完成度の高さが注目を集めた。スマートフォンなど手持ちの端末で撮影した動画を解析して、そのデータを基にカメラスイッチングや加工を行なうことで、まるで人の手で編集されたかのような動画がリアルタイムで自動アウトプットされる仕組み。

実際のデモでは、キーボード、ギター、ドラムの3人の演奏風景を撮影し、舞台背後のスクリーンに投影した。ソロの部分は適切にプレイヤーのフォーカスが行われ、映像の切り替えも歯切れよく行われていた。解析は毎拍行われるため、音楽が進むにつれて精度が良くなるそうだ。Napster APIからアクセスできる膨大な楽曲情報データを利用することで、様々な音楽ジャンルに対応することもできるシステムとなっている。

音楽とは非同期に加工編集された画像が所々入るなど工夫が凝らされており、従来の映像編集の手間を考えれば破格のコスト・パフォーマンスで、すぐに実用化出来るであろう完成度の高さを感じさせた。

次点、優秀賞は任意の視聴点から自由に音を聴くことができるシステム『360 Square』

次点、優秀賞を勝ち取ったのはチーム「Software Defined Media (SDM)」。ライブ会場内に複数の収録デバイスを設置して録音することで、後に任意の視聴点から自由に音を聴くことができるシステム『360 Square』を開発した。任意の点に移動することで、その近くにある音の大きさが大きくなるなど音環境に変化がみられ、また意図的に任意の音の発生源だけをオンオフできるなどの操作も可能となっている。UIとしては、360度カメラで撮影した映像を利用することで、任意の視聴点へ移動するアクションが直感的に操作できるよう工夫されていた。

事前にテストしたというオーケストラ演奏でのデモでは、特定のパートのみ音を消したり、特定パートのみの音を際立たせるなどの効果が立体的に聴こえてくる様が非常に興味深く感じた。例えば有名オーケストラの音をサンプリングして利用し、VRがメガネやコンタクトなど違和感の無いデバイスで実現出来るようになれば、好きなオケメンバーの一員となってカラオケ状態でパート譜を弾いて遊ぶことができるなどが自在に出来るようになるのではないだろうかと、個人的にはワクワクしながら発表を聞いていた。

創造力／想像力を刺激する技術が新たな体験を生む

今回本ハッカソンに技術提供を行なった、「Napster」ブランドで世界中で音楽配信サービスを展開しているRhapsodyからは、楽曲のメタデータやユーザープロフィールへのアクセスなど、Napsterのサービス機能を呼び出せるAPIが公開された。最優秀賞チームの「ライブアース」、優秀賞を勝ち取った「Software Defined Media (SDM)」を含む4チームが利用した。

Napsterは本ハッカソンの数ヶ月前に「Napster VR」（http://us.napster.com/vr）という無料アプリを公開している。スマートフォンの専用アプリを利用して、スマホを動かしながら360度カメラで撮影したライブ動画を再生すると、様々な角度からライブを見ることができるというもの。Google Cardboard VR viewerを使うことで本格的なVR体験も可能で、ライブとの連携が非常に重視されているのが分かる。実際にNapster自身が多彩なライブコラボ商品が多いだけに、データの利用について利便性の高さや、データ利用に際して創造力/想像力を刺激する技術であったことが、多くのチームでの採用につながったのではないかと推測される。

他に、東芝からは「SeeQVault対応microSDメモリカード」「FlashAir」「NFC搭載SDメモリカード」の3種類、Dentsu Lab Tokyoからは「アーティストの生体データ」を利用可能にする技術、レコチョクからは、商用で使用している500万曲以上の楽曲データ（アーティストのプロフィール情報、楽曲データ、試聴音源等）を提供するWeb APIが提供された。

新たなライブ体験を生み出すことをテーマにしたハッカソン「Billboard LIVE MUSIC HACKASONG」、今回の技術提供は音楽業界から2社、その他業界から2社という比率だった。思いもよらない技術から思いもよらない体験がきっと飛び出てくることを楽しみに、今後もウォッチしていきたいと思う。

【公式サイト】
http://www.billboard-japan.com/hack2016 （ハッカソン概要、発表会レポート）
https://live.line.me/channels/432/broadcast/795602 （発表会＆表彰式ライブ映像）

【Live Music Hackasong 参加企業インタビュー】
http://www.billboard-japan.com/special/detail/1821 （Dentsu Lab Tokyo）
http://www.billboard-japan.com/special/detail/1728 （株式会社東芝）
http://www.billboard-japan.com/special/detail/1750 （Napster）
http://www.billboard-japan.com/special/detail/1772 （レコチョク）