演奏風景をクラウド型カメラサービスで残そう！「IoT×Musicのハーモニー」【SORACOM Discovery 2023 展示レポート】

カテゴリー SORACOM Discovery 2023
カテゴリーデバイス

こんにちは！突然ですが、みなさんは楽器を演奏はされますか？

この記事では、2023年7月に開催された SORACOM Discovery 2023 のソラコム社員によるIoTプロトタイピングコーナーで、法務や知財業務を担当する深野(ニックネーム：noa 以下、noa)が考案し、エンジニアの中西（ニックネーム：kaz 以下、kaz)が開発した「IoT×Music」の構成や技術的なポイントを紹介します。

免責事項

本記事内で紹介している制作物（コンセプト、回路、システム実装など）は社員がプロトタイピングしたコンセプト実装です。その性質上、回路構成やシステムには改善の余地があります。この制作物の構成をソラコムが推奨するものではありません。また、ソラコムによる実装に関する動作保証やサポートはありません。実装を参考にする場合は自身の責任において実施してください。

プロトタイピングのコンセプト「動画で残したい、演奏風景」

考案者のnoaは、初心者ながら日々ピアノの練習に励むほどのピアノ好き。SNSで紹介されるストリートピアノの映像をよく観ていたそうなのですが、演奏風景はたいていスマホで個人的に撮影されていました。ある日、いつもと同じようにストリートピアノの映像を見ていたときふと、ソラコムクラウドカメラサービス「ソラカメ」などのセキュリティカメラを活用して演奏風景を録画するのはどうか、と思い立ちました。

私もピアノの練習風景をスマホで撮影して確認することがあるのですが、ピアノを練習されている人の中には、家での練習風景をYouTubeなどでシェアされている人が増えてきていますよね。ソラカメなどモニタリング目的で導入されるカメラを活用することで、簡単に演奏風景を撮影し加工編集できて、成長の記録として残すことができるとおもしろいのでは。そういったIoTの提案ができればと思いました（noa）

そこで社内のプロトタイピング向けのアイディアソンで案を発表したところ、採用となり具体的な開発をエンジニアのkazが担当することに決まりました。

IoT×Musicの構成 ― IoTボタンを「遠隔の録画開始・停止ボタン」に

材料

楽器やおもちゃ（練習用）
クラウド型カメラサービス「ソラカメ」
LTE-M通信内蔵 IoTボタン「SORACOM LTE-M Button for Enterprise」

当初はレンタルして会場にピアノを持ち込み、ストリートピアノを設置することを妄想していましたが、設置スペースや音が響いてしまうなどの問題で難しく、別の楽器を探すことに。社内SNSでアイディアを呼び掛けたところ、音符の形をした電子楽器「オタマトーン」（明和電機）が候補に急浮上！

出典：明和電機・オタマトーンのウェブサイト（https://otamatone.jp/）より

尻尾部分を指でタッチしたりスライドさせると音が鳴り、口を開くと音色が変わるオタマトーンは、手軽に演奏しやすいうえ、興味を引く愛らしい見た目も高ポイントだったそうです。会場では、ほかにもマラカスやけん玉、ヨーヨーなども用意しました。

そのほかに必要なのは、ソラカメとSORACOM LTE-M Buttonのみ。演奏する姿が映る位置にカメラをセッティングします。ソラカメは、設置が簡単なのも特徴。ポンっと置くのはもちろん、内蔵マグネットや付属両面テープで手軽に取付が可能です。

SORACOM LTE-M Buttonは、「１回押し」「２回押し」「長押し」3種類のクリックに応じたアクションをクラウド側で設定でき、自分だけの「IoTボタン」が作れるデバイスです。

構成図

仕組みは、わかりやすさを重視しました。
ソラカメには外部からカメラ映像を操作できるAPIがあります。さまざま機能のうち、今回はクラウドに常時録画している映像から開始時刻と終了時刻を指定して取り出してエクスポートできる機能を使いました。(参考: ソラカメの録画映像ダウンロード APIについて)

時間指定は、演奏を開始する際と終了した際にSORACOM LTE-M Buttonをそれぞれ１回押すだけ。SORACOM IoTプラットフォーム上のSORACOM Funkを通じてAWS Lambdaがソラカメの上記APIを呼び出します。
エクスポートされた映像は、AWS上のストレージに保管されると同時に、映像のURLが記載されたメールが自動で通知されるため、利用者はそれをクリックするだけで自身の演奏風景動画をダウンロードすることができます。

制作したkazによると、SORACOM LTE-M Buttonを押下してからAPIが反応するまで数秒間のタイムラグがあるため、微調整が必要だったそうです。

「ボタンを押してすぐに演奏をスタートしますが、ボタンを押してAPIを呼び出すまでに7秒ほど遅れが発生し、このままだと冒頭部分が切れてしまいます。また、演奏後もボタンを押して5～6秒ほどの誤差があり、余計な間が含まれることがわかりました。そこで、スタート時は『通知の7秒前から』録画し、演奏後は『通知の5秒前』にストップするプログラムを追加しました」（kaz)

そして、実際に来場者が演奏した動画がこちらです。