1月23日から1月26日まで新潟で開催された暗号とセキュリティシンポジウム(SCIS 2018)にて、当研究室が発表した下記研究の成果を、テレビ、新聞等のメディアでご紹介頂きました。
飯島涼、南翔汰、シュウ・インゴウ、及川靖広、森達哉
“パラメトリックスピーカーを利用した音声認識機器への攻撃と評価”
暗号と情報セキュリティシンポジウム (SCIS 2018), 2018年1月
この研究は当研究室と、表現工学科の及川研究室との共同研究して進めています。
【AIスピーカーに特殊な音で指示 勝手に操作可能に】声で家電製品などが操作できる「AIスピーカー」に特殊な音で指示を送ると、周囲に気付かれることなく、第三者が勝手に操れるとする実験結果を早稲田大学の研究グループがまとめました。https://t.co/PA1eF3veXN
— NHK科学文化部 (@nhk_kabun) January 27, 2018
以下では、報道では割愛されていた、攻撃の成立条件、研究の狙い、パラメトリックスピーカについて補足し、最後に掲載メディア一覧をまとめています。
テレビ、新聞で報道されたように、今回の実験で評価した PoC (Proof of Concept) 攻撃は、今すぐ直ちに脅威になるものではありません。実際に攻撃が成立するためには、
- 攻撃者の存在が気が付かれないこと
- 攻撃者とAIスピーカの間に障害物がないこと
- AIスピーカの設定として、話者認識がONになっていないこと(話者自体はデータが入手できれば模倣が可能ですが)
など、いくつか満たすべき条件があります。攻撃に利用するパラメトリックスピーカ装置自体は安価なものなので、それ自体は攻撃を妨げる主要因になるとは考えにくいです。
また、今回の実験ではわかりやすい例としてAIスピーカをとりあげていますが、音声認識装置全般が標的となり得ます。
本研究の狙いは、こうした「潜在的な脅威」の実現性を定量的、かつ科学的に再現性のある方法で評価し、関連する開発者や研究者等に注意喚起を促すこと、そして有効な対策技術の開発につなげていくことです。
当研究室では、今後もこのような「攻撃者視点」のアプローチで研究を進めていきます。こうした攻撃者視点のセキュリティ研究を通じ、日々開発が進んでいる様々な新しいシステムやサービスを将来も安心して利用できる社会の実現に貢献したいと考えています。
技術としては指向性スピーカとして知られる「パラメトリックスピーカ」を使っています(知っている人が見ればすぐにわかります)。実験では既製品を使っていますので、その部分に研究の新規性はまったくありません。また、「AIスピーカ」への攻撃に「パラメトリックスピーカ」を使ったと表現すると2つの「スピーカ」で混乱を招くため、報道では「パラメトリックスピーカ」という用語を敢えて外しているようです。なお、メディアの報道では簡単のため「特殊な音」などと表現されていますが、詳細は以下のとおりです。はじめに、配列上に設置された複数の超音波端子群(パラメトリックスピーカ)から音声信号を変調した超音波を発生します。このように横に並んだ複数の超音波端子から生成された超音波は、空気中で元の音声に復調する面白い性質があり、一定の距離を進んだ後に音声として聴こえるようになります。このような手順で生成された音声信号には指向性があるため、進行方向から外れているエリアでは音声が聴こえにくくなります。つまり、進行方向から外れたエリアにいる人間は、パラメトリックスピーカから出ている音声に気がつくことができません。また、距離によっては超音波成分が残ります。こうした状況を総合し、かつ「指向性」という言葉が一般には馴染みがないため、「特殊な音」といった表現になったようです。
実験では実験協力者による協力のもと、どこでは聴こえる、どこでは聴こえないといった評価を実施しています。また、吸音材を利用した音響室、および音圧レベルをコントロールした雑音を生成することにより、再現性のある実験を行っています。
攻撃のアイディア自体は誰かが思いつくことですが、それが本当に実現できるのか、出来るとしたらどういう条件のときか、どういうときに出来ないのか、ということを科学的な作法にしたがって定量的に調べたところに価値があると考えています。
テレビ
- AIスピーカーに特殊な音で指示 勝手に操作可能に (NHK おはよう日本) 1月27日 6時07分
https://www3.nhk.or.jp/news/html/20180127/k10011304431000.html
新聞
- AIスピーカー乗っ取り 超音波を悪用、早大実験 (共同通信発)
- 共同通信 https://this.kiji.is/329724779848303713
- 中日新聞 http://www.chunichi.co.jp/s/article/2018012701001308.html
- 産経新聞 http://www.sankei.com/life/news/180127/lif1801270036-n1.html
- 東京新聞 http://www.tokyo-np.co.jp/s/article/2018012701001308.html
- 西日本新聞 http://www.nishinippon.co.jp/sp/nnp/science/article/389461
- 神奈川新聞 http://www.kanaloco.jp/sp/article/306813
- 下野新聞 http://www.shimotsuke.co.jp/news/domestic/science/news/20180127/01001307
- 山梨日日新聞 https://www.sannichi.co.jp/article/2018/01/27/80132866
- 山形新聞 http://www.yamagata-np.co.jp/news_core/index_pr.php?kate=Science_Environment_Health&no=2018012701001308
- 福井新聞 http://www.fukuishimbun.co.jp/articles/-/286904
- 京都新聞 http://www.kyoto-np.co.jp/top/article/20180127000006
- 中国新聞 https://www.chugoku-np.co.jp/news/article/article.php?comment_id=405409&comment_sub_id=0&category_id=28
- 沖縄タイムス http://www.okinawatimes.co.jp/articles/-/201156
- 神戸新聞 https://www.kobe-np.co.jp/news/zenkoku/compact/201801/p1_0010933221.shtml
- 四国新聞 https://www.shikoku-np.co.jp/national/science_environmental/photo.aspx?id=20180127000039&no=1
ウェブ
- NHK関連
- スマートスピーカー、聞こえない声で操作される!?早稲田大学研究グループが発表 (iPhone Mania) https://iphone-mania.jp/news-201363/
- 周囲に気づかれずに離れたスマートスピーカーを第三者が操作可能、早稲田大学が実験 (ロボスタ) https://robotstart.info/2018/01/27/parametric-speaker.html
- AIスピーカーに特殊な音で指示 勝手に操作可能に (goo ニュース) https://news.goo.ne.jp/article/nhknews/trend/nhknews-10011304431_20180127.html
- AIスピーカー、特殊音で第三者が勝手に操作できるとの実験結果 (ライブドアニュース) http://news.livedoor.com/article/detail/14217250/
- AIスピーカーに特殊な音で指示 勝手に操作可能に (ツイナビ) https://twinavi.jp/topics/news/5a6bc08a-9fb0-496e-b362-610d5546ec81
- AIスピーカーに特殊な音で指示 勝手に操作可能に (AINOW) http://ainow.ai/2018/01/26/132193/
- はてなブックマークhttp://b.hatena.ne.jp/entry/s/www3.nhk.or.jp/news/html/20180127/k10011304431000.html
- 共同通信関連
- AIスピーカー乗っ取り 超音波を悪用、早大実験 (47 NEWS) https://www.47news.jp/news/1385544.html
- AIスピーカーは超音波で乗っ取れることを証明! 第三者による悪用を懸念 (財経新聞) http://www.zaikei.co.jp/article/20180130/423323.html
- AIスピーカーに乗っ取りの危険性 超音波悪用、早大が実験 (ITmedia) http://www.itmedia.co.jp/news/articles/1801/29/news050.html
- AIスピーカー“乗っ取り”可能 早大で実験、対策の必要主張 (SankeiBiz) https://www.sankeibiz.jp/business/news/180130/bsc1801300500009-n1.htm
- AIスピーカー乗っ取り (ORICON NEWS) https://www.oricon.co.jp/article/388140/
- AIスピーカー乗っ取り 超音波を悪用、早大実験 (BIGLOBEニュース) https://news.biglobe.ne.jp/trend/0127/kyo_180127_5074392256.html
- AIスピーカーに乗っ取りの危険性 超音波悪用、早大が実験 (zakzak) https://www.zakzak.co.jp/eco/news/180128/eco1801280002-n1.html
- AIスピーカー乗っ取り 超音波を悪用、早大実験 (Web東奥) https://www.toonippo.co.jp/news_kyd/news/article.asp?newsid=2018012701001307&genre=9
- はてなブックマーク http://b.hatena.ne.jp/entry/s/this.kiji.is/329724779848303713
ソーシャルメディア
- Ceron (NHKニュース) http://ceron.jp/url/www3.nhk.or.jp/news/html/20180127/k10011304431000.html
- Ceron (共同通信記事) http://ceron.jp/url/this.kiji.is/329724779848303713
【AIスピーカーに特殊な音で指示 勝手に操作可能に】声で家電製品などが操作できる「AIスピーカー」に特殊な音で指示を送ると、周囲に気付かれることなく、第三者が勝手に操れるとする実験結果を早稲田大学の研究グループがまとめました。https://t.co/PA1eF3veXN
— NHK科学文化部 (@nhk_kabun) January 27, 2018
AIスピーカー乗っ取り - 超音波を悪用、早大実験https://t.co/rsBemQMTfa
— 共同通信公式 (@kyodo_official) January 26, 2018
【聞こえない周波数】AIスピーカーに特殊な音で指示、第三者が勝手に操作も https://t.co/VcrPyb9rJr
人間の声を特殊な音に変換することで、周囲に気づかれることなくスピーカーを操作できるという。早稲田大が発表した。 pic.twitter.com/PUlRN09B9w
— ライブドアニュース (@livedoornews) January 27, 2018
AIスピーカーに乗っ取りの危険性 早大が実験
→音声を超音波に変換する機器を使って命令を出すと、最大10メートル離れた場所から第三者が操作できる可能性https://t.co/VJYwo5dmk2— 産経ニュース (@Sankei_news) January 27, 2018