広告の今を語る 感情表現字幕で直感的な理解を —大日本印刷 株式会社（DNP）—
聴覚障がいや加齢による聴力不安を抱える生活者の情報アクセシビリティーを担保する字幕の重要性が高まる中、大日本印刷 株式会社は映像をAIで解析して発話者の感情に応じたフォントで自動的に字幕を表示する『感情表現字幕システム』を株式会社NHKテクノロジーズと開発した。同システムの特長を大日本印刷 株式会社の髙橋怜子氏にうかがった。
【 CM INDEX 2021年9月号に掲載された記事をご紹介します。】
インタビュイー
髙橋怜子氏
大日本印刷 株式会社 ABセンター コミュニケーション開発本部 秀英体開発部
大日本印刷 株式会社 ABセンター コミュニケーション開発本部 秀英体開発部
話題・感情に適したフォントでリアルタイムに字幕を自動生成
—システムの概要、開発の経緯について
『感情表現字幕システム』は映像と音声を解析して字幕を自動生成し、その字幕を内容にマッチしたフォントでリアルタイムに表示するシステムです。例えば楽しい話題であればポップなフォントと色使いの字幕が表示されます。NHKテクノロジーズと共同開発し、昨年8月にプロトタイプを発表しました。
当社はこれまで主に印刷用としてフォントを提供してまいりましたが、近年はウェブや映像など紙以外のコミュニケーションが増加していることや、編集者やデザイナーといったプロだけでなく一般の方の発信も増えていることから、チャットなどのテキストコミュニケーションに向けてフォントを話題に合わせて変換する『DNP感情表現フォントシステム』を2018年にリリースしました。同じ頃にNHKテクノロジーズが聴覚障がいの方から字幕に関するヒアリングを実施し、フォントの抑揚のなさや生放送時の表示のタイムラグ、複数人で話している場合の発話者の分かりにくさといった課題が挙がったことから、これらの解消に当社の技術を活用したいとお声がけいただきました。
これをきっかけに2019年に共同開発をスタートし、従来の字幕放送の課題解決に加え、スマホやデジタルサイネージの普及を背景に動画の視聴機会が拡大している中で、音声の出せない環境下でも映像内容の理解をサポートすることを目指して開発を進めてまいりました。
当社はこれまで主に印刷用としてフォントを提供してまいりましたが、近年はウェブや映像など紙以外のコミュニケーションが増加していることや、編集者やデザイナーといったプロだけでなく一般の方の発信も増えていることから、チャットなどのテキストコミュニケーションに向けてフォントを話題に合わせて変換する『DNP感情表現フォントシステム』を2018年にリリースしました。同じ頃にNHKテクノロジーズが聴覚障がいの方から字幕に関するヒアリングを実施し、フォントの抑揚のなさや生放送時の表示のタイムラグ、複数人で話している場合の発話者の分かりにくさといった課題が挙がったことから、これらの解消に当社の技術を活用したいとお声がけいただきました。
これをきっかけに2019年に共同開発をスタートし、従来の字幕放送の課題解決に加え、スマホやデジタルサイネージの普及を背景に動画の視聴機会が拡大している中で、音声の出せない環境下でも映像内容の理解をサポートすることを目指して開発を進めてまいりました。
字幕が感情にマッチしたフォントでリアルタイムに表示されるため、「字幕に抑揚がない」「タイミングのズレ」「誰が話しているか分からない」といった従来の字幕放送の課題を解決。聴覚障がい者や音声の出せない環境での視聴時に映像の理解を深めることができる
感情表現字幕の体験者の多くが分かりやすい、使いたいと回答
— 活用事例や反響についてお聞かせください
昨年9月に渋谷ヒカリエで開催された『超福祉展』で、感情表現字幕を表示したドラマ映像と絵本の読み聞かせ動画を紹介しました。会場だけでなくオンラインでも映像を公開してアンケートを実施し、300件ほどの回答をいただきました。「感情表現字幕の方が感情が分かりやすいと思うか」という問いに対して「とても思う」「やや思う」と回答された方が83%、「使ってみたいと思うか」という問いには73%の方がポジティブな回答をされています。アンケート回答数の半数以上が聴覚障がいの方からで、当事者の皆さんにとって関心の高い課題なのだとあらためて感じました。
某聴覚支援学校でも同様に感情字幕の動画を展示しました。フリップに一般的な字幕と感情表現字幕のどちらか好きな方にシールを貼ってもらったところ、6割以上の児童・生徒さんが感情表現字幕を選んでいます。
某聴覚支援学校でも同様に感情字幕の動画を展示しました。フリップに一般的な字幕と感情表現字幕のどちらか好きな方にシールを貼ってもらったところ、6割以上の児童・生徒さんが感情表現字幕を選んでいます。
— 現在開発中の機能や広告への活用について
映像編集ソフトメーカーとも連携し、自動で字幕やテロップを付けられる機能の開発を進めています。これは質的向上だけでなく、制作現場の業務量の軽減につながると考えています。またスマホの動画データにその場で字幕を付けられるアプリも開発中です。SNSと連動する店頭のサイネージであれば、店舗の担当者が動画と字幕をSNSにアップすることでサイネージに表示されますので、音の聞こえにくい街中でもより多くの情報を届けられます。最近はアパレルショップの店員がその場で試着しながら紹介するライブ配信なども増えていますので、リアルタイムで感情表現字幕を付けられるソフトウェアの開発にも取り組んでおります。これらは映像の送出元に向けた機能ですが、ユーザーの手元で字幕の有無や種類を切り替えられるといった提供方法も視野に入れています。
このほか多言語対応にも挑戦しており、チャットベースの機能であれば英語、韓国語、中国語のフォント切り替えは実現しています。自動翻訳AIと連携させることで日本語のコンテンツを英語の感情字幕で表示するといったことも可能になります。
このほか多言語対応にも挑戦しており、チャットベースの機能であれば英語、韓国語、中国語のフォント切り替えは実現しています。自動翻訳AIと連携させることで日本語のコンテンツを英語の感情字幕で表示するといったことも可能になります。
感情表現字幕は話者の近くに表示できるため、複数人が登場する生コマなどでの活用が期待できる
動画広告との接触機会が増大する中、さまざまなシーンでの活用が可能
聴覚障がいの方は日本国内で推定550万人、また75歳以上の高齢者1800万人のうち半数は聞こえにくさを感じているといわれています。そうした方々により分かりやすく情報を伝えるためのツールとして、感情表現字幕システムは有効だと考えています。
また屋外や電車内といった音声の出せない場所で動画広告が流れることが日常的となるなど、広告メディアのあらゆるシーンで映像が活用される傾向にありますので、字幕の有無によって取得できる情報量に大きな差が生まれます。例えば「ヤバイ」という言葉は文脈やシチュエーションによってポジティブにもネガティブにも変わるため、意図や感情をフォントで表現することで受け手の直感的な理解の助けとなるのではないでしょうか。
また屋外や電車内といった音声の出せない場所で動画広告が流れることが日常的となるなど、広告メディアのあらゆるシーンで映像が活用される傾向にありますので、字幕の有無によって取得できる情報量に大きな差が生まれます。例えば「ヤバイ」という言葉は文脈やシチュエーションによってポジティブにもネガティブにも変わるため、意図や感情をフォントで表現することで受け手の直感的な理解の助けとなるのではないでしょうか。
《お問い合わせ》
大日本印刷 株式会社 http://www.dnp.co.jp/shueitai/fontsystem.html
ABセンター コミュニケーション開発本部 秀英体開発部
担当：髙橋 怜子（たかはし さとこ）
大日本印刷 株式会社 http://www.dnp.co.jp/shueitai/fontsystem.html
ABセンター コミュニケーション開発本部 秀英体開発部
担当：髙橋 怜子（たかはし さとこ）
その月のCM業界の動きをデータとともに紹介する専門誌です。