AIで文章から映像を検索

植木一也

情報学部情報学科
准教授 /博士（工学）
知能メディア処理研究室

機械学習やディープラーニングを用い、画像や映像をはじめとしたマルチメディア認識技術を研究する植木一也准教授。文章から映像を検索するAIや、映像から動作を認識してその区間を検出するAI などで、世界的な成果を挙げている。

文章に合った映像を検索するAIを開発
世界第1位の精度を達成

2023年12月、植木一也准教授がソフトバンク株式会社との共同研究で開発した映像解析技術が、世界的な映像解析コンテスト「TRECVID 2023」において、映像検索部門（AVS：Ad-hoc Video Search）と映像説明文生成部門（VTT：Video To Text）の2部門で世界最高水準の精度を達成したことが発表された。映像検索部門では、2022年に続き2年連続の世界第1 位となった。「TRECVID」は、アメリカの国立標準技術研究所（NIST）が主催する国際競争型の映像検索・評価ベンチマークで、世界中の企業や大学が参加し、映像解析に関するさまざまな技術や性能を競い合う。

植木准教授らが挑んだ映像検索部門のタスクは、文章の内容に合致した映像を検索するというものだ。検索対象のビデオクリップは140万以上。「インターネット上の映像共有サイトなどには、大量の映像がアップされています。キーワードを入力してコンテンツを検索することはできますが、それとは比べものにならないほど多くの情報を含んだ『文章』と『映像』それぞれの概念を正確に関連させることは非常に難しく、長らく課題となっています」と言う。映像のシーンから場面や状況、人物や物体といった要素を抽出し、命令文（クエリ文）に合致する映像をAIで解析・検索することに成功した。例えば“A person is biking through a pathin a forest（人が森の中の小道を自転車で走っている）” といった複雑なクエリ文を入力しても、大量の映像からそれに適した映像を検索できる。2022年の「TRECVID」では植木准教授らは四つのシステムを提出し、1 位から4位までを独占した。

複雑なクエリ文を入力した場合でも、140万を超える大規模映像から適した映像を検索可能

一方、映像説明文生成部門では、映像から説明文を自動生成する技術が求められる。「昨年度の『TRECVID』で作成したシステムでは、スキー場にパラシュートで着地する映像を入力すると、自動で的確な説明文を生成することができます」。その結果、複数の評価指標で世界1位の精度を達成し、世界屈指の技術力を実証した。

映像から人の行動を検出
違和感や異常の検知システムを目指す

ソフトバンクとの別の共同研究では、映像内の行動を解析するコンテストである「OpenFAD」に出場した。コンテストを通じ、映像に映る人物の詳細の行動を分類し、その行動時刻を検出するという難題にも挑戦した。「例えば『食べる』といった大まかな行動だけでなく『リンゴを食べる』『お菓子を食べる』というように詳細な行動も識別できるよう新しい技術を開発しました」。その結果、映像からさまざまな日常動作を分類し、その開始・終了時刻を特定することに成功した。人物の日常的な行動の映像から、映像内の動作の分類と継続時間の検出性能を競うTAD部門において、見事世界1 位を獲得した。さらに植木准教授は産学連携で、監視カメラなどの映像から人物の異常な行動や状況を自動検知する研究にも着手している。「人間が感じる、言葉では説明できない違和感や心情をAIで解析する方法を開発したい。将来は、違和感や異常を早期に検知するシステムの開発につなげたいと考えています」

世界最先端の研究に触れながら
マルチメディア認識技術を学ぶ

植木准教授の研究室では、学生が画像・映像をはじめとしたマルチメディア認識技術の開発に取り組んでいる。古文書などに書かれた「くずし字」を高精度に認識する手法の開発も、学生の成果の一つだ。ディープラーニングでひらがなや漢字、カタカナなど多様な文字を認識させ、歴史的文献の翻刻と電子化を支援するツールの作成に取り組んだ。また画像認識技術を活用し、文字アートやロゴマークを自動作成するAIを研究した学生もいる。

企業との共同研究に学生が参加することもある。歯科技工所と共同開発したのが、歯の色を自動判定するAIだ。歯科技工士が、治療した歯に被せるセラミッククラウン（被せもの）を製作する際、実際の歯と同じ色調を再現するには熟練の技術が必要だ。植木准教授の下で学生も携わりながら、それを補助するシステムを開発した。

「画像・動画共有サイトで近年人気を集めている『リミナルスペース（廃墟やショッピングモールの閉鎖時間帯など、人が滞在しない場所や通常アクセスできない場所の映像や写真）』に関する研究など、学生ならではの自由な発想を生かすことで、既存にない研究成果が生まれています」と言う。

研究室では、教員と学生が議論を交わしながら、楽しく研究を深める環境があり、それに加えて、学会など外部へ発表する機会も豊富にある。「そうした経験が研究力の向上だけでなく、将来の就職にもつながっています」と植木准教授。世界最先端の研究に触れる環境で学び、学生は大きく成長していく。