AIの「空気を読む」能力を測る新評価基盤「NARU Bench」とは？日本語動画AIの限界と可能性を解説

なぜ「NARU Bench」が必要なのか

日本国内の動画コンテンツ市場は、2025年には約6,300億円に達すると推計されています。この種のコンテンツは膨大であるだけでなく、極めてハイコンテクストな特性を持っています。発話として明示的に語られる内容以上に、その場の空気感、間接的な表現、人間関係の力学を通じて多くの意味が伝えられるため、AIシステムがこうしたコンテンツを真に理解しているかを評価するには、単純な物体認識や短いクリップ単位のQ&Aをはるかに超えたアプローチが求められます。

既存の動画ベンチマークには、以下の共通する課題がありました。

• 英語への偏重: 大半が英語コンテンツを用いており、非英語圏のメディアや文化的な推論能力の検証が不十分でした。

• 短尺・検索への偏り: 長尺動画のベンチマークであっても、明示的な情報の検索や想起に限定され、時間を通じた物語の一貫した理解を問うものではありませんでした。

• ローコンテクストな前提: 重要な情報が平易に述べられているメディアに依存しているため、暗黙の社会的手がかりや、文化に根差した意味の理解を測ることができませんでした。

NARU Benchは、これらの課題、特に長尺の物語追跡とハイコンテクストな文化的推論という、最も難しい領域を実際の日本語動画を用いて評価します。

「NARU Bench」の概要

本ベンチマークは、155本の日本語YouTube動画から作成された1,481問の多肢選択問題で構成されています。対象コンテンツはインタビュー、対談、トーク形式の番組など、30分から240分にわたる約147時間の長尺動画です。すべての質問と選択肢は日本語で記述されており、正答するには実際に動画を視聴する必要があります。書き起こしテキストや言語的な事前知識だけでは答えられないように設計されています。

ベンチマークは、以下の2つのトラックと9つのタスクタイプに分かれています。

• 物語理解力（745問）

  

• 文化的理解力（736問）

  

データセットの構築手法については、近く公開予定の論文で詳細が述べられる予定です。約10万本の動画プールから日本語コンテンツを選別し、長尺動画をフィルタリング。その後、レビュアーが映像の完全性、物語の連続性、社会的相互作用、意味的多様性の観点から最終的なセットを精選しました。人手による検証も行われ、日本語ネイティブスピーカーが質問の正確性、関連性、難易度、そして動画理解の必要性を確認しています。

評価結果：既存モデルが直面する壁

1,481問のベンチマーク全体で複数のモデルが評価されました。

結果として、選択肢が4つの場合、ランダム回答の正答率が25%であるのに対し、有力なオープンウェイトモデルの多くはその水準をかろうじて上回る程度にとどまっています。テストされた中で最も強力な汎用オープンウェイトモデルでも33.9%という結果でした。InfiniMindのDeepFrame 8Bは32.1%を記録し、より大規模なQwen3-Omni 30Bに匹敵する性能を示しました。しかし、注目すべきは、InfiniMindのDeepFrame Platformが、動画全体にわたる検索とエージェント的推論を組み合わせることで、テストした全システム中で最高の55.3%を達成した点です。これは最良の単体モデルの約1.6倍にあたります。それでもなお、信頼できる人間レベルの理解には大きな隔たりが残っており、NARU Benchが物語理解と文化的推論におけるAIの限界を浮き彫りにしていることが示されています。

今すぐ試す

NARU Benchはlmms-evalと直接統合されており、以下の手順で簡単に実行できます。

データセットはHugging Faceで公開されています。

• データセット: huggingface.co/datasets/infinimind/naru_benchmark

• コード: github.com/infinimind-inc/naru_benchmark

データセット（質問、選択肢、メタデータ）はCC BY-NC-SA 4.0のもとで、評価コードはApache-2.0のもとで公開されています。

共同開発と今後の展望

NARU BenchはInfiniMindと東京大学が共同で開発しました。これは、日本のAI基盤モデル開発を強化するための政府主導の取り組みであるGENIAC（Generative AI Accelerator Challenge）の一環として構築されたものです。NARU Benchは、英語中心のベンチマークでは捉えきれない、日本語メディアの理解に向けた評価基盤を提供します。

今後の展望としては、YouTubeにとどまらず日本のテレビや構造化された放送メディアへのソースデータ拡充、自動化パイプラインと人手による検証の継続的な改善、そして構築手法や包括的な評価をまとめた論文の公開が予定されています。

InfiniMindは、大規模映像基盤モデルやエンタープライズ向けAI検索プラットフォームの開発・提供を手がける企業です。Googleで動画レコメンデーションの研究を率いた経験を持つ創業メンバーを中心に、最先端の映像基盤モデル（LVM）の研究開発を進めています。同社は経済産業省のGENIACプロジェクトやGoogle、NVIDIA等の大手プラットフォームスタートアッププログラムに採択され、AWS GAIA 2025（Generative AI Accelerator）にも選出されています。

生成AI学習に取り残されないために…
ChatGPTなどの生成AIを使いこなして、仕事・収入・時間の安定につながるスキルを身につけませんか？

AI Workstyle LabのAIニュースをチェックしているあなたは、すでに一歩リードしている側です。あとは、 実務で使える生成AIスキルを身につければ、「知っている」から「成果を出せる」状態へ一気に飛べます。

PR｜生成AIスクール

🧠 実践型 生成AIスクール「スタートAI」

講師：栗須俊勝（AI総研）
30社以上にAI研修・業務効率化支援を提供。“大阪の生成AIハカセ”として企業DXを牽引しています。

• 日々の業務を30〜70％時短する、実務直結の生成AI活用法を体系的に学べる
• 副業・本業どちらにも活かせる、AI時代の「稼ぐためのスキルセット」を習得
• 文章・画像・資料作成など、仕事も趣味もラクになる汎用的なAIスキルが身につく

ニュースを読むだけで終わらせず、
「明日から成果が変わるAIスキル」を一緒に身につけましょう。

無料セミナーに今すぐ参加する 編集部レビューを見る