本プロジェクトでは、膨大な画像、映像、音声、加速度などのマルチメディアデータを統合的に理解・要約し、その内容を人間が瞬時に把握可能な基盤技術を構築します。インターネット上の膨大なマルチメディアデータの人手での内容理解・記述には限界があります。このようなデータのコンテンツを機械的に要約できれば、全ての データを精査せずとも人が瞬時に把握可能となるだけでなく、既存のテキストによる検索基盤と容易に統合でき、非言語データの自然言語による検索システムが構築可能です。