Adobe Japan Education Vanguards (高等教育機関教員向けコミュニティ）

「キュビズムもある意味ではその走りだと思います。僕が一番直接的に『これを自動化してみたい』と思ったのが、デイビッド・ホックニーの『フォトコラージュ』です。例えばゲームをしている家族の写真で構成された作品があります。情報工学的なセンスでは、全体が写るような写真を時間の経過に合わせて何枚も撮れば、それが一番すべてを包含するデータだと、ついつい思いがちなんです。でもこんなふうに、時間や空間を少し歪ませながら圧縮すると、そのゲームの中でみんなの表情がどんどん変わっていくことや、みんなの視線がゲームのボードに集中していること、でも時々食べ物に目が行くこと、といった様子が見えてきます。つまり、参加者の視点が見えてくる。その場の『雰囲気』を伝えるのは、むしろこういう手法のほうじゃないかと。このような表現手法を、実世界ユビキタス空間でも使えるようになったらいいなと、漠然と思ったんです」

フォトコラージュの概念図。同じ地点で撮影した多数の写真を、ずらしたり重ねたりしながら一枚の平面に集約することで、注目対象は何だったのか、空間的・時間的な変化はあったのかなど、体験した人の視点が見えてくる

では、マルチメディア技術を駆使して、個人の見たり聞いたりしたものをすべて記録し、それを追体験できるようにしたり、重要な部分にインデックスを自動的に付けたりする技術ができればそれで、私たちが見ている「世界」は全部記録できるのでしょうか。……つい、そう先走ってしまいそうですが、角先生は、それだけでは大切なものが欠けていると考えているそうです。

「言葉」で振り返るからこそ、生まれるもの

「それは、『体験』というものの本質です。ただその場にいれば体験したことになるのではなく、感じたことを心の中で言葉で表現してみて初めて、体験となりうるのではないでしょうか。『言葉だけでは表現できないからマルチメディアでデータを採りたい』と言っている一方で、言葉に立ち返りたいとも考えているんです。もちろん、リッチなコンテンツを採るのも大切なことです。ただ、そういう技術は必要条件だけれど十分条件ではないと思っているんです」

角先生の目標は、この「体験」を記録してみんなで共有しあう、つまり、体験そのものをより豊かにすること。言い換えれば、体験そのものの創造を支援するような、新しい情報技術を作り出すことです。この技術を先生は、「体験メディア」と呼んでいます。その核となるのが、ユーザーからの言葉を生み出すことを支援するシステムなのです。「漫画日記」を自動生成する「コミックダイアリ」も、豊かな言葉を生み出す試みの一つでした。

「ATRに勤務していたとき、あるイラストレーションのスタッフと出会ったことが直接のきっかけです。彼女は大学生のとき、学校に提出するレポートを漫画で作成していた強者だった（笑）。その中に僕も知っている博物館を見学したときのレポートがあって、それを見せてもらって、単純に面白かったんですね。その人の経験を、その人の主観に合わせて描いたものを見ると、『そうそう、この博物館のここがおもしろいよね』などと会話が盛り上がって、言葉がどんどんあふれてくるなと。そこで作成したのが『コミックダイアリ』です。

具体的には、PDAなどを使った博物館や学会などの展示見学ガイドシステムを使って、漫画を自動生成しました。システムに記録された足跡履歴に基づき、例えば活発に動き回って様々な展示物に足跡を残した人は『楽しんで見学したんだな』などという解釈を加えて、『楽しかったです』という日記のストーリーに落とし込むわけです。ユーザーの行動をいくつかのストーリーのパターンのどれかに当てはめてしまう、つまり体験をある種ねじ曲げる面があるので、個人の体験を正確に記録しているわけではありません。でも参加者からは『そうそう』『そんなことないよ』などと様々な反応も出て、それなりに盛り上がって楽しめた。『言葉があふれ出てくる』という意味では、『体験メディア』開発の良いスタートポイントになったと思います」