タカタ財団・2015年度研究助成の対象テーマ
「交通シーンのエピソード記憶に基づく安全予測モデルの構築」
この研究の概要について、間所洋和氏に語っていただきました。

クルマの外と内を同時にセンシングし、個々のエピソード記憶に即した安全予測を目指す

―先ず、これまで主にどのような研究を行われてきたのかについてお教えください。

　私は、秋田大学の学生のときから主にロボットの視覚情報処理についての研究をしてきました。その内容を端的に説明しますと、「将来的に人間環境の中に入ってくるであろうロボットが、視覚として取り付けられたカメラで撮った画像から物体や情景、位置の認識ができるようにするための研究」ということになります。

―そのロボットの視覚情報処理の研究が、何故今回のような交通問題の研究に繋がることになったのでしょうか？
　
　現在のクルマは、通常のロボット以上に多数のコンピューターやセンサーを搭載しています。ある意味、人が乗るロボットといっても過言ではありません。つまり、私の研究領域との関連性が高まってており、必然的に研究対象として浮上することになったわけです。

―今回の研究「交通シーンのエピソード記憶に基づく安全予測モデルの構築」では、これまでにないセンシング方法を用いられているようですね。

　そうです。これまでのクルマにおけるセンシングは、自動ブレーキや自動運転などに活用するための車体の外側に対するものがほとんどでした。しかし、私たち（共同研究者：寺田裕樹、佐藤和人、下井信浩）は、外側に加えて内側のセンシング、すなわちクルマを操っているドライバーに対するセンシングも同時に行い、そこから安全予測モデルを構築しようと考えているのです。

―かつて内側の人間に対するセンシングに関する研究というのはなかったのでしょうか？

　いいえ、「ドライバーのセンシングを行わないと本当の交通安全には結びつかない」という考えの元、既にいくつかの研究は行われています。それらは「視線方向からの脇見検出」「まぶたの開閉度合いからの眠気検出」「表情筋の活動から運転時の快・不快の定量化に関する研究」といった内容で、統計処理などを行い、万人に共通する危険予測・安全予測のモデリングを試みるものとなっています。ただ、いずれも実用化されるまでには至っていません。なぜなら、そうした人間に起こる生理現象が、クルマの外側の出来事や状況と切り離されて観察・分析されているため、予測があまり現実に即していないことになる可能性が大きいからです。

　また、運転は個々人によって微妙に異なるため、万人共通の予測モデルが利用しにくいという実情も影響してくるからです。ですから、私たちは、それら問題点を払拭する方向で研究を行っています。すなわち、外の出来事や状況と、それに応じて変わるドライバーの表情を両方センシングし、そこから機械学習法によって個々人の運転上での「エピソード記憶」を明らかにして行き、それに基づいたより正確な危険予測並びに安全予測モデルを構築しようとしているのです。

　ちなみに、機械学習法の採用によって得られたデータから機械（ロボット）が自律的に学習してくれるという利点が生まれるわけですが、機械はデータの記憶は得意ではあっても人間のように意味的に記憶するというのは得意ではありません。ですから私たちは、特に「エピソード記憶」＝コンテクスト（物事の前後関係）と表情の関係性を明らかにすることに注力して研究を進めているのです。

―その「エピソード記憶」を、分かりやすく解説してください。

　一般的に「エピソード記憶」は、個々人が体験した出来事に関する感情を含んだ記憶という風に解釈されています。この研究では、これまでの運転体験から、どういうシーンでどういう感情を含んだ記憶が呼び覚まされるのかということを指しています。例えば、滑りやすい固まった雪道でドライバーの表情が強張っていたとしたら、それは「この人は、かつて同様の雪道でスリップした経験があり、その時の記憶から大きな恐怖を感じ焦っている」といった「エピソード記憶」として認識されることになります。

―つまり、個々人によって違う外側での出来事や状況への反応を、機械が表情などから「エピソード記憶」として読み取り、それによって個々人ごとの安全予測モデルが構築されていくということになるわけですね。

　はい、概ねそういうことになります。

―なるほど。ということは、そうした研究の成果は、将来的に、個々人ごとの安全装置がクルマに装着されることに繋がっていったりすると考えていいのでしょうか？

　究極的にはそうなるべきで、例えばドライバーごとに異なる警告を発するシステムの搭載などがあり得ると思います。ただし、音声警告は煩わしく、かつ聞き取りにくいこともあるため、もし実現するとすれば、フロントガラスのAR＝拡張現実のディスプレイに警告サインが表示されるようなシステムが良いのではないかと考えています。

　更に言うなら、安全のためのシステムのみならず、クルマを運転する愉しみを拡げるためのシステムの搭載も想定できます。例えば運転時の良い表情をしている時の「エピソード記憶」を利用して、思い出アルバムもしくは映像のようなものが自動で作れるようになれば、新しいカーライフの愉しみ方が生まれるのではないかと考えるわけです。

　まあ、現段階では個々人ごとの安全予測モデルを構築するのに精一杯で、未だそういったところまで充分に手が伸ばせてはいないのが現実なのですが。

DSと実車による基礎データ取得とエピソード記憶生成のための機械学習法の枠組み作り

―では、今回の研究の解説をお願いします。
研究実施計画書を拝見すると、
①「表情空間マップとコンテクストマップの構築」
②「分類粒度の評価と並列動作シミュレーション」
③「ドライビングシミュレーターによる基礎実験」
④「実車によるデータ収集」
といった４つの研究に取り組まれているわけですが、それぞれ、具体的にどのようなことを行われたのでしょうか？

大きく分けると、①と②は機械学習法に関する研究で、③と④はドライビングシミュレーターと実車を使ったセンシングに関する研究ということになります。

①では、機械学習法を使ってドライバーの表情とコンテクスト（物事の前後関係）を記述し、様々な事象の関係性をマップとして地図のように表示するということを行っています。つまり、人間の表情を機械がどう捉えるのか、それを可視化しながら記述方法の精度を高めているわけです。

②は、①における記述をどのような粒度＝区切りで捉え、同じ特徴を持ったもの同士をどう分けるのかという指標を決めるために行っています。心理学では喜び、悲しみ、怒り、恐怖、嫌悪、驚きという６つの表情が基本表情とされているわけですが、本当にそれだけの分類でいいのかを検討しているのです。例えば、「苦笑い」という曖昧な表情も細かく分類の中に組み込むかどうかといったことをシミュレーションしながら決めています。

③では、ドライビングシミュレーターを操作する人の表情データを、ドライブレコーダーを用いて収集するということを行っています。表情空間マップを作成する前に表情の表出度合いを、表情空間チャートを用いて定量化するわけですが、そのためのデータ収集ということになります。
　
④では、実車に取り付けた２カメラ式のドライブレコーダーを用いて運転シーンとドライバーのデータを蓄積し、分析とモデリングを進めています。そして、機械学習法に入力するための正規化方法を確立するための作業も行っています。正規化とは、様々な範囲のデータを０から１の範囲に変換することです。コンピューターでデータを処理するたには離散化が必要で、機械学習法に入力するためには特徴の表現範囲を揃えるために正規化が必要になるのです。

総合的には、基礎データの取得とエピソード記憶を生成するための機械学習法の基本的な枠組みの構築を行っているということができます。

―まだ研究途上かと思いますが、何か具体的に成果は出ているのでしょうか？

　ドライビングシミュレーターによる実験では、注意散漫状態における運転特性の違いについて定量化することができました。シミュレーション環境のために表情に明確な違いは現れていませんでしたが、視線や顔向きには特徴差が現れていました。現在は振幅のみの結果なので、今後はフーリエ変換を使って時系列特徴に対する周波数解析も進めたいと考えています。

　実車による評価実験に関しては、私たちがいる雪国秋田の特性を活かして雪道でのデータセットを構築しました。データセットの中にはスリップによるヒヤリハットが含まれていました。また、高齢者のドライバーが軽トラックでパチンコ店から飛び出してきて衝突寸前となった映像も得られており、それは表情と併せて特異的なエピソードとなっています。

　なお、機械学習法を組み合わせた教師なし学習によるカテゴリマップの生成方法、データの前処理、特徴抽出に関しては手法として確立しつつあります。残された期間内でデータの分析とモデリングをさらに進める予定です。

―１年間の研究が終わった後、この研究をさらに進展させていくご予定はありますか？

　今回の研究成果を元に、研究をより深化させていきます。具体的には、ドライビングシミュレーターと実車を用いた評価実験をさらに進めて両者の差異を縮めるとともに、高齢者のドライバーのデータも蓄積して、幅広い年代のデータセットの構築やモデリングを進めたいと考えています。また、人間とロボットすなわちクルマとのヒューマン・マシーン・インターフェイスの研究も行っていく予定です。

―それら研究成果は、いずれ、先ほど伺った理想のARなどの実現に繋がっていくと思うのですが、現段階で研究成果を社会に還元するための動きはされているのでしょうか？

　はい、それはそれで進めています。例えば今回の共同研究者の一人が高速道路や自動車専用道路を管理運営する会社との共同研究に取り組むことになっています。おそらくその研究は、高速道路における外側のシーンとドライバーの表情のセンシングを行い、そこから眠気や倦怠感などの危険性を読み取り、それに応じた安全対策を講じるといったような内容になるはずです。

　高速道路は一般道路と比べると外側のシーンの情報がシンプルですから、機械学習がしやすいという側面があり、研究の実用化も比較的短期間で可能になるのではないかと思われます。どうか、今後の成り行きに期待していてください。

2015年度タカタ財団助成研究

「交通シーンのエピソード記憶に基づく安全予測モデルの構築」概要

秋田県立大学 システム科学技術学部 准教授
間所洋和

本研究では、長期記憶と位相写像を扱う機械学習アルゴリズムを用いて、エピソード記憶を工学的に実現し、安全予測モデルの構築を目的とする。
運転者は交通環境に応じて安全知識を切り替え、運転している。例えば、公園や学校の付近では歩行者の飛び出しや自転車などの行動に注意を払っている。
高速道路やバイパスでは、高速に移動する車両や変化の少ない景観に対して、眠気に襲われないように注意しながら運転している。このように、安全を確保するための予測モデルは、交通環境や交通シーンに応じて柔軟に切り替える必要がある。
人間は過去の経験や体験などの経験知に加えて、周囲からの集合知を得ることによって安全知識を高め、危険予測や状況判断を行っている。しかしながら、現在の工学的手法による予測モデルでは、センシング情報から得られる履歴データから、確率的に事象を予測するのが限界である。一方、脳科学分野では行動予測や意図理解に関する研究が盛んに行われており、最新の知見によると、人間は未来の出来事を予測するために記憶を蓄積し、整理・編集していることが示されている。特に、未来予測には、対象シーンにおける文脈として位置付けられるコンテクストと対象者の感情が、出来事として結び付いたエピソード記憶の寄与率が高いと言われている。本研究では、交通シーンにおけるエピソード記憶を工学的にモデル化し、安全予測に与える影響を明らかにする。

＜前の画面へ戻る