小堀研究室 研究テーマ

<このページは随時 更新しています>

小堀研究室 研究課題 資料 2009年3月16日現在改訂中

このページはかなり内容が古くなってい たので,全面的に改訂をしているところです..
研究室配属関係の情報としては,この他に昨年度の研究室公開のページを参考にしてくださ い.電子メールによる質問も歓迎します.

1.はじめに
2.研究の基本方針
 2.1 研究の範囲
 2.2 研究の方法
 2.3 研究用の機器・装置
3.具体的なテーマ
 3.1 床反力作用点の測定による平衡機能の解析とその応用
 3.2 ボタン押し課題における反応特性の解析とその応用
 3.3 上肢トラッキング動作における運動学習の解析とその応用
 3.4 迷路探索における記憶機能の解析とその応用
 3.5 カードゲームにおける問題解決と学習過程の解析
 3.6 楽器演奏における認知特性の解析
4.補足事項
 4.1 体重心関係
 4.2 ボタン押し関係
 4.3 手動作関係
 4.4 迷路関係
 4.5 カード関係
 4.6 演奏関係


1.はじめに

 この資料は,現在当研究室で取り組んでいる,あるいは,ここ2〜3年間程度の間に取り組ん でみたいテーマについてまとめたものです.2, 3年先のことで すから,当然今までの研究をある程度引き継いだものになりますが,いくつか新しい視点も取り入れています.卒業研究や大学院の学生,共同研究者が読むこと 想定して書いています.
 今までの結果を検討するとともに,関連する文献・資料を読みながら書き進めましたが,読めば読むほどいろいろな発見が出てくるので,ここ に書いてあるこ とはあくまでも現時点での案だということを強調しておきます.また,検討が不充分なところ,論理的に不完全,不連続なところが多々あると思いますが,だか らこそそれらが研究の対象となるのだといえるでしょう.文献を読んだだけで完結したものが書けるなら,それらはもはや研究テーマにはならないからです.
 もし以下のテーマについて興味を持った場合は,途中にキーワードも示しておきましたので,それを参考に関連する文献・資料を調べ,さらに 深く検討して下 さい.そして,あくまでもテーマは自分のものにして下さい.

2.研究の基本方針

2.1
研究の範囲
 長期的には,人間のさまざまな生体機能,つまり生理的な反応から知的な機能までのメカニズムを,実験やシミュレーションなどにより総合的 に解析すること を課題としている.短期的には,その中でも人間の基本動作と視覚系の関係,問題解決や記憶・学習といった知的機能の解析を当面の課題としている.
 研究テーマや共同研究者によっては基礎的分野の場合もあれば具体的応用に及ぶ場合もある.データを解析するシステムを作成する場合やモデ ル化を試みる場 合では,具体的応用を念頭に置き,一方,実用システムを開発する場合では,基礎となる生体の特性や認知的な視点を忘れないようにする.ただし,極端に理論 的な研究や実用面に偏った研究には立ち入らないつもりである.
 学問分野としては,生体工学,医用工学,人間工学,認知科学,人工知能といったものに属するが,その範疇には特にこだわらない.

2.2
研究の方法
 基礎的な研究においては,まず,仮説をもとに「何を明らかにしたいのか」という目的が存在するはずである.そして,その目的を達成するた めの具体的な方 法が検討されなければならない.
 一般に,人間のさまざまな機能に対しては,被験者実験による実験データ(あるいは臨床での検査データ)の解析とシミュレーションのいずれ かを用いるか, あるいは両者を相補的に利用して研究を進める.データの解析とシミュレーションはいくつかの点でかなり密接に結びついている.特に「合成による解析 (analysis by synthesis)」として知られているように,解析結果からモデルを作成し,シ ミュレーションを行うことは,仮説の正当性を検証するという意味で重要 である.
 一方,データの解析やシミュレーションのシステムを実用的なものへと発展させていく場合には,問題点を明確にしながら,その解決に取り組 んでいく.
 しかしながら,研究の題材・対象となるものは,共同研究機関を含めても,現有の設備と予算により制約を受けているが実状である.現有の設 備で観測可能な ものは,眼球の視線データ,瞳孔径データ,体重心の床反力データ,身体各部の位置データ,マウスやジョイスティックなどのポインティングデバイスの制御 データ,ディスプレイに表示された迷路やカードゲームに対する操作データなどである.また,必要に応じて音声や動画のデータも記録し,利用することも可能 である.なお,共同研究などにより,臨床データを用いる場合もある.
 データ計測に関しては,既製の測定機器(あるいは周辺機器)+インターフェース+コンピュータという形態が基本となる.それらの測定のシ ステムも,解析 やシミュレーションなどのシステムも,基本的にはソフトウェア作成により構築することになる.しかし,必要に応じてハードウェアに手を加えることもあり, システム構築においてはハードウェアに対する知識は不可欠である.

2.3
研究用の機器・装置

2.3.1
概要
 ここでは,本研究室の特に重要な機器として,眼球の視線データや瞳孔径データを測定する眼球運動測定システム(アイカメラ)と身体各部の 位置データなど を測定するビデオ運動解析システムについて紹介する.
 ・眼球運動測定システム EMR8B-HM/NL(ナックイメージテクノロジー)
 ・ビデオ運動解析システム Dynas3D/G(新大阪商会)
 なお,これらの機器は文部科学省ハイテクリサーチセンターの研究プロジェクト「言語的情報および非言語的情報を統合したマルチモーダルコ ミュニケーショ ンにもとづくエージェントシステムの研究開発」(平成13年〜平成17年)の研究経費で購入したものである.

2.3.2
眼球運動測定システム EMR8B-HM/NL
 以下の3通りの測定が可能である.
 (1) 頭部の視野カメラを使用する場合(EMR8B本体を使用)
 被験者の頭部に帽子型のユニットを装着し,眼球運動を測定する.頭部ユニットに取り付けられたカメラが視野カメラとなり,その視野カメラ 映像に対する視 線データが得られる.被験者の視野の範囲が大きく変化する場合(被験者が頭部を大きく動かす場合や被験者自身が移動する場合など)に有効な測定方法であ る.

アイカメラの写真

 (2) 固定され た視野カメラを使用する場合(EMR8B-HMを使用)
 上記と同様に被験者の頭部にユニットを装着し,眼球運動を測定する.視野カメラは被験者の身体とは独立し固定されているが,頭部の動きは 補正されるの で,頭部が多少動いても,固定された視野カメラ映像に対する視線データが得られる.被験者の視野がある程度限定されている場合(人間同士が対面して話して いる場合など)に有効な測定方法である.
 (3) 刺激映像を使用する場合(EMR8B-NLを 使用)
 被験者の頭部にはユニットを装着しないが,あご台で頭部を固定し,眼球運動を測定する.被験者の正面には刺激提示用のディスプレイがあ り,コンピュータ もしくはビデオソースからの映像が示され,この刺激映像に対する視線データが得られる.被験者の視野の範囲が刺激提示用のディスプレイ映像に限定されてい る場合(刺激に対する反応や行動を測定する場合など)に有効な測定方法である.
 主な特徴としては,以下のことがあげられる.
 ・視野カメラ映像もしくは刺激映像に視線データのマークがインポーズされた状態を観測,録画できる.
 ・映像と測定データはビデオデッキに記録することができ,そのことによりオフライン(測定用のコンピュータなし)でも測定可能である.
 ・刺激提示用のコンピュータからの同期信号で測定のカウンタが制御でき,刺激提示側の測定との同期を取ることができる.
 ・視線データ以外に,瞳孔径,輻輳角が測定でき,専用の解析ソフトウェアにより,停留点,移動速度などが解析できる.

アイカメラのシステム

2.3.3 ビデオ運動解析システム Dynas3D/G
 複数台(2台〜4台)のカメラで撮影され,一定の時間間隔で連続的に取り込まれた画像から,追跡したい計測ポイントを指定して対象物の運 動を3次元的に 解析する.画像上の計測ポイントを指定する方法には,実験者が手動で計測ポイントを指定する手動計測と,被験者に取り付けられたマーカーの位置を自動認識 させる自動計測がある.
 主な特徴としては,以下のことがあげられる.
 ・測定・解析できる項目は,座標位置,速度,加速度,移動距離,進行方向,変位量,2点間距離,角度,角度変位,角速度,角加速度であ る.
 ・2台のカメラまでなら,ビデオデッキに録画することなく,直接コンピュータに画像を取り込むことができる.3台以上の場合は,いったん ビデオデッキに 録画する必要がある.
 ・音声などのアナログデータを同期させて同時にコンピュータに取り込むこともできる.

ビデオ運動解析システム

2.3.4 装置の組み合わせによる測定
 眼球運動測定装置と3次元運動解析システムは,それぞれ単体でも様々な測定・解析が行えるが,これら2つを組み合わせることにより,以下 のような測定・ 解析に利用することができる.
 (1) ディスプレイによる刺激提示に対する人間の反応の測定と解析
 ビデオソースからの映像やコンピュータにより生成制御された映像をディスプレイに表示し,その刺激に対する反応として視線や瞳孔径などの データや頭部や 上肢の運動を測定,解析する.

組み合わせ例1

 (2) 人間と人 間のコミュニケーションにおける人間の反応の測定と解析
 人間と人間がコミュニケーションをする状況における人間の反応として,視線や瞳孔径などのデータや頭部や上肢の運動を測定,解析する.

組み合わせ例2

3.具体的なテーマ

3.1
錯視図形に対する認知特性の解析 ※執筆途中です.

3.1.1 概要
 本研究では,錯視図形に対する認知特性を調べる実験を行い,錯視に影響を及ぼす要因について検討するとともに,眼球運動との関係を解析する.ここでは,錯視に影響を及ぼす要因として,錯視図形の提示時間の違いについて着目している.つまり,提示時間 が短くても錯視は生じるのか,また,その錯視量は提示時間の長さによって異なるのかどうか,について検討する.また,視線データを測定する装置(アイカ メラ)を用いて,錯視と眼球運動との関係についても解析していく.

3.1.2 これまでの研究
 2008 年度より本研究を開始し,実験システムを作成し,被験者実験を行い,データを解析した.2008年度は,まずミュラー・リヤー錯視を対象として,錯視図形 の判定実験と操作実験を行った.判定実験では錯視図形を短時間もしくは長時間提示して,標準図形と比較図形の長さに違いがあるか判定させ,錯視量を測定し た.操作実験では錯視図形を提示し,標準図形と比較図形が同じ長さに見えるように調整させ,錯視量を測定するともに,操作の際の眼球運動も測定した.

3.1.3 研究計画

3.1.4 今後の展開

3.1.5 派生するサブテーマ

3.2 床反力作用点の測定による平衡機能の解析とその応用

3.2.2
概要
 本研究は,床反力作用点を測定することにより,平衡機能を解析することを目的としている.また,平衡機能を検査・評価するシステムへの応 用も目指す.床 反力計(フォースプレート)は,その上に人間が立てば,その人間の重心がどこにかかっているかが測定できる装置である.この装置を用いて,人間の重心動揺 や体重移動動作(随意的に体重を移動させたときの動き)を測定し,平衡機能や姿勢制御について研究を行う.この研究は,臨床での検査への応用を考えてお り,国立大阪病院整形外科と神戸大学医学部保健学科との共同研究も検討している.

重心測定システム1

3.2.2 これまでの研究
(1)
実験システムの作成
 床反力計を用い,パーソナル・コンピュータを中心として床反力作用点の座標データを測定するシステムを構成した.この測定システムによ り,床反力計上に 直立した被験者の重心動揺を測定できるようにするとともに,被験者にディスプレイ画面を見せることにより,自己の床反力作用点を目標点に一致させる追従動 作を行わせ,測定することができるようにした.
(2)
重心動揺の測定と解析
 重心動揺に関して,開眼両足,閉眼両足,開眼片足,閉眼片足という4つの条件で被験者実験を行い,データを解析した.その過程において動 揺距離と動揺面 積という2つの評価値を定義し,それらを用いて解析を行うとともに,FFT法およびARモデル法によりスペクトル解析を行い,実験条件による差異などを明 らかにした.
(3)
体重移動動作の測定と解析
 体重移動動作に関して,一定の回数の試行を行わせる被験者実験を行い,データを解析した.応答波形の特徴から立ち上がり時間と制御誤差に ついて評価値を 定義し,それらを用いて解析を行い,移動の向きによる差異や学習過程などを明らかにした.
(4)
体重移動動作の基本的特性と学習過程の解析
 体重移動動作に関して,床反力作用点データだけでなく,身体各部の位置データと視線データの3つを同時に測定するシステムを構築した.こ のシステムによ り被験者実験を行い,床反力作用点データからの評価値に加えて,位置データから体重移動時間と体重移動距離,視線データから視線移動時間を算出し,基本的 特性や学習過程を明らかにした.

[実験風景の動画(学内あるいはブロードバンド環境からアクセス してくださ い)

重心測定システム2

(5) 平衡機能評価システムの作成
 重心動揺と体重移動動作に関する解析結果を踏まえて,測定から評価,解析,データの2次利用まで行える実用的な平衡機能評価システムを提 案し,構築し た.研究用の機能としては,スペクトル解析や統計的な処理が行えるものを,臨床用の機能としては,検査・評価や訓練・治療に活用できるものを,それぞれ付 加するようにした.

3.2.3
研究計画
(1)
平衡機能評価システムの実用化
 先に作成した平衡機能評価システムの基本機能に,ゲーム(たとえば,体重移動により「ブロック崩し」を行う)の機能を付加するなど,さら に実用的なもの にする.
(2)
重心動揺の測定と解析
 重心動揺の時系列データについて,カオス性を調べる解析を行う.
(3)
体重移動動作の測定と解析
 高齢者や患者などを対象とした実験・検査を実施し,データを解析する.
(4)
体重移動動作の基本的特性と学習過程の解析
 頭部の動きを補正することができるアイカメラを用いて,体重移動動作における視線データを測定,解析し,基本的特性と学習過程を明らかに する.

3.2.4
今後の展開
 平衡機能評価システムが実用化すれば,運動障害における姿勢制御の制御機構上の問題点を定量的に明らかにすることができ,臨床的にも充分 活用できるもの となる.今後は,構築したシステムを用いて,高齢者や患者などを対象とした実験・検査を実施し,システムの有効性を確認するとともに,問題点を改善してい く必要があると考えられる.

3.2.5
派生するサブテーマ
(1)
臨床への応用
 臨床での利用のためには,国立大阪病院整形外科にある旧システムを再構築する必要があると思われる.

キーワード
 平衡機能,姿勢制御,重心,床反力作用点,トラッキング動作,FFT法,AR法,カオス

3.3
ボタン押し課題における反応特性の解析とその応用

3.3.1
概要
 本研究では,ボタン押し課題を学習させ,その過程を解析することを目的としている.ボタン押し課題とは,移動するターゲットが指定枠に 入ったらボタンを 押すというものである.被験者は,ターゲットの動きを予測し,自分の反応時間を考慮してボタンを押すことになるが,この動作を繰り返すことにより,次第に 正確なタイミングでボタンが押せるようになると考えられる.幼児から高齢者までの健常者および健忘患者を対象とした実験・検査を実施し,反応特性およびそ の学習過程について解析を行う.また,この動作における眼球運動の役割を調べるため,アイカメラによる測定も行い,反応特性との関係を解析する.さらに, 検査・訓練などに応用できるシステムも目指す.

3.3.2
これまでの研究
 現在,実験計画に基づき,実験システムのプロトタイプ(試作品)を作成しているところである.

3.3.3
研究計画
(1)
実験システムの作成
 ボタン押し課題の実験が実施できるシステムを作成する.ターゲットの出現間隔,移動の向き,移動速度,並びに,指定枠の表示箇所は,それ ぞれランダムと なるように設定する.遅延課題(ボタンを押してから反応するまでの時間に遅れを生じさせる)や消滅課題(出現したターゲットが途中で表示されなくなる)も 設定できるようにする.さらに,単純反応時間を測定する機能も付加する.
(2)
解析システムの作成
 ボタンを押した時刻のずれを算出し,統計的に解析するシステムを作成する.また,視線データについても解析する機能を付加する.
(3)
健常者の反応特性の解析
 学習に伴い,反応のずれがどのように変化するか,また,それが視線データとどのように関係しているかを解析する.
(4)
患者の反応特性の解析
 学習に伴い,反応のずれがどのように変化するか,また,それが病態とどのように関係しているかを解析する.

3.3.4
今後の展開
 ボタン押し課題はリハビリ用ゲームをもとにしたものであるので,本研究の成果は,このゲームの有効性を裏付け,また改良へと結びつくもの となる.

3.3.5
派生するサブテーマ
(1)
リハビリ用機器への応用
 本研究の課題にゲーム的な要素を加味することにより,リハビリでの検査・評価・訓練に応用できる実用的なシステムを構築する.

キーワード
 ボタン押し動作,反応時間,眼球運動,リハビリ機器

3.4
上肢トラッキング動作における運動学習の解析とその応用

3.4.1
概要
 本研究では,反転や消滅を伴うトラッキング課題を新奇な道具として学習させ,その過程を解析することを目的としている.トラッキング課題 として,ディス プレイ上を動くターゲットをカーソルで追従する動作を行わせる.実験条件による学習の違いや学習の転移について明らかにするとともに,眼球運動の特性につ いても検討する.また,学習過程における瞳孔径の変化に着目して,運動学習における認知的負荷の変化について検討する.

トラッキングシステム

3.4.2 これまでの研究

(1)
上肢トラッキング動作の解析と運動機能の評価への応用
 新たな手続き記憶課題として,上肢トラッキング動作を利用した課題を提案し,健常者および患者に対して,学習過程を調べる検査を実施し た.その結果,課 題の設定によっては,健常者と同様の学習効果が認められ,これらの課題が手続き記憶の評価に利用できることを示した.(京都大学医学部保健学科:赤松智子 氏との共同研究)
(2)
瞳孔反応を用いた運動学習における認知的負荷の測定
 予測不可能な反転を伴う,上肢トラッキング課題の学習過程における瞳孔径の変化を測定した.反転によって生じるトラッキング誤差と瞳孔径 の拡大の関係の 変化を解析した結果,瞳孔径の拡大の現象は,運動学習における認知的負荷の指標となりうることが示された.
(ロンドン大学認知神経科学研究所:Patrick Haggard氏との共同研 究)

瞳孔測定システム

(3) 測定・解析システムの作成
 上肢トラッキング動作として,反転や消滅を伴う課題を設定し,同時にアイカメラにより眼球運動と瞳孔径を測定できるシステムを開発した. また,解析とし ては,解析としては,生データの他,目標値と制御値の誤差,視線データ,瞳孔データなどの算出,表示が行えるシステムを作成した.
(4)
運動の学習と転移
 消滅課題と反転課題について学習過程を調べる実験を行い,データを解析したところ,いずれに対しても制御誤差は減少し学習が行われている こと,遮断した 情報や反転の方向により学習過程は異なること,実験群によっては正や負の転移が認められるが,それぞれその傾向は異なることが示された.

[実験風景の動画(学内あるいはブロードバンド環境からアクセス してくださ い)

(5) 運動の学習に伴う瞳孔反応
 消滅課題と反転課題について学習過程における瞳孔径の変化を測定し,データを解析したところ,課題に対する認知的な負荷が学習によって確 実に減少して いったことが示された.また,瞳孔反応は個々の試行での誤差への対応により直接的に生じたのではなく,運動課題に対する学習を反映したものであると推察さ れた.

3.4.3
研究計画
(1)
視線データの解析
 視線データと学習過程の関係の解析を行う.
(2)
消滅課題における新しい実験の実施
 ターゲット消滅とカーソル消滅の学習内容の違いを明らかにするため,転移ブロックにおいて,ターゲットとカーソルの両方ともが消滅する課 題を行わせる実 験を実施し,データを解析する.瞳孔反応についても調べる.

3.4.4
今後の展開
 運動学習により動作の自動化がなされたとすれば,瞳孔反応はそのような自動化を示す指標となりうると考えられる.

3.4.5
派生するサブテーマ
(1)
運動機能の評価など臨床への応用
 消滅や反転の伴うトラッキング課題は,知覚運動協応などの運動機能を評価する手法となるので,そうした機能の臨床での検査・評価に応用で きると考えられ る.

キーワード
 トラッキング動作,知覚運動協応,運動学習,学習の転移,瞳孔反応,認知的負荷,自動化

3.5
迷路探索における記憶機能の解析とその応用

3.5.1
概要
 本研究では,迷路探索において経路を記憶する際の情報処理過程を解析することを目的としている.題材として用いる迷路は,ある大きさの円 形のホールを通 して,現在位置の周囲しか見えないような課題であるとする.実験には,記憶実験と確認実験がある.記憶実験は記憶ステージと探索ステージから構成されてお り,記憶ステージでは,迷路の入口から出口までの経路を記憶させる.探索ステージでは,記憶した迷路を実際に解かせる.確認実験は,記憶実験の約4週間後 に行う.ここでは,迷路の正解経路を探索し記憶する過程において,経路の提示条件が与える影響,長期的な記憶の保持や再認に与える要因などについて検討す る.また,眼球運動を手がかりとして視覚の役割についても検討する. 

迷路探索

3.5.2 これまでの研究
(1)
実験・解析システムの作成
 迷路を生成し,経路などから難易度を評価するシステムを作成するとともに,迷路の表示方法,表示時間,制限時間をパラメータにして実験が 行える実験シス テムを構築した.解析としては,平均探索効率,総誤探索回数,総探索セル数,総探索時間などを算出できるようにした.また,視線データから停留時間などを 算出できるようにした.
(2)
被験者実験の実施
 記憶ステージでは,表示方法と表示時間をパラメータにして迷路の入口から出口までの経路を記憶させ,探索ステージでは,記憶した迷路を実 際に解かせ,正 解経路を間違えずにたどれるかどうかを調べた.確認実験は,記憶実験の約4週間後に,記憶実験で解いたことのある迷路とそうでない迷路を提示し,再認でき るかどうかを調べた.
(3)
経路の記憶における視覚の役割
 眼球運動を同時に測定した.迷路探索の記憶ステージにおける眼球運動の特性は,迷路の表示方法に大きく影響されることが分かった.
(4)
迷路の経路の提示条件
 記憶ステージでの表示方法の要因よりも表示時間の要因の方が経路の短期的な記憶に与える要因は大きいことが示せた.
(5)
経路の記憶の保持と再認
 約4週間後に確認実験を行ったところ,一度探索された迷路の正解経路は長期的に記憶され,保持されていることが示されたが,再認できるか どうかについて は個人差が大きいことが分かった.また,記憶実験での迷路に接した回数や時間,確認実験での探索状況が再認に大きく影響することも明らかになった.

3.5.3
研究計画
(1)
被験者実験の実施
 記憶実験および確認実験については,実験結果を補うために追加実験が必要である.
(2)
データの解析
 経路の記憶における視覚の役割,経路の提示条件が与える影響,長期的な記憶の保持や再認に与える要因などについて解析を行う.
(3)
ペンタブレットを用いた実験システムの作成
 発達障害がある子供や痴呆の高齢者では,マウスを使って迷路を解くことができない場合もあるので,ペンタブレットを使い,画面に直接ペン を触れさせて迷 路を解くことができるシステムを構築する.
(4)
患者データの解析
 発達障害がある子供や痴呆の高齢者を対象に検査を実施し,データを解析する.

3.5.4
今後の展開
 最終的な研究目標は,視覚的記憶の特性を解析するとともに,問題解決などの認知過程との関係を明らかにすることである.また,そのような 知見は臨床的に も充分活用できるものとなると考えられる.

3.5.5
派生するサブテーマ
(1)
知的機能の評価など臨床への応用
 子供の発達障害や老人の痴呆などの評価への応用の可能性についても検討する.

キーワード
 視覚的記憶,作動記憶,長期記憶,問題解決,眼球運動

3.6
カードゲームにおける問題解決と学習過程の解析 

3.6.1
概要
 本研究では,カードゲームを対象として,視線データを中心に発話データや操作データを組み合わせた分析方法により,被験者の思考過程やそ の学習過程を解 析することを目的としている.ここでは,不完全な情報を扱う,トランプの一人遊びのゲームとしてカルキュレーション(Calculation)というゲー ムを題材とする.このゲームは,パズル型の思考と確率的な予測思考が結びついたものとして知られている.被験者実験を行うため,コンピュータの画面上で ゲームをプレイさせ,その操作データを記録するとともに,アイカメラにより視線データを測定,保存し,かつ,被験者に思考内容を発話させ,発話データとし て保存できる実験システムを作成する.初心者である被験者に対して長期間実験を行い,学習過程を記録するほか,上級者や熟達者のレベル の被験者に対しても実験を行い,被験者の方略の特徴や学習過程を検討する.その際には,操作データだけでなく,視線データや発話データも参照して解析を行 う.また,カルキュレーションをプレイするプログラムの評価関数を用いての手の評価も行う.

カードのプレイ

3.6.2 これまでの研究
(1)
チャンクを用いた解析
 熟達者と初心者に対して被験者実験を実施し,操作データと発話データから,被験者が具体的にどのようにしてチャンクを利用しているのかを 検討するととも に,構成されたチャンクの長さと数から方略の特徴を分析した.その結果,熟達者の問題解決の過程は,柔軟なチャンクの構成と認識のサイクルを中心にしたも のであり,そのサイクルを司る知識が重要な役割を果たしていることを明らかにした.

カードのチャンク

(2) シミュレーションとの比較
 カルキュレーションをプレイするプログラムの評価関数を用いて,初心者と熟達者の手の評価を行い,方略の特徴を分析した.その結果,難易 度の高いデータ に対して,熟達者は常に適切な手を選択する能力を有していることが明らかになった.
(3)
視線データと発話データを記録できる測定システムの作成
 コンピュータの画面上でゲームをプレイさせ,その操作データを記録するとともに,アイカメラにより視線データを測定,保存し,かつ,被験 者に思考内容を 発話させ,発話データとして保存できるようにした.視線データと発話データは,プレイの状況を記録したビデオにそれぞれ付加される.操作データには時刻情 報が含まれているので,着目する特定の状況においての視線と発話を参照して,方略を分析することができる.

[実験風景の動画(学内あるいはブロードバンド環境からアクセス してくださ い)

(4) 長期的な学習の実験
 1名の被験者に対して,月2回(1回につき2試行,実験日までに自宅での練習試行10回) の実験を実施し,操作データ,視線データ,発話データを記録 し,分析を行っている.

3.6.3
研究計画
(1)
被験者実験
 長期的な学習の実験以外に,初級者,中級者,上級者など各レベルの被験者に対して実験を行い,方略を比較する.
(2)
視線データと発話データも利用した解析
 着目する特定の状況においての視線と発話を参照して,方略を分析する
 学習過程についても分析する.
(3)
シミュレーションとの比較
 カルキュレーションをプレイするプログラムの評価関 数を用いて,被験者の手の評価を行う.学習 過程についても分析する.

3.6.4
今後の展開
 本研究の最終的な目標は,不完全情報問題や悪構造問題のような問題に対する,人間の問題解決や学習過程の特性を明らかにすることにある.  

3.6.5
派生するサブテーマ
(1)
シミュレーションシステムの作成
 熟達者の方略の特徴を踏まえて,カルキュレーションをプレイするプログラムを作成し,モデルの妥当性を検証する.
(2)
学習のシミュレーション
 初心者が上級者に至る学習過程を踏まえて,カルキュレーションのプレイが上達する過程をシミュレートするプログラムを作成し,モデルの妥 当性を検証す る.
(3)
問題解決支援システムへの応用
 人間の問題解決の特性を考慮し,人間のプレイを支援するシステムを構築し,知的インタフェースへの応用を検討する.

キーワード
 問題解決,不完全情報問題,悪構造問題,学習過程,熟達化,シミュレーション

3.6
楽器演奏における認知特性の解析 

3.7.1
概要
 本研究では,楽器視奏時の情報処理過程,すなわち,楽器の演奏においてどのように楽譜の認知を行い,どのようなタイミングで指の運動 が実現されてい くかを明らかにすることを目的としている.楽器はクラシック・ギターなどを対象とし,被験者実験を行い,眼球運動と指と手の動きを測定し,測定された時系 列 デー タから,楽譜に対する読みと演奏との関係を解析する.その結果により,被験者はどのように楽譜を先読みしているのか,また,どのように指と手の運びを準備 しているかなどを明らかにする.さらに,被験者の習熟度,課題曲の難易度,課題曲に対する知識などによる違いについても検討する.

[実験風景の動画(学内あるいはブロードバンド環境からアク セスしてくださ い)

演奏実験写真

3.7.2 これまでの研究
(1)
測定システムの構築
 被験者実験においては,楽譜の提示と同期させて眼球運動と指と手の動きを測定しなければならない.このため楽譜の提示を行うコンピュー タからのトリ ガー信号により,眼球運動測定システムとビデオ運動解析システムの測定を開始するシステムを構築した.

演奏実験システム

(2) 被験者実験の実施
 楽器演奏時の被験者の眼球運動と指と手の動きを測定し,基本的な特性の解析を行うことで,楽譜の先読み時間を算出した.その結果によ り, 課題曲に対する 知識や被験者の習熟度が,先読み時間に大きく影響することを示すことができた.

3.7.3
研究計画
(1)
測定方法の確立
 右手指の測定ポイントの位置およびカメラの位置によって,弾弦時刻の推定精度が大きく影響されることが明らかになっているので,予備実験 を入念に行うこ とで,適切な測定方法を確立するようにする.また,必要に応じて音響データを活用できるようにするため,ビデオ映像の音声部に演奏音を付加するようする.
(2)
被験者実験の実施
 課題曲としては既知の曲,未知の曲,高度な曲を用意する.既知の曲には一般に旋律が知られている曲を用い,未知の曲は新曲視唱(ソル フェージュ)用の曲 集から引用・編曲する.被験者としては,初級者,中級者,上級者(演奏家)の各レベルの者を数名ずつ依頼する.
(3)
実験データの解析
 被験者が楽譜の音符を見たタイミング(注視時刻)と楽器を演奏したタイミング(弾弦時刻)をそれぞれ推定する.これらのデータを用い, それぞれの音符 について対応する弾弦時刻と注視時刻から先読みの時間を算出し,この変化をグラフにする.また,眼球運動と右手指の動きのそれぞれ単独の特性についても解 析を行う.さらに,右手と左手の連携についても解析を行う.

3.7.4
今後の展開
 楽器の演奏は,知覚運動協応と呼ばれる認知機能を必要とするものの一例であるが,そのような実際的な題材には,多くの認知過程の要因が複 雑に関わってい ると考えられる.しかし,それだけに,知覚運動協応をより多面的かつ詳細に解析できるとともに,実際的な題材を取り扱うことにより,具体的な応用に結びつ く可能性が高いといえる.
 
3.7.5
派生するサブテーマ
(1)
支援システムへの応用
 初級者に対して演奏上の問題点を指摘し,効果的な練習方法などについてアドバイスするシステムに応用する.

キーワード
 知覚運動協応,運動技能,眼球運動,学習過程,熟達化

4.補足事項

4.1
体重心関係

(資料準備中)

4.2
ボタン押し関係

(資料準備中)

4.3
手動作関係

(資料準備中)

4.4
迷路関係

(資料準備中)

4.5
カード関係

 カルキュレーション(Calculation)のルールについてはいくつかの変種 があり,また名称も異なるが,本研究では場が4列のものを対象としてい る.ルールは以下のとおりである.

・1組52枚のトランプを用いる.ハートやスペードなどの区別はしない.したがっ て,A,2,3,…,Kがそれぞれ4枚ずつとなる.
・山札をよく切って1枚ずつ取り出して手札とし,下に示したような4列の台札の列を下から積み上げていき,完成させることが,このゲームの ゴールである.
・これらの数字の列は,左から順に1,2,3,4の倍数になっており,14以上は13で割った余りの数で代用している.それぞれの列では,一番下の数字か ら順番通りにしか置くことはできない.
・これらの列をうまく完成させるために,場札の列を4列使うことができる.ただし,一番最後に置いた場札から順番にしか取り出すことはでき ない.
・取り出した手札は,台札の列の置ける場所に置くか,場札のいずれかの列に置くことができる.手札をどこかに置いた後で,次の手札を取り出 す前なら,場札 を台札の列の置ける場所へ移動させることができる.
・最終的に52枚の札をすべて台札の列に置くことができれば,成功ということにな る.それ以外は失敗である.

10

10

10

10

台への出し方


4.6 演奏関係

(資料準備中)


小堀研究室のページへ