クリックできることの前に、「選べること」を見たい - 作業療法士が、視線クリック練習アプリを作ってみた話
視線入力や代替入力の練習というと、どうしても「押せるかどうか」に目が向きやすいと思います。
画面のボタンを押せるか。
クリックできるか。
タップできるか。
スイッチを入れられるか。
もちろん、それは大事です。
でも臨床で見ていると、「押せない」の前に、もっと細かい過程があるんですよね。
画面上の対象を見つける。
そこに注意を向ける。
少し待つ。
タイミングを合わせる。
選ぶ。
結果を確認する。
間違えたら修正する。
つまり、クリックという一つの操作の中にも、いくつもの段階があります。
だから、単に「押せた」「押せなかった」だけで判断してしまうと、その人がどこで困っているのかが見えにくくなります。
今回は、そのあたりを少し整理するために、
「視線クリック練習」
という小さなブラウザアプリを作ってみました。
その開発ログです。
「押す」だけを見ても、支援の方向性は見えにくい
視線入力や代替入力の導入場面では、うまく操作できないことがあります。
でも、その「うまくいかない」には、いくつかの理由があります。
たとえば、ターゲットを見つけられていないのかもしれません。
見つけてはいるけれど、待てないのかもしれません。
タイミングが合わないのかもしれません。
入力方法が合っていないのかもしれません。
疲れてくると反応が落ちるのかもしれません。
そもそも課題の理解が十分ではないのかもしれません。
これらは、見た目には全部「押せない」に見えます。
でも、支援の方向性はまったく違います。
ターゲットを見つけられないなら、画面配置やボタンの大きさを考える必要があります。
待てないなら、必要な待機時間やフィードバックの出し方を考える必要があります。
タイミングが合わないなら、入力方法や判定の条件を変えた方がよいかもしれません。
疲労で崩れるなら、実施時間や姿勢、休憩の入れ方を見る必要があります。
つまり、「クリックできるか」ではなく、
どの条件なら選べるのか
を見たいわけです。
クリックは、単純な運動ではない
クリックやタップは、一見すると単純な操作に見えます。
でも作業療法的に見ると、意外と複雑です。
まず画面を見る。
対象を探す。
目的のターゲットを見つける。
そこに注意を向ける。
押すべきタイミングまで待つ。
手や指、マウス、スイッチなどで入力する。
入力できたかどうかを確認する。
うまくいかなければ修正する。
この流れの中には、視覚探索、注意、判断、抑制、タイミング調整、運動操作、フィードバック処理が含まれています。
だから、クリック練習というより、実際には
「見つける・待つ・選ぶ」練習
に近いのだと思います。
ここを分解して見ないと、「手が動かないからできない」「注意が悪いからできない」みたいな、ざっくりした説明で終わってしまいます。
でも実際には、環境設定で変わることもあります。
ボタンを大きくすれば選べるかもしれない。
中央に置けば選べるかもしれない。
待機時間を短くすれば成功するかもしれない。
逆に、少し待つルールを入れた方が誤反応が減るかもしれない。
そうなると、問題は本人の能力だけではありません。
画面、入力方法、姿勢、説明、疲労、支援者の声かけ。
それらを含めて、「選べる条件」を探す必要があります。
そこで、小さなアプリを作ってみた
今回作った「視線クリック練習」は、画面上のターゲットを見つけて、一定時間待ってからクリックまたはタップで選択する課題です。
ただし、ここは大事なのですが、
実際の視線計測を行うアプリではありません。
カメラで視線を測るものでも、医療機器として視線入力の可否を判定するものでもありません。
想定しているのは、視線入力装置を導入する前の説明や、タッチ・クリック・スイッチなどの代替入力の練習です。
つまり、本番の意思伝達装置や環境制御装置に入る前に、もっと単純な形で、
「対象を見つけられるか」
「少し待てるか」
「タイミングよく選べるか」
「条件を変えると反応がどう変わるか」
を見たい。
そのためのプロトタイプです。
高機能なものではありません。
むしろ、あえて単純にしています。
ターゲットが出る
見つける
待つ
選ぶ
結果を見る
まずはそれだけでよいと思いました。
作業療法士として何を見ているのか
この課題で見たいのは、成績だけではありません。
もちろん、反応時間や正答数は参考になります。
でも、そこだけを見てしまうと、少しもったいない。
作業療法士として見たいのは、むしろ過程です。
ターゲットが出たとき、すぐに探し始めるのか
画面全体を見渡しているのか
中央ばかり見ていないか
左右どちらかに偏りがないか
ターゲットを見つけたあと、待てるのか
焦って早く押してしまうのか
試行が進むと反応が遅くなるのか
間違えたあと、自分で修正できるのか
入力方法を変えると安定するのか
こういうところです。
たとえば、同じ「反応が遅い」でも意味は違います。
慎重に見ているから遅いのか
見つけられていないから遅いのか
疲れてきたから遅いのか
入力方法が合っていないから遅いのか
説明が理解できていないから遅いのか
同じ結果でも、背景が違えば支援も変わります。
だから、数値と観察をセットで見る必要があります。
「見つける・待つ・選ぶ」は生活の中にもある
このアプリの目的は、画面上の丸を押すことではありません。
本当に考えたいのは、その先です。
生活の中には、「見つける・待つ・選ぶ」が必要な場面がたくさんあります。
ナースコールを見つけて押す
意思伝達装置の項目を選ぶ
タブレットで動画を選ぶ
スマートフォンで連絡先を探す
環境制御装置でテレビや照明を操作する
メニュー画面から目的のボタンを選ぶ。
これらは全部、ただの「押す」ではありません。
見つける
判断する
少し待つ
選ぶ
結果を確認する
そういう作業の連なりです。
だから、画面課題の成績が良いか悪いかだけではなく、
どんな条件なら生活の中で使えるのか
を考える必要があります。
たとえば、ナースコールであれば、ボタンの位置や大きさ、押しやすさ、見えやすさが大事になります。
意思伝達装置であれば、選択肢の数、配置、待機時間、誤操作時の戻りやすさが大事になります。
タブレット操作であれば、画面の明るさ、アイコンの大きさ、姿勢、保持方法も関係します。
つまり、本人の能力だけを見るのではなく、環境と課題の設計を見る必要があります。
ここが、作業療法士がアプリを作る意味なのかなと思っています。
高機能なアプリより、小さく試せる課題がほしい
こういうアプリを作ろうとすると、つい機能を増やしたくなります。
視線計測を入れたい
カメラ入力を入れたい
ログを保存したい
グラフを出したい
難易度を自動調整したい
CSVで出力したい
もちろん、それらは将来的にはあった方がよいです。
でも、最初から全部入れると、何を見たいアプリなのかがぼやけます。
臨床でまず必要なのは、完璧なシステムではなく、
仮説を小さく試せる道具
なのではないかと思います。
「この人は、ボタンを大きくすれば選べるのか」
「中央なら反応できるけど、端だと難しいのか」
「待機時間があると焦ってしまうのか」
「タップよりスイッチの方が安定するのか」
そういう小さな問いを試すための道具。
今回のアプリは、そのためのものです。
作業療法士がアプリを作る意味
作業療法士がアプリを作るというと、少し大げさに聞こえるかもしれません。
でも、自分がやりたいのは、すごい医療システムを作ることではありません。
生活行為を分解して、
臨床で試せる形にして、
その人に合う条件を探しやすくする。
そのための小さな道具を作りたいんです。
作業療法では、活動を分析します。
環境を調整します。
道具を変えます。
手順を変えます。
本人にとって意味のある行為につなげます。
それなら、簡単なブラウザアプリも一つの道具になるはずです。
もちろん、アプリだけで何かが解決するわけではありません。
むしろ、アプリは観察のきっかけにすぎません。
大事なのは、アプリを使って何を見るのか。
そこから生活のどの場面につなげるのか。
どの条件を変えれば、その人の参加が広がるのか。
そこだと思います。
まとめ
今回作った「視線クリック練習」は、画面上のターゲットを見つけ、一定時間待ってからクリックまたはタップで選ぶための小さなブラウザアプリです。
実際の視線計測を行うものではありません。
診断や治療効果判定を目的にしたものでもありません。
でも、視線入力や代替入力を考える前段階として、
見つける・待つ・選ぶ
という流れを練習・観察することはできます。
クリックできるかどうかの前に、選べるかどうかを見たい。
そして、選べないときに「なぜ選べないのか」を少し分解したい。
その分解ができると、支援の方向性が少し見えてきます。
ボタンを大きくするのか
位置を変えるのか
待機時間を変えるのか
入力方法を変えるのか
姿勢を整えるのか
説明の仕方を変えるのか
そうやって、本人の能力だけに原因を置かず、環境や課題の側も調整していく。
そのための小さな実験道具として、こういうアプリを少しずつ作っていきたいと思っています。
今後もこうした臨床用の小さなブラウザアプリを増やしていく予定です。
作業療法士がアプリを作る意味は、
「便利なツールを増やすこと」だけではなく、
生活行為を分解し、もう一度試せる形にすること
なのかもしれません。
参考リンク
視線クリック練習ver1.0
https://therabby.com/gaze-click-practice/
