自動テストが1,227件通っても、「文字が小さい」には気づけなかった

テストは成功。でも、画面を見て思ったこと

普段、ChatGPTやCodex、Claude Codeを使って、Windowsアプリを個人開発しています。

プログラミングに詳しいわけではないので、コードを書く作業もテストを作る作業も、多くをAIに任せています。

そんな開発の中で、少し意外なことがありました。

きっかけは「WikiNest」という自作アプリです。

開発中の記録では、1,227件の自動テストが成功していました。

数字だけ見ると、かなりしっかり確認できている気がしますよね。

私もそう思っていました。

ところが、実際に画面を触っていると、こう感じたんです。

「文字が小さい。それに、ちょっと使いづらいかも……」

1,227件の成功と、画面を前にした自分の感想。

この2つが、まったく別の方向を向いていました。

今回は、このズレから考えたことを書いてみます。

WikiNestは、ゲームの攻略情報を探すためのアプリ

WikiNestは、ゲームのWikiや攻略情報を保存して、あとから検索・整理できるWindowsアプリです。

ゲーム中に攻略情報を調べても、あとで「あのページどこだっけ？」となることがありますよね。

それを解決したくて作りました。

主な機能はこんな感じです。

• 保存した情報の全文検索

• 記事の詳細表示

• お気に入り登録

• メモ

• タグでの整理

これらをAIに実装してもらいながら、テストも一緒に増やしていきました。

検索が正しく動くか。保存したデータを取り出せるか。想定どおりの結果が返るか。

そうして積み上がったのが、1,227件という数字です。

※この件数は開発中の記録で、すべての画面操作や使いやすさを検証した件数という意味ではありません。

自動テストは「プログラムへの質問」だった

自動テストを一言でいうと、決めた条件をプログラムに与えて、期待どおりの結果になるかを自動で確かめる仕組みです。

たとえば、

「りんご」で検索したら、「りんご」を含む記事が見つかる？

該当する記事がなければ、結果は0件になる？

こういうことを、何度でも同じ条件で確認できます。

AIに大きくコードを書き換えてもらったあと、前からある機能が壊れていないかを確かめられるのは、本当に助かります。

ただ、振り返ってみて気づいたことがあります。

自動テストは、プログラムに「質問」をしているようなものだということです。

「この条件で検索したら、正しい結果が出る？」

「保存したデータを、あとから取り出せる？」

「入力が空欄でも、決めた動作になる？」

あらかじめ用意した質問に、プログラムが正しく答えられたら「成功」。

つまり、1,227件の成功は、あらかじめ用意したテストの条件を、1,227件分クリアできたという記録なんです。

「この文字、読みやすい？」とは聞いていなかった

ここで、最初の違和感に戻ります。

私が画面を見て気になったのは、文字の小ささと使いづらさでした。

でも考えてみると、テストの中で、

「この文字の大きさで読みやすい？」

「初めて使ったとき、迷わずに操作できる？」

という質問は、たぶんほとんどしていませんでした。

聞いていない質問の答えは、成功件数をいくら眺めても出てきません。

1,227件が1,500件になっても、2,000件になっても、それが検索や保存についての質問なら、文字の読みやすさについては何も分からないままです。

もちろん、文字サイズや画面操作も、条件を決めればテストできる部分はあります。

ただその場合でも、「どの大きさなら読みやすいのか」という基準を決めるのは、テストではなく人間の側です。

テストが答えてくれるのは、こちらが決めた基準を満たしているかどうかだけでした。

「使いづらい」は、まだ質問になっていない

じゃあ、使いやすさについての質問を足せばいいのか。

ここで、もう一つ難しさがありました。

「なんとなく使いづらい」は、そのままでは質問にならないんです。

これはAIに頼むときも同じでした。

Codex や Claude Code に「もっと使いやすくして」と頼めば、ボタンを大きくしたり、余白を増やしたり、何かしら変えてはくれると思います。

でも、何が使いにくいのかが曖昧なままだと、改善の方向も曖昧になります。

WikiNestの場合、「文字が小さい」ははっきりしていました。

だから、

「一覧の文字が小さく感じるので、表示の大きさを見直したい」

という形で、AIに具体的に相談できます。

一方、「ちょっと使いづらい」のほうは、まだ自分の中でも形になっていません。

どの画面なのか。

何をしようとしたときなのか。

どこで手が止まったのか。

ここまで分解できて初めて、AIへの依頼にも、テストの質問にもできるのだと思います。

次は「目的」から質問を作ってみたい

そこで、次に画面を見直すときは、機能ごとではなく、使う目的から質問を作る方法を試してみたいと思っています。

たとえば、目的を一つ決めます。

「前に保存した攻略情報を探して、お気に入りに登録する」

そして、実際にその操作を最初から最後までたどりながら、こんなことをメモします。

• どこを押すか迷った場所はないか

• 文字を読むのに目を凝らしていないか

• 同じ画面を何度も行き来していないか

途中で引っかかったら、

「検索結果から詳細を開くところで迷った」

「この一覧の文字が読みづらい」

のように、具体的な場面として書き残します。

こうして書き出したものが、そのまま「使いやすさについての質問」になります。

AIに改善を頼むときの材料にもなりますし、基準が決まれば、テストに加えられるものも出てくるかもしれません。

※これはこれから試したい方法で、WikiNestで一通り実施して効果を確認した、という記録ではありません。

おわりに：成功件数より、「何を聞いたか」を見る

1,227件の自動テストが成功したことには、ちゃんと意味があります。

AIにコードを任せている私にとって、変更のたびに既存の機能を確かめられるのは大きな安心材料です。これからも自動テストは使い続けます。

ただ、今回の経験で、数字の見方は変わりました。

テストの成功件数を見たら、まずこう考えるようにしています。

「このテストは、何を質問しているんだろう？」

検索結果なのか。保存処理なのか。例外的な入力なのか。それとも画面の操作なのか。

同じ「成功」でも、何を聞いた結果なのかで意味はまったく変わります。

そして、使いやすさのように、まだ誰も質問していないことは、自分で画面を触って、引っかかった場面を言葉にするところから始めるしかなさそうです。

テストに用意していない問いの答えは、成功件数をいくら増やしても見えてこない。

WikiNestの1,227件は、そのことに気づかせてくれた数字でした。