AIは二次検定のメンターになり得るか？

初めに

お世話になっております。

1級電気通信工事施工管理技術検定の二次検定はほとんどの問題が100文字程度の記述問題です。単純に機能や概要を記述する問題もあれば、自身の工事現場における経験から記述する問題まであります。
この100文字程度というのが厄介で、厳密には文字数の決まりはないため何文字でも良いこと、100文字程度の内容の評価基準や模範解答がないため、本当に必要十分な文章が記述できているか客観的な採点ができません。また、評価基準や模範解答があったとしても100文字程度をそっくりそのまま記述するのは難しく、どうしても一部はオリジナルの文章になってしまいます。そのため、参考書などの参考文献には「最低でもこれぐらいの文字数が好ましい」、「こんなことを記述すると良い」、「こんなことを記述すると減点」程度の情報しかありません。更には、自身の工事現場における記述問題においては参考文献は本当に参考にしかならず、1から文章を組み立てるしかありません。

そのため、どの参考文献にも「第三者に内容を添削してもらいましょう」とあります。これもまた問題です。
二次検定の受検者数は毎年約5,000人程度です。今年度の一次検定で一番受検者数が多かった東京でも40%程度で約2,000人です。次点の大阪が15%なので約750人。
同時期に受検する受検生を探すとなると、石を投げれば誰かに当たるにはほど遠く、隕石を落とせばようやく誰かに当たるぐらいかもしれません。
つまり、第三者に内容を添削してもらうというのがまず最大の難関。合格するよりも難関かもしれません。

しかしながら、この人数は同時期に受検する受検生の人数です。合格者を含めれば上がるかもしれませんが、私の周りの合格者のアドバイス第1位に輝いたのは、
「なんで合格したのか良くわからない」
でした。
次点は、
「こんな問題出たっけ？」
「ネットワーク工程表が出るよ」
が同率でした。(自社調べ、n=一桁)
つまり、何も参考にならない。
それもそのはずで、先に記述した「評価基準や模範解答がない」からだと思います。採点も公開されなければ記述がどれぐらいの点数になったのかもブラックボックスなのでこうなるのは仕方がないのでしょう。

では、どうするかというと、またAIを使います。文明の利器万歳。

具体的な例

あれこれ書くよりも具体的な例を見せた方が手っ取り早いと思います。

施工上留意するべき内容について記述する問題

自分の解答
語句：UTPケーブル配線完了後の測定試験
内容：UTPケーブル配線後は、断線、漏話、結線誤り、損失がないかを測定器で確認する。また、所定のカテゴリ性能を満たす通信品質になっているかも確認する。

AIの評価
採点：4/5点
評価：断線、漏話、結線誤り、損失、カテゴリ性能確認と確認項目がきちんと入っています。
施工上留意すべき内容として、測定で品質を確認する方向は合っています。
内容がやや一般的なため、規格値との照合、測定結果の記録、不適合時の是正、まであるとより施工管理答案らしくなります。

技術的内容について記述する問題

自分の解答
用語：WPA3
内容：無線LANのセキュリティ規格の一つでWPA2の後継である。暗号化アルゴリズムにAES、暗号化プロトコルにGCMP、認証方式にSAEを用いている。

AIの評価
採点：4/5点
評価：無線LANのセキュリティ規格、WPA2の後継、AES、GCMP、SAEと、技術的内容を比較的よく押さえています。認証強化、安全性向上などの「どう強化されたか」まで一言あるとさらによいです。

と、こんな感じで良い感じのフィードバックがもらえます。追加で満点解答も出力してもらえます。
ただ、AIが出力したため、本当に妥当な評価なのかはわかりませんが、全く的を外しているわけではないと思います。
例は比較的採点結果の良かったものをピックアップしましたが、採点を減点方式にすると難易度は上がります。また、採点が1点のものとかはAIが出力した満点解答を覚えて書いた方が点数が高いです(意訳)と人が評価するよりも辛辣なフィードバックももらえます。

AIを使用するリスク

情報の取り扱い

AIがどれぐらいプロンプトに入力した情報を活用しているかわかりません。そのため問題1の自身の工事現場に関する情報は添削してもらわない方が良いかもしれません。
それ以外については、書く内容はある程度固まっているため問題ないかもしれませんが、気になる人はそれ相応の対策を施してください。

採点は人間が行っている

実際の試験の採点はまだ人間が行っていると思っています。そのため、やはり第三者に見てもらう方が良いでしょう。
今更全部ひっくり返すことになりますが、人間が採点しているテストは人間に見てもらうべきだと思います。

初めに述べたように隕石を投げなければ当たらないほど受検者が少ないわけではなく、電気通信という限られた業種の中であれば社内や関係会社を探せば1、2人はいるでしょう。
もしかしたら、SNSなどが発達した今日なら、受検者同士で繋がることも難しくないかもしれません。
探し方によっては限られた5,000人の何人かは繋がれるでしょう。
それでも誰もいないとなると、書いた文章と参考書をセットで誰かに見てもらうのが良いと思います。記述問題に求められるのは一次検定レベルの知識のため、二次検定に進んでいるということは自ずと一次検定レベルの知識はあります。
では、二次検定で何が求められるか、となると、おそらく問われていることに適切に解答できているかと、文章の組み立て方でしょう。それなら受検者、合格者でなくても参考書という例があれば誰でも添削できそうです。

終わりに

まだ合格どころか、受けてすらない身でおこがましいですが、やはり人間が開催して、人間が採点する試験なので、人間に添削してもらうのが良いと思います。
AIに添削を依頼すると自分の身の可愛さから甘い判定を求めてしまうことができます。一見前に進んでいるように見えて、客観的に見ると足踏みをしているかもしれませんが、AIを使用しているとそれもわからないリスクがあります。
AIは補助的な位置付けとして使用するのが良さそうです。

が、今回はせっかくなのでAIによる指導は二次検定に通用するのかという検証をしてみたいと思います。
ただ、AIが原因ではなく自分の実力不足が原因となる可能性もあるため、満足な検証結果が得られるかは不明です。

以上になります。