作って終わりじゃなかった。実戦初日で、仕様書に赤字を入れることになった

Claude Codeで、SNS相談をする用に8人のAIチームを作りました。 今回、実際のYouTubeデータを渡して、初めて実戦で使ってみた記録です。

１．AIチームをつかってみる

Claude Codeというツールを使って、SNSの発信について相談できる「AIチーム」を8月に作りました。ブランドの見せ方、YouTubeの伸ばし方、noteの書き方、数字の読み方……それぞれ得意分野の違う8人が、意見を出し合いながら答えてくれる、という仕組みです。

「作れた」時点では、チームとしての設定（役割分担・進行ルールなど）は一通り整えました。ただ、実際に自分の仕事で使ってみて分かったのは、作ることと、使えることは別だった、ということです。

今回は、このAIチームに初めて本物のデータ――実際のYouTube Studioの画面――を渡して、分析をお願いしました。ここから、「作って終わり」では済まなかった2日間が始まります。

２．実戦初日に起きた、いくつかのつまずき

結論から言うと、初日から何度かつまずきました。ここでは、特に分かりやすかった出来事を2つ紹介します。

ひとつ目は、数字の勘違いです。

chatでやりとりしていると、AIがいっていることが、「？」となります。

実は、ある動画について、AIチームは「12回しか見られていない」という前提で話を進めていました。ところが、その動画は実際には1,583回見られていたものなのです！
理由は単純で、AIが「直近28日間だけの数字」と「その動画が生まれてからの累計」を、同じもののように扱っていたからです。

ふたつ目は、根拠のない評価です。

「登録者が3人増えた」という結果について、AIチームの一人が「かなり弱い数字ですね」と言い切りました。けれど、それが弱いと言える比較対象――たとえば、いつもならどれくらい増えるのか――は、どこにも示されていませんでした。聞いてみると、比べる基準がないまま、印象だけで「弱い」と言っていたのです。
→私は、「弱いのか。。。」という少し下降気味のテンションで脳内処理していました。なぜかというと、現在、私のyoutube登録者は１４人で、１１人から一気に３人増したのです。なので、「なぜ、この動画で３人増えたか。」という前向きな気分で、分析を待っていたので。。。人間て、言葉ひとつでも、影響受けますね。

どちらも、指摘すれば「たしかにその通りです」と、AI自身があっさり認めました。でも、指摘しなければ、そのまま「弱い数字だった」という結論で話が進んでいた可能性があります。そう思うと、私のメンタルへの影響よりも、話の方向が変わり、実害が大きい！

３．直す前に、まず「すでにあるルール」を確認した

こうした問題が起きたとき、すぐに「新しいルールを作ろう」とはしませんでした。まず確認したのは、そもそも今のルールに、この問題を防ぐ仕組みがあったのかどうか、チェック！

調べてみると、問題は大きく2種類に分かれました。

• すでにルールはあったのに、守られていなかったもの（たとえば、話題を変える前にはユーザーに確認する、というルールはあったのに、返事を待たずに次へ進んでしまっていた）

• そもそも、ルール自体が足りていなかったもの（たとえば、「根拠なく強い・弱いと評価しない」というルールは、どこにも存在していなかった）

原因が違えば直し方も違います。この仕分けをしてから、次のステップに進みました。

４．仕様書に、6項目の赤字を入れた

最終的に、AIチームの「ルールブック」にあたる仕様書を見直して、6つの項目を補強することになりました。内容を簡単にまとめると、こうなります。

1. 違う条件の数字を、そのまま比べない（期間や集計の対象が違う数字は、揃えてから比べる）
   →基本。AIは賢いと思っていますが、使っていると、なんだか頼りなく感じる時もあります。こういう基本のところができていない時、あります。

2. 根拠のないまま「強い・弱い」と決めつけない（比べる基準を示せないなら、断定しない）
   →私への配慮をして～（実害につながる可能性もあり）

3. 本当に確認できるか分からないデータを、安易に求めない
   

4. 追加のデータをお願いするときは、何のために必要かを一緒に伝える
   →分析屋さんみたいになって、私へ「これもあれもみせて」と不要なデータも要求してきてました。

5. 専門的な言葉を使うときは、簡単な意味も添える
   →これは、私が知識がついてきたら、要らないかも。

6. 話題を変える前には、確認したうえで返事を待つ

技術的な作業自体は、既存のファイルに数行ずつ追記しただけでした。でも、この地味な作業が、この後すぐに効いてくることになります。

５．なかなかよかった点

ここまで、つまずいた話ばかり書いてきましたが、悪いことばかりだったわけではありません。

・根拠のない仮説だと分かった時点で、それを押し通さずに撤回できました

• YouTubeの仕組みについて分からない部分は、実際に公式の情報を確認しにいき、それを踏まえて答えを直すことができました

• そして最後まで分からなかったこと――「なぜこの動画だけ登録者が増えたのか」――については、無理に理由をでっち上げず、「今のデータでは分かりません」で止まることができました

最後の分からないことを、分からないままにできる、というのは、今回の実戦テストで確認できた点のひとつです。
これは、人間でもあることで、危険ですよね。その人が、「自分は正しい」と思って意見をされると、そういう流れになって、間違った方向にすすむこと。

６．直したルールが、この記事を作る過程で早速働いた

実は、この記事自体も、そのAIチームと一緒に企画しています。

そして、YouTube分析の話からnote記事の企画に話題が移るとき――つまり、まさに直したばかりの「話題を変える前に確認して、返事を待つ」というルールが必要になる場面が、すぐにやってきました。

結果として、AIチームはきちんと立ち止まり、確認をとってから記事づくりを始めました。仕様書は、修正した直後に、もう別の仕事の中で正しく動いていたことになります。

「作って終わり」ではなく、「使いながら直して、育てる」。今回の2日間は、そのことを実感した時間でした。

７．実は、AI分析に不安は感じている

修正しましたが、本当に役立つ分析をしてくれるのか、不安はあります。
なぜなら、コンスタントにyoutubeの動画の視聴回数が１０００回を超えていないから。
なぜなら、youtubeの動画の登録者が１０人台だから。

成果をだしていないので、信用できない。

今回、修正をして、一応、チームを完成したとみなしました。しかし、違う期間で比較したり、目的を把握しないまま、データ分析をしようとしたり。頼りない。（修正は加えましたが。。。）

当然の前提がぬけたまま、突き進む可能性を感じます。本当に役立つチームになってくれるか、気持ちの面で、成果がでるまで信用できないのです。

私の視点や他のセンス、知識と経験の絶対的な不足。文章力、技術力の問題など、私の未熟さが根本原因かもしれませんが。。。

ただ、「転がる石に苔は生えぬ」精神で、色々と自分で考えて、挑戦して、その記録をみたどなたかが元気になってくれたらいいので、ボチボチ、AIと歩んでゆきます🎵

「作って終わり」ではなく、これからも使いながら試していきます。このAIチームをゼロから作った経緯そのものは、21日からお届けする予定です。
信用できるようになるのか、正直まだ分かりません。それも含めて、記録していきます。

8.関連記事

ここまで来る前、AI挑戦5か月目に一度これからの方向を振り返っています。

AIへの頼み方そのものも、少しずつ試しています。最近は「100案考えて」から始める方法も試しました。

#ClaudeCode #生成AI #AI活用  #AIチーム  #AIとやってみた #50代 #50代からの挑戦 #AI初心者 #SNS運用 #YouTube #note #学びの記録 #やってみた