Gemniフル活用：LINEからレシートアップして勝手に集計してアドバイスしてくれるAI家計簿アプリ作成
構想
最近お金の管理をもっと見えるようにしたり賢く使っていきたいと思い、AI、Gemini、LINEを活用した便利な家計簿アプリを作成しました。
結論から言うと、満足いくものが２日程度（４時間程度）でほぼ完成しました。是非皆さんも挑戦してみてください。
主な機能（特にやりたいこと）
１．LINEでレシートをアップロード。
→明細をAIが画像認識し、自動で費目を振り分けて記録してくれる。
２．GemniのLive Chatで、知りたいことを音声で聞く。
→記録していた家計簿データをもとに、費目ごとの月予算残額を
教えてくれる。
（💡出先で、ノリで高めの物を買ってしまうことを抑止）
つまり目的は、無駄な買い物を確かなデータをもとに抑えること。
いろんなシンプルな方法が他にあるとは思いますが、ずぼらな私がこれまでエクセルでマクロを使ったり、MoneyForwardを活用したり、試行錯誤したうえで長年やりたくて温めていたアイデアです。
結果として、AI活用によって楽に、楽しく実現できました！
（※上記Gemni LIve Chatは使わず、LINEからテキスト音声入力になった）
システム概要
上記のやりたいことをベースに、段取りを生成AIに考えてもらいました。
最近Google AI Proプランを契約して役に立っていたので、フルで活用します。
良かったのは、GoogleエコシステムであるGoogle スプレットシートを中心にして、LINEやAIなど他システムとも上手く連携できたことです。（ChatGPTだとどうなるんだろう。。。エクセル的なスプレットシートは、いちいちマスタメンテ画面/機能を作るよりは楽だと思います）
今回のシステム概要は、
・スプレッドシート（明細、費目マスタ、学習データ、予算などのシート）
・Apps Script（クラウド前提のExcelのマクロみたいなもの）
・LINE（フロントエンド：レシートアップロード、情報確認UI）
概要イメージもGeminiにサクッと作ってもらいました。
進め方
Gemini チャット画面でモデルをGemini2.5Proとし、やりたいことを書いて、どういうシステムを構成するか相談します。最初はAIでバイブコーディングを練習したいというようなことを書いていて、Google Colaboratoryや、Project IDXを使うといいよみたいな回答をもらっていたのですが、面倒な気がして手が動かず。。。
結局、以下のプロンプトから実質スタートしました。回答の一部ですが画像で少しご紹介します。
ロードマップ、フェーズ分けてくれたり、この画像の続きで「はじめの一歩」みたいなガイドもあり、スムーズに進めることができました。
最初のステップ１ができたら、「できました！次のステップをお願いします」みたいに進めると順番にやることを詳細に教えてくれます。
ざっくり以下のステップでした。
１．スプレットシートを用意（シートや列を準備）
２．Apps Scriptを作成（中身は全部Geminiに作ってもらう）
３．Geminiのアカウント設定（キー設定、AI関連サービスの有効化など）
４．LINEの開発/公式アカウントを用意
５．GeminiとLINEの連携（デプロイ、Webhook設定）
できあがったシステムのイメージ
AIとしては、指示を解析して応答を生成するGemini、レシート画像を解析するために、Google Vision APIを使用します。
使い方：
まずはLINEでカメラからレシートを撮って送信します。
数秒～数十秒経ってから、読み取った結果（内容、金額）、費目をAIで自動分類した結果が表示します。
※明細が多いと費目判断に時間がかかります。。。
直したい費目があった場合の例として、対象行の「変更」リンクをクリックしてみます。（赤矢印がクリック個所）
「変更」リンクをクリックすると、以下のように変更対象で「費目を変更」を選択のうえ、まず費目（大項目）の一覧を出します。
ここまでで、スプレットシートには、自動で以下のように明細行が追加されます。日付、メモは、レシートから読み取ったものが入るようにプロンプトで指示しています。
また、上記やり取りのように手動修正したものは、手動修正フラグがONになるようにしており、今後の費目判別時に学習データとして使用します。
（学習データ、というシートにデータが追加されていきます。このスプレットシート上で変更してもLINEから変更したと同じように反映されます）
ちなみに費目マスタのシートは以下のような感じです。
予算シートも別にあり、費目ごとに予算を割り振っています。
（生々しい部分はマスクしています。すみません）
やりたかったこと２つ目の、予算残りを簡単に出してくれるようにしています。ちなみにこの指示は、LINEのキーボードから音声入力(iOS機能)しています。
他にもサマリーで支出TOP3を出すようなカスタマイズ応答モードをしています。"サマリー"などのキーワードがあれば応答モードを振り分けるようにしました。
いろんな言い方をしても基本は答えてくれます。ここは最近の生成AIの力が発揮されていますね。
他にも、いろいろな聞き方をした場合でも、わりと的確に知りたいことを答えてくれそうです。
ファイナンシャルプランナーへのアドバイスモードも設けました。家計を分析して結構長々と答えてくれます。ここもプロンプト次第ですね。
前月比や、前年同月比も上手く処理してくれそうな勢いでした。
このLINE公式アカウントを友達追加することで、例えば家族からもレシートをアップロードしてもらえます。
他にもスプレットシートの追加メニューから、クレジット明細などCSVアップロードする機能、月次サマリーやダッシュボード表示する機能も設けました。ちなみにカスタムメニューは以下のような感じです。
まとめ（ポイント）
Geminiを活用して、わからないことは全て聞く。相談する。Google以外のLINEについても回答してくれる。（※若干情報古いときも）
コードは基本は生成したものを使う（直す場合はGemini Canvas上で）。
エラーが起きたら、Google Cloud のログ画面を見て、ログ内容をGeminiにまたコピペしてさらに聞く
コードが多くなってくると、トークンの制限なのか、古いコードが勝手に省略されたり、メソッドがごそっと消失する。→この対策もGeminiに聞く。相談する。
セキュリティは要注意（お買い物リストなど、個人情報なので）
API_KEYなどは、コードに埋め込まないこと（PropertiesServiceを使う）
ちなみに、たぶん30回くらいレシートアップしたり費目判断させたりしましたが、API費用は100円以下でした。
APIモデルは、gemini-2.5-flashを使用しました。flash-liteでもよかったかもです。
AIは優しい。。。アイデアを褒めてくれる。ログアップしたら感謝してくれる。努力を労ってくれる。
最近思うのは、ハルシネーションとかAIのミスもまるっと含めて、
自分の”役に立つか"どうか。車の自動運転も同じ展開を辿る気がしています。自動運転で事故（ミス）が起きたらどうする！？なんて言われますが、人間が運転するよりも圧倒的に事故率は低く、さらには確実に向上していきます。人の役に立つものは、どんどん便利に賢く、安くなっていくと思います。
もちろん、事故が起こらないような対策や意識、起こったときの軽減策、保険など様々な対策も非常に重要です。AIについても意識して成熟させていく必要がありますね。
ただ、こういった汎用的・先進的なプログラミング能力は既に、自分が書くよりも賢いしミスも少ないです。（エンジニアとしては少し寂しい気もしていますが。。。）
欲しいアプリが楽に安価に作れる時代になりましたね！
少しでもどなたかの参考になれば幸いです。
