Vertex AI: Gemini API の Context caching の紹介

prompt = [
    '[動画ファイル]',
    Part.from_uri(uri=f'{BUCKET}/{movie_file}', mime_type='video/mp4'),
    '動画の文字起こしをしてください。'
]

prompt_cached = [
    '[動画ファイル]',
    Part.from_uri(uri=f'{BUCKET}/{movie_file}', mime_type='video/mp4')
]

PROJECT_ID=$(gcloud config list --format 'value(core.project)')
curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://us-central1-aiplatform.googleapis.com/v1/projects/$PROJECT_ID/locations/us-central1/endpoints \
  -d ""

!pip install --upgrade google-cloud-aiplatform
import IPython
app = IPython.Application.instance()
_ = app.kernel.do_shutdown(True)

import datetime, vertexai
from vertexai.preview.generative_models import GenerativeModel, Part
from vertexai.preview import caching

PROJECT_ID = '[Project ID]'
BUCKET = 'gs://[Buket Name]'
movie_file = '[Movie File Path]'
vertexai.init(project=PROJECT_ID, location='us-central1')

prompt_cached = [
    '[movie file]',
    Part.from_uri(f'{BUCKET}/{movie_file}', mime_type='video/mp4'),
]

cached_content = caching.CachedContent.create(
    model_name='gemini-1.5-flash-001',
    contents=prompt_cached,
    system_instruction='You are a video content analyst. Work on the following tasks.',
    ttl=datetime.timedelta(minutes=60)
)

cached_content.name

'2753810434648702976'

caching.CachedContent.list()

[<vertexai.caching._caching.CachedContent object at 0x7f83a2571ed0>: {
   "name": "projects/[Project Number]/locations/us-central1/cachedContents/2753810434648702976",
   "model": "projects/[Project ID]/locations/us-central1/publishers/google/models/gemini-1.5-flash-001",
   "createTime": "2024-07-10T02:56:24.259968Z",
   "updateTime": "2024-07-10T02:56:24.259968Z",
   "expireTime": "2024-07-10T03:56:24.251354Z"
 }]

cached_content = caching.CachedContent(
    cached_content_name='projects/[Project Number]/locations/us-central1/cachedContents/2753810434648702976')

model = GenerativeModel.from_cached_content(cached_content=cached_content)

prompt = '''\
[tasks]
A. Summarize important topics of the video.

[conditions]
A. The summary has more than three sentences.
A. Try best to include as much detail as possible so that they clearly explain the sequence of the story.

[format instruction]
Output in Japanese. Use plaintext not markdown.
'''
response = model.generate_content(prompt, stream=False)
print(response.text)

この動画は、若い女性がハワイを旅行した様子をGoogle Pixelで撮影した映像です。空港に到着
した彼女は、青い空と青い海、ヤシの木など、ハワイらしい風景をGoogle Pixelで撮影して楽しん
でいます。ファーマーズマーケットではGoogle Pixelのカメラ機能を使ってランブータンなどの
珍しい果物を調べ、地元の人と交流し、その美味しさを体験しました。その後、ハワイの熱帯植
物園を訪れ、さまざまな植物をGoogle Pixelで撮影しました。また、乗馬体験では、Google Pixel
を使って自撮りをして、ハワイの雄大な自然を満喫しました。そして夜は、レストランで食事を
楽しみながらGoogle Pixelでメニューを調べ、周囲の美しい景色も撮影しました。このように
Google Pixelを使って、彼女はハワイ旅行の思い出を鮮やかに記録し、楽しんでいます。 

prompt = '''\
[task]
A. Find the most relevant scene with timestamp in the movie that can be used to answer the question.
B. Create a summary of the selected scene.
C. Create an answer to the question based on the selected scene.

[format instruction]
In Japanese. In plaintext, no markdowns. In the following format:

- Beginning of the output (don't show this line.)
［回答に用いたシーン］
<Timestamp in mm:ss - mm:ss>
<summary of the scene>

［回答］
<Answer to the question>
- End of the output (don't show this line.)

[question]
この動画に登場する人は、Google Pixel を使って何を調べましたか？
'''
response = model.generate_content(prompt, stream=False)
print(response.text)

［回答に用いたシーン］
00:16 - 00:20
女性が、赤い果実の入った袋をGoogle Pixel のカメラで撮影したところ、画面に
「ランブータン」と表示され、ランブータンの説明が表示されます。

［回答］
この動画に登場する人は、Google Pixel を使って、赤い果実が何であるかを調べました。

cached_content.delete()

prompt_cached = [
    '[reference information]',
    Part.from_uri(f'{BUCKET}/01_chrome_dino.png', mime_type='image/png'),
    'This character is "クロームの恐竜".',
    Part.from_uri(f'{BUCKET}/02_google_color.png', mime_type='image/png'),
    'These four colors are "Googleカラー".',
    Part.from_uri(f'{BUCKET}/03_gbike.png', mime_type='image/png'),
    'The bicycle with "Googleカラー" is "Googleバイク".'
]

cached_content = caching.CachedContent.create(
    model_name='gemini-1.5-flash-001',
    contents=prompt_cached,
    system_instruction='You are a fashion advisor. Work on the following tasks.',
    ttl=datetime.timedelta(minutes=60)
)

prompt = [
    """\
[task]
A. Describe the printed patterns and illustrations of each item.

[condition]
A. Use the reference information to make descriptions.
A. Each description has a few short sentences. Try best to include as much detail as possible.
A. Be cautious on number of items.

[format instruction]
In Japanese. In plain text, no markdowns.
Output only descriptions in a bullet list starting with '-'.

[items]
""",
    Part.from_uri(f'{BUCKET}/t_shirt1.png', mime_type='image/png'),
    Part.from_uri(f'{BUCKET}/t_shirt2.png', mime_type='image/png'),
    Part.from_uri(f'{BUCKET}/t_shirt3.png', mime_type='image/png'),
    Part.from_uri(f'{BUCKET}/t_shirt4.png', mime_type='image/png')
]
    
response = model.generate_content(prompt, stream=False)
print(response.text)

- このセーターは、白をベースに、青とグレーの模様でデザインされています。模様には、「クロームの
恐竜」とサボテンが描かれています。
- このTシャツは、ピンクから黄色、白、青へとグラデーションで染められています。Tシャツの裾には、
「Google」の文字が白で印刷されています。
- このサイクルジャージは、黒をベースに、Googleカラーの水平のストライプがデザインされています。
ストライプは、青、赤、黄色、緑の順に配置されています。ジャージの左胸には、「Google」のロゴが
白で印刷されています。
- このTシャツは、白をベースに、Googleバイクをモチーフにデザインされています。バイクのフレーム、
車輪、サドル、ハンドルバー、バスケットがカラフルなGoogleカラーで印刷されています。