日本語使用可能LLM Rinnaに英語翻訳依頼をしてみる

こんにちは。Rcatです。
前回は大規模言語モデル、Rinnaを使ってDiscordのボットを作ってみました。
さて、とりあえず動かすところまではいけたので一段落といったところですが、ただ動いただけなんですよね。
まあ動くだけでも面白いんですが、せっかくなら何かしら仕事をさせたいです。
実はこのAI日本語だけではなく、英語も扱えるということなので、翻訳をさせてみたいと思います。
というか、実はこれが目的で日本語と英語のモデルを選んでたりします。

前回の記事はこちら

早速試してみる

前々回作ったWebアプリを使用して様々なプロンプトで翻訳を試してみます。

パラメーター

まず、前提としてAIのパラメーターは以下にします。
回答に偏りが出ても困るので、temperatureは下げておくと言った感じです。

実験開始

とりあえず何も考えず入力してみます。
結果大失敗。
処理対象の文章がどこなのかくらいは認識していそうですが、翻訳せずそのまま返してきてしまいましたね。

文章に区切り文字を入れてみる

こちらも前回と全く同じ回答です。
現時点でも処理対象の文章はきちんと認識できているみたいです。

プロンプトのフォーマットを意識してみる

ちょっとプロンプトについて調べて、フォーマットを工夫してみました。
ここでやっと英語が返ってきました。
しかし、内容がなんかおかしいような

というわけでチャットGPTに日本語変換を依頼したところ以下のような回答になりました。
どうやら処理対象の文章が少しごちゃ混ぜになってしまっているようですね。

指示の部分を一部消してみる

先ほど入力した"### Text ###"の部分を削除してみます。
おや、これはダメですか？また日本語になってしまいました。

処理対象の文章、先頭に"Text: "をつけてみる

プロンプトについて調べた中でこういう書き方があったのでマネしてみました。
先頭の部分も含めて処理対象として認識されてしまったようです。

指示自体を英語にしてみる

日本語でお願いするから、日本語で返してくるのかもしれないと思い、指示自体を英語にしてみました。
結果変わらず…本当に指示を理解しているのか謎になってきました。

追加で明確に指示といれてみましたが、これも変化はありません。

会話形式で試してみる

最初に別の会話で設定を付与することはよくありますよね。
それを利用して、まず最初にこのお話では英語翻訳を依頼する趣旨のお話をしておきます。
ちなみにですが、会話履歴は載せている分しか保持しないようにして検証を行っています。
さて、一番最初の返答時点で何か怪しい雰囲気満載ですね。
からの回答はなんと空白。
どうしたの？と聞いてみると明後日の回答に…

きちんと指示を理解したのか確認してから翻訳をお願いする

もう少し会話の先頭を工夫してみます。
指示の内容は今まで通り。ただし、理解できたかどうかを確認する文言と、それに対する回答を指定しています。
というわけではいと回答が出たので、きっと理解しているんだろうということで、翻訳指示を出したところ、相変わらず日本語で返してきました。
そろそろぶん殴っていいですかね?

はい、と答えていて実は理解していないのかな？ということで聞いてみたところ、あさっての回答が。それとも聞き方が悪いのか、そこら辺は謎です。

比較としてチャットGPTに全く同じ入力をしたところ、"前回の指示を教えてください"ですら、英語に翻訳してくれました。
本当はこれくらいを望んでいるんですけどね。

結局のところ、指示を理解しているのかどうかあいまいな件

毎回聞き方に応じて回答が異なるのですが、以下のような聞き方をした場合、全く理解していないみたいです。

以下のように簡潔に聞いた場合はそれらしい回答を返してきます。

せっかくいい回答をもらったので、そのまま翻訳のお願いに繋げると残念日本語です。

虚偽の会話履歴を作って渡す

先ほど会話形式での翻訳を試みましたが、そもそも会話履歴というのは、前回の会話の内容をつなげたプロンプト形式のことになります。
つまりは虚偽の会話履歴を自分で作成して、AIに任意の話の流れをつかませて処理させることもできるのです。
ということで、数回分のやり取りを偽装してチャレンジしてみます。

先ほどの会話形式のプロンプトが以下

偽装会話の作成
とりあえず素直に翻訳してくれた会話履歴を捏造します。
それが以下になります。
この会話履歴は、最初に翻訳のお願いと了承が行われ、その後入力された文字列を素直に英語にしています。
この会、話の流れを読んでくれれば、きっと翻訳してくれるに違いない!!

ユーザー: あなたに英語への翻訳をお願いしたいです
システム: もちろんです。お手伝いします
ユーザー: 以下の文章を英語に翻訳してください
"ねこはとてもかわいいので、人気があります"
システム: Cats are very cute, so they are popular.
ユーザー: 以下の文章を英語に翻訳してください
"今日は晴れですが、明日は雨の予報です"
システム: Today is sunny, but tomorrow is forecasted to be rainy.

出力結果は以下のようになりました。
なんと変わってません

ちなみに入力された情報は画面にプリントしているので、きちんと捏造された会話の履歴と、今回の指示が結合されていることが分かります。
これでもダメなのか…

まとめ

今回は英語翻訳を依頼してみました。
結果としては殆ど上手く行きませんでした。
やってみた感覚だと入力したプロンプトを正しく理解してもらえてない感じがします。
もう少し入力を工夫すればうまくいくのか？それともそもそもそういう使い方が間違っているのか、その辺りはわかりません。
この会話モデルというのは会話の成立が目的であり、何らかの仕事をするのには向いてなかったりするんでしょうかね?
では、また進展があり次第お会いしましょう。

追伸
別のAIにて翻訳成功しました。
ちょっとがっかりだった方はこちらもあわせてご確認ください