Open Interpreter搭載のオープンソース「01」を試す

こんにちは、ニケです。
色々あって最近 Open Interpreter のDiscordサーバーのMODになりました。

今回はその Open Interpreter から新しいオープンソースプロジェクトである「01」が発表されたので紹介したいと思います。

01 とは？

Open Interpreterが搭載されたオープンソースプロジェクトで、2024年3月21日に発表されました。
「オーワン」と読むそうです。

Open Interpreterを簡単に説明すると、ChatGPTに搭載されているAdvanced Data Analysisのローカル版で、プログラミングを介した様々なタスクを実行してくれます。

このローカルで動くというのが大きな特徴で、Advanced Data Analysisのようにいちいちファイルをアップロードする必要がなく、フォルダパスを指定するだけで実行してくれます。
さらにPCに存在するアプリの立ち上げや実行など、直接OSを操作してもらうことも可能です。

ただ、動かすには環境の構築が必要なのでエンジニア以外の方には少し取っ付きづらいかもしれません。

01はそのOpen Interpreterに手に取りやすいインターフェースが付いたものだと考えてください。
2024年1月に発表されたRabbit R1に近いかもしれません。

デベロッパーのKillian氏もRabbitに感銘を受けて01プロジェクトを発足したようです。
（1/10にこのツイートして3/21に発表ってすごくない？？？）

01 light

01 lightは、01が搭載されたデバイスで、パソコンと連携することで会話しながら操作することが可能です。

この白くて丸いデバイスが01 lightです。

上の動画では 01 light のデモが紹介されており、下記のタスクをすべて対話で実行していました。
使用方法は、デバイスのボタンを押して話すだけです。

• 次の晴れの日がいつかを調べる

• その日の予定をカレンダーをチェック

• その日のシアトルで行われるコンサートの情報を提供

• カレンダーにコンサートの予定を追加

• 特定の人物にデスクトップ上にあるファイルをメールで送信

• Slackアプリから特定の人物を選択してメッセージを送信

• メールを監視し、届いた内容をSlackで送信

01 light は99ドルで販売が開始されていますが、残念ながら現在はアメリカの住所のみが対象のようです。
日本ではまだ手に入らないみたいですね。

ただ、01には「01 light」の他に、「01 OS」と「01 server」が存在し、それぞれOSSとして公開されています。

そこで今回は、01 OS をMac PC上で試してみることにします。

01を触ってみる

01のサイトからDocsを開くと使い方が載っています。

準備

# 必要パッケージのインストール
> brew install portaudio ffmpeg cmake
 
# リポジトリクローン
> git clone https://github.com/OpenInterpreter/01.git
> cd 01/01OS
 
# ライブラリのインストール
> poetry install
 
# 環境変数の設定
> export OPENAI_API_KEY=sk-xxxx

実行！

> poetry run 01 


○ 

Starting...


INFO:     Started server process [82412]
INFO:     Waiting for application startup.


Ready.

Press the spacebar to start/stop recording. Press CTRL-C to exit. 
This process is not trusted! Input event monitoring will not be possible until it is added to accessibility clients.

立ち上がったみたいです。
スペースを押している間、音声入力を受け付けるとのこと。

  Recording started...
  Recording stopped.
audio/wav /var/folders/4w/cbm3057j0llc41qylbp27gtc0000gn/T/input_20240321202649192700.wav /var/folders/4w/cbm3057j0llc41qylbp27gtc0000gn/T/output_20240321202649193999.wav
>  あなたは誰ですか

                                                                                                                                             
  私は01、画面のないエグゼクティブアシスタントです。任意のタスクを完遂できます。                                                             
                                                                                                                                             
  Let me know what you'd like to do next.     

「あなたは誰ですか」が私が発言した部分です。
STTで保存した音声データを文字列に変換しているようです。

その後、01より返答が返ってきます。
下記の部分は逆にTTSを使用して音声で回答してくれました。

処理の流れ自体はOpen Interpreterと変わらないと思うので今回はカットします。

感想

できることはOpen Interpreterと大きく変わらないので、特別大きな驚きはないですが、インストールから音声で会話できるまでがすぐに試せたのはかなり良いです。
音声対話できるだけで、一気にアシスタント感が増した気がします。

日本では残念ながら入手できない 01 light ですが、先程のOS版よりも手軽に動作することを考えると、アレクサの上位互換として生活に溶け込むのも時間の問題かもしれませんね。

ソースコードはこちらから。