書記が数学やるだけ#802 強化学習の枠組み，多腕バンディット問題

2023年12月12日 12:07

今回から強化学習についていくつか触れていくことにする。

問題

説明

強化学習の枠組みを以下に示す。構成要素はEnvironment（環境）とAgent（エージェント）からなり，エージェントの行動により環境は次の状態へ変化し，現在の環境の状態に応じエージェントは行動を選択するというサイクルを繰り返し，場合に応じてエージェントは行動の結果から報酬をもらう。このような構成から，累積報酬（収益）を最大化するのが強化学習の主な目的である。

今回は簡単な問題である多腕バンディット問題を例に考える。

『ある確率でコインがもらえる複数台のスロットがあり，各スロットで当たりの確率は異なる。このとき，プレイヤーはコイン数を最大にするために，どのようなルールで回すのが良いか？」

強化学習の枠組みに当てはめたのが下図である。スロットは環境に相当し，当たりの確率が状態であり，当たりの確率が変動しない場合は状態の変化はない。一方でプレイヤーはエージェントに相当し，行動として当たりの確率に応じてどのスロットを回すかを決める。ここでいう報酬はコインであり，最終的には全体のコイン数を最大にする方策を考えることとなる。

コイン数を最大にするのであれば，できる限り当たりの確率が高い台を回すのが良いだろう。以下の例において，当たりの確率がわかっているのであれば，期待値の大きい台を選ぶのが合理的である。

しかし，現実には当たりの確率はわからないことが多いため，何度か試しに回して当たりの確率を推測する必要がある。

ε-greedy法は，確率εで探索，確率1-εで活用をするという単純な方策である。スロットの例で言うと，1000回だけ回せる場合に，ε=0.1のときは，100回は試しにスロットを回して期待値を求め（探索），残りの900回は最も期待値の高い台だけを回し続ける（活用），という感じになる。

ここで，εが小さすぎると探索が少なくなり，最善の台をうまく選べない可能性が上がる。一方で，εが大きすぎると活用が少なくなり，最善の台を選ぶ回数が少なくなる。探索と活用はトレードオフの関係にあり，最適なεを設定する必要がある。