書記が数学やるだけ#803 マルコフ決定過程，ベルマン方程式，ベルマン最適方程式

強化学習で中心となる数式について今回はまとめていく。

問題

説明

マルコフ決定過程（MDP）は，状態遷移が確率的に生じる動的システムの確率モデルであり，状態遷移がマルコフ性を満たすものをいう。強化学習の文脈では，各時刻において環境はある状態 (state) を取り，エージェントはその状態において利用可能な行動 (action) を任意に選択すると， その後環境はランダムに新しい状態へと遷移し，その際にエージェントは状態遷移に対応した報酬 (reward) を受けとる。

MDPでは，収益が最大となるような最適方策を見つけることを目標とする。そこで，状態価値関数や行動価値関数（Q関数）を計算していくことになる。

状態価値関数とは，状態遷移する環境に対してある方策を条件とした収益の期待値である。一方で，条件に行動を加えたのが行動価値関数（Q関数）である。

価値関数の計算において，ベルマン方程式・ベルマン最適方程式を用いることで有限の計算に帰着することができる。

解答

状態遷移は行動（赤）による状態（緑）の変化を示したものであり，現在の状態sと行動aによる次の状態s'の条件付き確率として表される。

報酬関数は現在の状態s・行動a・次の状態s'の関数として表され，以下で言うと黄色の矢印に相当する。

エージェントの方策は状態（緑）からどの行動（赤）を選ぶかを示したものであり，現在の状態sによる行動aの条件付き確率として表される。

一例を以下に示しておく。

ではベルマン方程式の導出について，まずは状態価値関数から示していく。まず，収益について再帰的な式を出し，これに状態価値関数を代入することで2つの項に分けられる。

まず①について，状態sから方策πに従い行動aを取り，状態がs'に遷移する場合を考える。この場合，報酬が得られる確率は方策確率π×遷移確率pで表され，全ての候補について和を求めることで報酬の期待値を求めることができる。

②について，次の状態価値関数は報酬が得られる確率は方策確率π×遷移確率pで表され，全ての候補について和を求めることで収益の期待値を求めることができる。

最後に①と②を代入することで，ベルマン方程式が導出できる。これにより，現在の状態の価値関数と次の状態の価値関数の関係が示せた。

Q関数についてのベルマン方程式は，同様の計算で示すことができる。

ベルマン方程式はある方策πに関して成り立つもので，「最適方策π*」に関してのみ考えたのがベルマン最適方程式である。最適方策ではΣの中が最大となるような行動を常に選ぶことから，maxを用いて式変形ができる。これにより
最適な行動価値関数が求められ，最適方策はargmaxを用いて表すことができる。

本記事のもくじはこちら：