書記が数学やるだけ#805 モンテカルロ法・TD法（SARSA法・Q学習）
今回はエージェントが環境未知の場合の方法を示していく。
問題
説明
環境が未知の場合では，経験から価値関数を推定する方法としてモンテカルロ法やTD法が用いられる。違いとして，モンテカルロ法は1エピソードごとに更新，TD法は1ステップごとに更新する点がある。
TD法は，さらにSARSA法とQ学習に分けられる。
解答
モンテカルロ法では，まず初期方策を決めておき，ε-greedy方策に従い1試行サンプリングする。
ゴールから逆伝播により価値関数を求めていき，これに従い方策を更新する。これを収束するまで繰り返していく。
計算例を以下に示す。ここで，ゴールに辿り着かないほうな方策は割引率がかけられることで減衰していくのがわかる。
次にTD法について，これは「方策を選ぶ→価値関数の更新→状態遷移」の繰り返しにより計算される。
ゴールに辿り着いたら，スタートに戻り同様の試行を収束するまで繰り返す。
計算例について，まずはSARSA法を示す。価値関数の更新式がベルマン方程式に基づいているのがポイントである。
次にQ学習について，ここではベルマン最適方程式を用いている。
本記事のもくじはこちら：
