強化学習始めます ～株価を学習させてAIトレードエージェントを作る!!～

こんにちはRcatです。
さて、連休もそろそろ少なくなってきました。

前回までで、株価のデータベースの作成やデータベースと連携するためのツールを準備することができました。
ここからやっと本題に入ることができます。

もうばれてると思いますが、トレーディングAIを作ろうと思います。今まで何のためにデータを集めていたのかって、それはディープランニングのためでした。
というわけで今回から強化学習始めます。

前回はこちら

本シリーズ目次

データの選択について

環境構築とデータの取得、テクニカル計算、可視化

データセットの作成

(工事中)

はじめに

利用規約

情報や作品の活用時は事前に利用規約をご確認ください。

コメントについて

利用規約のガイドラインを確認の上コメントしてください

注意

本シリーズはあくまでも個人的な取り組みであり、全てが正しいとは限りません。全ては自己責任の上で先に進んでください。
参考にした結果、大損害を被ったとしても、何の責任も取りませんので、あらかじめご了承ください。

概要

なぜデイトレで負けるのか

デイトレで負ける大きな要因は、マイナス状態でさっさと手放せなかった挙句、我慢できずに売ったらそこが底値だったということ。マジこれ。
お金かけずに冷静に分析してれば分かる場合もあるんですが、数ティックマイナスになり始めたらｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙ。
とまぁこんな感じで負けます。

どうすればいいか・・・感情に左右されない右腕とタッグを組めばいいんです。
というわけで今回からデイトレの相棒を作っていこうと思います。

強化学習とは

まず、前提となる強化学習についておさらいします。

強化学習は簡単に言えば、うまくできたら得点を与え、できなかったら与えないことで、何をすればいいのかを学習してもらうものです。

最初のうちは何も分からないので、ランダムに行動していき、どうすれば高得点を得られるのかというのを探索していきます。
ある程度学習すると高い報酬が得られるパターンが分かってくるため、それを使って行動を決定していくという流れです。

さて、今回は株式のトレードで強化学習を行うわけですが、もう簡単ですね。損益で報酬を出せばいいだけです。
ただし、学習の精度は報酬の出し方によって変わってきますので、この辺りの調整が肝になってくるのではないかと考えています。

で、今回AIに学習してもらうのはテクニカル分析のパターンになります。
私は何冊か本を読みましたが、やはりテクニカル分析には何かしらパターンというものがあるため、そういった技が紹介されていました。
もちろんそれが100%ではありませんが、パターンがあるのであれば、AIが学習することは可能であると考えました。というかディープラーニングの得意分野です。

そのため、各書籍で推奨されているテクニカル指標を混ぜたり、自分のお気に入りのテクニカル指標なんかを渡しつつ、あとは物量で学習を行い、パターンを導き出させます。

とりあえず学習してみた

さて、とりあえずどんな感じか知りたいと思うので、初回の結果だけ貼っちゃいます。

最初の1周

こんな感じです。

一番上がチャートで、売買のタイミングでマーカーがついてます。
2段目が全体の損益で上に行く方がプラスです。
3段目が決済ごとの損益です。上に行く方がプラスです。

1周目は何も分からずに、とりあえずランダムで行動しているだけなので、とにかくマーカーがいっぱいついてます。

何週か学習した状態

マーカーの入力が落ち着いてきて見やすくなってます。

これを分析するとまずは寄り付きで空売りを入れてるみたいですね。その後、少し下がった後の下落の後の陰線で手仕舞いしてます。
その後もう1度空売りを入れますが、下がったタイミングで売ることができず、ほぼ同額で手仕舞いしてます。
その次は買いでエントリーしていますが、下落してしまったのですぐに手仕舞いしています。
直後に今度は空売りを入れていますが、結局もう一度空売り入れてるので、最終的には利益が出ている感じですね。

まあ、今回は同じデータを使い回してるので、データ自体を覚えてしまっている可能性が非常に高いです。なので、未来を知った上で取引をしているという実際にはありえないパターンです。
とはいえ、何かしら学習を行い、きちんとその経験に基づき行動をしているということは、これから見て取ることができます。なので、学習自体は成功していると考えて良いでしょう。

とまこんな感じで進めていきます。

まとめ

ちょっとどころではなくとてつもなく短いですが、まずはここまでにします。
正直、この辺の情報はまるまる開示してしまうと、自分の戦略として悪影響が出るのは確実なので、情報の出し方については今検討しているところです。差し支えない範囲で出していくか、基本有料という設定にするのか…。
とはいえ、取り組み中に何も投稿しなくなってしまうのは私的にはNGなので、何をやってます!こんな進捗です!くらいは今後も発信していきたいと思います。

それではまたお会いしましょう