【データの集め方講座】Pythonで株式情報を収集しMySQLに保存

# MySQLのバージョンを確認する
mysql> select version();
+-----------+
| version() |
+-----------+
| 8.0.23    |
+-----------+
1 row in set (0.00 sec)

# Pythonのバージョンを確認する
(env) C:\Training\Kabu>python --version
Python 3.10.0

.
├── csv
├── env
│   ├── Include
│   ├── Lib
│   ├── Scripts
│   └── pyvenv.cfg
├── main.py
└── tmp

# 開発用のディレクトリに移動
cd YOUR_PROJECT_DIR
# 仮想環境を作成する
python -m venv env

# 仮想環境をアクティベート
.\env\Scripts\activate.bat
# Linuxの場合はsource enb/bin/activate

# データベースを作成する
>mysql CREATE DATABASE YOUR_DATABASE_NAME

# テーブルを作成する
mysql> create table YOUR_DATABASE_NAME.stocks (
    id int AUTO_INCREMENT not null PRIMARY KEY,
    date date not null,
    stock_name varchar(50) not null,
    stock_code int not null,
    open float not null, 
    high float not null,  
    low float not null,
    close float not null,   
    volume float not null, 
    market varchar(10) not null
);

.
├── csv # このファイルを作る
├── env
│   ├── Include
│   ├── Lib
│   ├── Scripts
│   └── pyvenv.cfg
├── main.py
└── tmp # このファイルを作る

# main.py
# 使用するモジュールのimport
# PyMySQLはあらかじめpip installしてください

import urllib.error
import urllib.request
import zipfile
import os
import datetime
import csv
import pymysql.cursors

"http://mujinzou.com/d_data/"+year+"d/"+year_last_two_digits+"_"+month+"d/T"+year_last_two_digits+month+day+".zip"

# main.py

def download_kabu_data():
    # ダウンロードで使う日付データを取得し使うものをstr型でまとめる
    # year: 年, mondth: 月(常に2桁), day: 日付(常に2桁), year_last_tow_digits: yearの下二桁
    datetime_data = datetime.datetime.now()
    year = datetime_data.year
    year_last_two_digits = str(year)[2:]

    month = datetime_data.strftime('%m')
    day = datetime_data.strftime('%d')

    file_url = "http://mujinzou.com/d_data/"+str(year)+"d/"+\
        year_last_two_digits+"_"+month+"d/T"+year_last_two_digits+month+day+".zip"

    save_path = "./tmp/download.zip"

    # file_urlからsave_pathにzipファイルをダウンロード
    try:
        with urllib.request.urlopen(file_url) as download_file:
            data = download_file.read()
            with open(save_path, mode='wb') as save_file:
                save_file.write(data)
    except urllib.error.URLError as e:
        print(e)

    # zipファイルの中身を./csv/に展開
    with zipfile.ZipFile("./tmp/download.zip") as obj_zip:
        # zipから指定ファイル（第1引数）を取得して、指定ディレクトリ（第2引数）に保存する
        obj_zip.extract("T"+year_last_two_digits+month+day+".csv", "./csv/")

    # ダウンロードしたファイルを削除
    os.remove('tmp/download.zip')

    return "csv/"+"T"+year_last_two_digits+month+day+".csv"

def registerate_kabu_data(file_path):
    with open(file_path) as f:
        reader = csv.reader(f)
        # ループ回数：約4000回
        for row in reader:
            date = row[0].replace('/','-')
            stock_code = int(row[1])
            stock_name = row[3][4:].replace('\u3000','')
            open_data = float(row[4])
            high = float(row[5])
            low = float(row[6])
            close = float(row[7])
            volume = float(row[8])
            market = row[9]

            # データベースに接続
            connection = pymysql.connect(host='localhost',
                                        user='YOUR_USER_NAME',
                                        password='YOUR_MYSQL_PASSWORD',
                                        db='YOUR_DATABASE',
                                        charset='utf8mb4',
                                        cursorclass=pymysql.cursors.DictCursor)

            try:
                with connection.cursor() as cursor:
                    sql = "INSERT INTO your_table (date, stock_name, stock_code, open, high, low, close, volume, market) VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s);"
                    cursor.execute(sql, (date, stock_name, stock_code, open_data, high, low, close, volume, market))
                    connection.commit()
            finally:
                connection.close()
    
    # csvファイルを削除
    os.remove(file_path)

if __name__ == '__main__':
    file_path = download_kabu_data()
    registerate_kabu_data(file_path)

mysql> use YOUR_DATABASE
mysql> select * from your_table