【昭和の遺産LZHを全自動で剥く】毎週のデータ更新で絶望しない！Python×7-Zipで組んだ29テーブル自動仕分けライン!Alma Core Pro開発記 #5

どうも、アルマコアです！

本業は工場の自動化機械やシーケンサー（PLC・制御盤）の設計に向き合っている、現役の機械エンジニアです。

前回の第4回では、競馬ブック（KD3）の全29テーブルに3本のメインシャフト（5連・6連の複合主キーと血統番号）を貫通させ、コンマ数秒で全データが連動する「SQLite総組立図（ER図）」の設計劇をお話ししました。

「よっしゃ！ これで29個のストッカー（テーブル）と搬送ライン（配線・JOIN）は完璧に組み上がったぞ！」

……と、深夜2時に一人ガッツポーズを決めていた私ですが、次に襲いかかってきたのは「毎週エンドレスで供給される部品（データファイル）の山」という過酷な現実でした。

1. 悪魔の二重圧縮マトリョーシカ

競馬のデータは、一度データベースを作って終わりではありません。

毎週・毎開催ごとに、出馬表、確定オッズ、調教短評、そして月曜には確定着順やラップタイムが入った成績データが、競馬道OnLineのサーバーからドバドバと落ちてきます。

しかも、その送られてくるデータの姿を見たとき、私は思わず画面を二度見しました。

ダウンロードしたファイル： kd3_latest_pack.zip
 └─ 解凍すると中から…： kd3_261011.lzh （！？）
   └─ さらに解凍すると…： kol_den1.kd3, kol_den2.kd3, kol_kod.kd3 ...

「.zip の中から、昭和の遺産『.lzh』が出てきて、それを剥いたらようやく生データ『.kd3』が出てくるやと……！？」

まさに悪魔のマトリョーシカ構造です。

深夜2時のハイテンションな私の脳内では、こんな一人乗りツッコミが繰り広げられていました。

「何十個もあるこの二重圧縮ファイル、まさか毎週手動で解凍する？」

「うん！ そうそう！」

「こうやって、1つずつ皮剥いて！」

「電子レンジで、チ〜ンて！」

「アホかーーーッッ！！！」

「そんなん毎週やっとったら死んでまうし！ 予想する時間なくなるわ！」

「ほな君、機械屋やろ！ やったらここも完全自動化せんかい！」

毎週土日の競馬前に、何十個もの圧縮ファイルをポチポチ手動で解凍し、「これは出馬表やからこっち、これはオッズやからそっち……」なんて手作業で仕分けていたら、メインレースの発走どころか土曜日が終わってしまいます（笑）。

機械設計屋のプライドにかけて、「指定フォルダに放り込んだら、皮むきから29テーブルへの仕分け・インポートまでボタン1つで全自動で流れる搬送ライン」をPythonで組むことを決意しました！

2. 令和のPythonで昭和の「.lzh」をどう安全に剥くか？

自動化ラインを作るにあたって、最初に立ちはだかったのが「令和の最新プログラミング環境で、どうやって昭和の圧縮形式 .lzh を剥くのか？」という問題でした。

今のPythonには、.zip を扱うための標準ライブラリ（zipfile）は最初から用意されています。

しかし、昔のパソコン通信やWindows 95〜XP時代を支えた .lzh（LHA書庫）を解凍する標準機能なんて、現代のPythonには影も形もありません。

「昔みたいに unlha32.dll をシステムフォルダ（System32）にぶち込んで、32bit環境のAPIを叩くか……？」

いやいや、そんな設計は絶対にアカン！

使う人に怪しいDLLファイルを別で手動インストールさせたり、OSのバージョンや64bit環境の違いで動かなくなったりするような軟弱な機構は、機械屋として公差±0の設計とは呼べません。

そこで私が採用したのが、「コマンドライン版 7-Zip（7z.exe）をエンジンに据え、環境に応じて安全にフォールバックする高剛性アンパッカー機構」でした。

Python

def extract_archive_7z(archive_path: str, dest_dir: str) -> bool:
    # 配布フォルダ内やWindows標準の7-Zipパスを自動探索
    seven_zip_paths = [
        os.path.join(BASE_DIR, "7z.exe"),
        os.path.join(BASE_DIR, "7-Zip", "7z.exe"),
        r"C:\Program Files\7-Zip\7z.exe",
        r"C:\Program Files (x86)\7-Zip\7z.exe",
    ]
    for sz in seven_zip_paths:
        if os.path.exists(sz):
            # サブプロセスでサイレント（バックグラウンド）解凍を実行
            res = subprocess.run(
                [sz, "x", archive_path, f"-o{dest_dir}", "-y"],
                stdout=subprocess.DEVNULL,
                stderr=subprocess.DEVNULL
            )
            return res.returncode == 0
            
    # 7-Zipが見つからない場合の標準zipフォールバック
    try:
        with zipfile.ZipFile(archive_path, 'r') as zip_ref:
            zip_ref.extractall(dest_dir)
        return True
    except Exception:
        return False

アプリに最小構成の 7z.exe を同梱しておけば、ユーザーに面倒な環境構築を一切させることなく、.zip も .lzh もバックグラウンド（サイレントモード）で一撃解凍できます。

工場のラインで言えば、「どんな形状の梱包ダンボールが流れてきても、センサーが検知して自動でカッターを入れて中身を取り出す万能開梱ロボット」を配置したわけです！

3. 3重解体ループと「29テーブル自動仕分けコンベア」

開梱ロボットの刃が決まったら、次は「マトリョーシカの連続解体」と「29テーブルへの自動振り分けコンベア」の構築です。

落ちてくるデータの中には、.zip の中に .lzh があり、さらにその中に別の圧縮ファイルが潜んでいるケースもあります。

そこで、一時作業フォルダ（TEMP_DIR）の中で、圧縮ファイルが完全に消え去るまで最大3回まで再帰的に皮を剥き続ける「連続解体ループ」を仕込みました。

Python

# 1. まず外側のLZH/ZIPを一時フォルダに解凍
extract_archive_7z(lzh_path, TEMP_DIR)

# 2. 中からさらにzipやlzhが出てきたら、消えるまで最大3周連続で皮を剥く！
for loop in range(3):
    raw_subs = glob.glob(os.path.join(TEMP_DIR, "**", "*.zip"), recursive=True) + \
               glob.glob(os.path.join(TEMP_DIR, "**", "*.lzh"), recursive=True)
    sub_archives = list(set(os.path.normpath(f) for f in raw_subs))
    if not sub_archives:
        break
    for sub_arc in sub_archives:
        extract_archive_7z(sub_arc, TEMP_DIR)
        os.remove(sub_arc) # 剥いた抜け殻は即座にスクラップ！

これで、どんなに深いマトリョーシカであっても、最終的には純度100%の .kd3 生ファイルだけがコンベアの上に綺麗に整列します。

ファイル名から「行き先」を瞬時に見抜くディスパッチャ（仕分け装置）

整列した .kd3 ファイルは、名前を見ただけでどのテーブルに入るべきかが決まっています。

工場のパーツフィーダー（選別搬送機）のように、Pythonの辞書を使ってファイル名とパーサー関数を直結させました。

Python

# 29テーブルの行き先とパーサー（解析器）の対応マップ
TABLE_PARSERS = {
    'kol_sei1': db_parser.parse_kol_sei1, # 競走成績（親）
    'kol_sei2': db_parser.parse_kol_sei2, # 競走成績（馬単位・着順やラップ）
    'kol_den1': db_parser.parse_kol_den1, # 出馬表（親）
    'kol_den2': db_parser.parse_kol_den2, # 出馬表（馬単位・短評や指数）
    'kol_kod':  db_parser.parse_kol_kod,  # 単勝・複勝オッズ
    'kol_com1': db_parser.parse_kol_com1, # トラックマン次走メモ・厩舎談話
    'kol_uma':  db_parser.parse_kol_uma,  # 競走馬マスタ
    # ...（全29テーブルに対応）
}

そして、一時フォルダに現れた生ファイルをループで走査します。

Python

for kd3_path in kd3_files:
    kd3_name = os.path.basename(kd3_path)
    # ファイル名「kol_sei1.kd3」からテーブル名「kol_sei1」を瞬時に抽出
    table_name = os.path.splitext(kd3_name)[0].lower()

    # 登録された29テーブルの仕分けラインへ全自動搬送！
    if table_name in TABLE_PARSERS:
        db_importer.import_table_data(
            DB_PATH,
            table_name,
            kd3_path,
            TABLE_PARSERS[table_name],
            batch_size=5000
        )

1. os.path.splitext でファイル名から拡張子を切り離す。

2. 切り出した文字列（例：kol_sei2）が登録テーブルにあれば、対応する解析関数（パーサー）をセットしてインポートエンジンへ投入する。

この機構のおかげで、人間が「これは出馬表で……これは特別登録で……」なんて考える必要は1ミリもありません。

コンベアに流れてきた部品の刻印をカメラで読み取って、エアシリンダーで正しいストッカーへパシュッ！と弾き分けるFA搬送ラインの完成です！

4. 現場のこだわり：エラー時の保全と「自浄作用」

工場の自動化機械で一番やっちゃいけないのは、「途中でエラーが起きたときに、中途半端に部品を噛み込んでラインが詰まること」です。

データベースのインポートも全く同じです。

もし、何十個もあるファイルのうち1つだけダウンロードに失敗していたり、途中でPCの電源が落ちたりしたとき、データが中途半端に取り込まれて元のファイルが消えてしまったら復旧が地獄になります。

そのため、『Alma Core Pro』の搬送ラインには強固な「インターロック（保全機能）」を組み込みました。

Python

# 全テーブルが完璧にインポートできた場合のみ、元ファイルを自動破棄して履歴を刻む
if file_imported > 0 and file_failed == 0 and os.path.exists(lzh_path):
    os.remove(lzh_path)            # 処理済みLZHを自動消去して容量節約！
    self.mark_downloaded(lzh_name) # dl_historyテーブルに刻んで二重取込を完全防止！
elif file_failed > 0:
    # 1件でも失敗したら、原因究明のために元ファイルは絶対に捨てずに残す！
    self.log(f"⚠️ 一部取込に失敗したためLZHは保持します (成功: {file_imported} / 失敗: {file_failed})")

• 正常に取り込みが終わった .lzh ファイル：役目を終えたダンボール箱として自動でシュレッダー（os.remove）へ送られ、SSDやHDDの容量を圧迫しません。

• インポート履歴の記録：dl_history という専用テーブルに「このファイルは処理済み」というタイムスタンプを刻み込み、二重取込を完全防止。

• 異常検知時のフェイルセーフ：万が一、1テーブルでも取込エラーが出た場合は決してファイルを消さずにストップさせ、ログにエラー箇所を正確に吐き出します。

この徹底した自浄作用とインターロックがあるからこそ、何年分・何万件という膨大なデータを流し込んでも、システムが絶対にクラッシュせず動き続けるのです！

5. 『Alma Core Pro』なら、毎週のデータ更新が「完全放置」になる

競馬ブック（KD3）の生データ運用に挑んだ競馬ファンが、挫折する最大の関門。

それは「テーブルの設計」でもありますが、実はそれ以上に「毎週の解凍・更新作業があまりにも面倒くさすぎて、途中で心が折れて放置してしまうこと」です。

毎週木曜に特別登録を落とし、金曜に出馬表と予想オッズを剥き、土日に確定オッズを追いかけ、月曜に成績を取り込む……。

こんな作業を手作業でやっていられる人間なんて、この世にいません（笑）。

だからこそ、『Alma Core Pro』というツールの真骨頂があります。

• 競馬道OnLineから落ちてくる二重圧縮パック（.zip ➜ .lzh）を、バックグラウンドで全自動解体。

• 29テーブルへの仕分け、バイト切り出し、SQLiteへのバルクインサート、そして処理済みファイルの自動お掃除まで、すべて「ボタンを1回ポチッと押すだけ」で完全放置で完結します！

皆さんは、毎週の面倒な「皮剥き作業」に1秒たりとも時間を使う必要はありません。

ただ出来上がった最高精度のデータベースを開いて、「週末のレース分析と回収率アップ」だけにすべての集中力を注ぎ込むことができるのです！

6. 次回予告：10万行のデータを瞬殺する「SQLite限界突破」の極意

さあ、これでマトリョーシカの解体ロボットと、29テーブルへの自動仕分けコンベア（ディスパッチャ）が稼働しました！

……しかし、ここでインポート処理の「真のラスボス」が立ちはだかります。

「よし！ コンベアが動いたから、過去10年分の成績データ（数百万行）を一気に流し込んでみよう！」

意気揚々とテストを実行した私。しかし、画面のプログレスバーはミリ単位でしか進まず、CPUファンが唸りを上げ、SQLiteへの書き込みは絶望的な遅さでフリーズ寸前に……！

「おいおい嘘やろ！？ 1行ずつ INSERT してたら、10年分のインポートが終わるのに丸3日かかるやんけ！！」

工場のラインで言えば、搬送コンベアは超高速なのに、加工機のプレススピードが遅すぎて製品が山積みになり、大渋滞を起こしている状態です。

次回、

【Alma Core Pro開発記 NO.6】1クエリ5万DCの壁をぶち破れ！SQLiteトランザクションと超高速バルクインサートで数百万行を瞬殺した夜。

なぜ1行ずつのINSERTは遅いのか？

PRAGMA設定（WALモード）、5,000件単位のメモリバッファ（バルクインサート）、そしてPythonとSQLiteのトランザクションを極限までチューニングして、数百万行のデータをコンマ数秒で吸い込ませた「爆速化の極意」をコード付きで大公開します！

どうぞお楽しみに！

☕ 最後まで読んでいただき、ホンマにありがとうございました！

「二重圧縮の皮むき自動化、めちゃくちゃわかる（笑）」「工場の仕分けラインのたとえがリアルすぎて面白い！」と思っていただけたら、ぜひ画面下の「スキ（ハートマーク）」や「フォロー」をポチッと押していただけると、開発と執筆を続ける最高のガソリンになります！

◀️ 前の記事はこちら

👉 【第4回：全29テーブルの全体配線図！工場の制御盤屋が組んだ複合主キー設計思想】

📚 【全話イッキ読み】自作競馬ソフト開発記マガジン

👉 [Alma Core Pro / MDI Pro 開発マガジンを開く]

💡 「なぜExcelでもサーバー型DBでもなくSQLiteなのか？」原点の第1回はこちら

👉 [開発記 第1回を読む]

⏩ 次のお話はこちら

👉 【第6回：1クエリ5万DCの壁をぶち破れ！SQLiteバルクインサートで数百万行を瞬殺した夜】

🤖 工場のPLC屋が本気で書く！痛快＆重厚な自作Web小説も連載中

👉 [『転生したらイーロン・マスクが大統領だった件（笑）』第1話へ]

👉 [本格クライムSFサスペンス『アブダクション・プロトコル』第1話へ]