青空文庫のデータを一括ダウンロードする

青空文庫のデータがGitHubで一括ダウンロードできるということなので、実際に試してみた。

知らなかった……“青空文庫”の全データは“GitHub”から一括ダウンロードできる！（窓の杜）

環境

Bash on Ubuntu on Windows
$ cat /etc/issue Ubuntu 16.04.3 LTS \n \l

GitHubから一括ダウンロード

青空文庫のデータがアップロードされているのはGitHubのaozorabunko。gitで最新版のみをダウンロードする。
$ git clone --depth 1 https://github.com/aozorabunko/aozorabunko.git

約1.6GBとなかなかのサイズ。
Cloning into 'aozorabunko'... remote: Counting objects: 65007, done. remote: Compressing objects: 100% (50072/50072), done. remote: Total 65007 (delta 21367), reused 55244 (delta 14742), pack-reused 0 Receiving objects: 100% (65007/65007), 1.61 GiB | 741.00 KiB/s, done. Resolving deltas: 100% (21367/21367), done. Checking connectivity... done. Checking out files: 100% (63135/63135), done.

aozorabunkoというディレクトリが作成され、zip圧縮された作品のテキストデータをはじめ、その配下にさまざまなファイルがある。

ダウンロードしたファイルから目的の作品を探す

作品テキストデータのzipはaozorabunko/cards/配下に著者ごとのディレクトリに分けられて存在するが、ファイル名は作品ごとのIDなどからつけられており、ファイル名を見ただけでは著者や作品名がわからない。青空文庫には作家別の作品一覧表のcsv（拡充版）があって、それを見ると作品とファイル名の対応がわかる。このcsvもzip圧縮されてGitHubのデータに含まれている。2ファイルあるのは文字コードの違い。
$ ls aozorabunko/soramoyou/list_person_all_extended* aozorabunko/soramoyou/list_person_all_extended.zip aozorabunko/soramoyou/list_person_all_extended_utf8.zip

そのcsvを使って目的の作品のテキストデータを探すコマンドを作成した。作品タイトル、著者の苗字、下の名前を「キーワード」で検索できる（長いコマンドなので自動改行されて表示されているが、実際は1行のコマンド）。
$ gunzip -c aozorabunko/soramoyou/list_person_all_extended_utf8.zip | sed 1d | awk -F',' '{gsub("\"",""); print $1,$2,$16,$17,substr($46,25)}' | grep キーワード --color=auto

「太陽」で検索すると、以下の結果になった。作品ID、作品タイトル、著者、作品zipファイルの場所が出力される。

2018年9月7日の時点で14938もの作品があるということだが、これだけ大量の文章をボランティアでまとめているなんて、青空文庫はすごいな。