Pythonで標準出力をログファイルに出力する

Pythonにはloggingというロギング機能があって、ファイルへのログ出力ができる（Pythonでログローテーションする）。通常はstr型の文字列などをファイルに出力できるが、importしたモジュールなどで標準出力されたメッセージをログファイルに出力しておきたいことがある。今回は、標準出力をログファイルに出力する方法をまとめておく。

環境

WSL2(Ubuntu20.04)。
$ lsb_release -dr Description: Ubuntu 20.04.2 LTS Release: 20.04 $ python3 -V Python 3.8.5 $ pip3 show numpy | grep Version Version: 1.20.2 $ pip3 show pandas | grep Version Version: 1.2.4

サンプルデータの標準出力

まずはPandasのDataFrameを作成してinfo（DataFrame情報）とdescribe（記述統計）を標準出力してみる。

1 2 3 4 5 6 7 8 9 10 11 12

import numpy as np import pandas as pd   N = 100 x = np.random.rand(N) y = np.random.rand(N) z = np.random.rand(N)   df = pd.DataFrame({'x': x, 'y': y, 'z': z}) df.info() print('----------------') print(df.describe())

<class 'pandas.core.frame.DataFrame'> RangeIndex: 100 entries, 0 to 99 Data columns (total 3 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 x 100 non-null float64 1 y 100 non-null float64 2 z 100 non-null float64 dtypes: float64(3) memory usage: 2.5 KB ---------------- x y z count 100.000000 100.000000 100.000000 mean 0.474825 0.495453 0.501607 std 0.293551 0.298520 0.301321 min 0.007722 0.000517 0.024085 25% 0.198261 0.238096 0.221749 50% 0.449650 0.497857 0.487588 75% 0.714199 0.754905 0.750285 max 0.989251 0.974383 0.987117

標準出力をログファイルへ出力

次はinfoとdescribeをログファイルに出力してみる。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

from logging import getLogger, FileHandler import numpy as np import pandas as pd   N = 100 x = np.random.rand(N) y = np.random.rand(N) z = np.random.rand(N) df = pd.DataFrame({'x': x, 'y': y, 'z': z})   logger = getLogger(__name__) handler = FileHandler(filename='test.log') basicConfig(handlers=[handler], level='INFO') logger.info(df.info()) logger.info('---------------') logger.info(df.describe())

$ cat test.log INFO:__main__:None INFO:__main__:--------------- INFO:__main__: x y z count 100.000000 100.000000 100.000000 mean 0.462735 0.500712 0.484049 std 0.301317 0.306009 0.281887 min 0.018099 0.014186 0.009215 25% 0.204261 0.220634 0.239892 50% 0.430329 0.505439 0.463983 75% 0.719548 0.761718 0.702858 max 0.992983 0.997839 0.991739

describeの結果は出力されているがinfoの結果はNoneになっている。これはinfoの結果は標準出力されるため。以下のようにredirect_stdoutで標準出力の出力先を一時的にバッファに変え、バッファの内容をログファイルに出力することでinfoの結果をログファイルに出力できる。このようにすることで、importしたモジュールで標準出力されるメッセージなどもログファイルに出力できる。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

from logging import getLogger, FileHandler import io from contextlib import redirect_stdout import numpy as np import pandas as pd   N = 100 x = np.random.rand(N) y = np.random.rand(N) z = np.random.rand(N) df = pd.DataFrame({'x': x, 'y': y, 'z': z})   logger = getLogger(__name__) handler = FileHandler(filename='test.log') basicConfig(handlers=[handler], level='INFO') buf = io.StringIO() with redirect_stdout(buf):     df.info()     logger.info(buf.getvalue())

$ cat test.log INFO:__main__:<class 'pandas.core.frame.DataFrame'> RangeIndex: 100 entries, 0 to 99 Data columns (total 3 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 x 100 non-null float64 1 y 100 non-null float64 2 z 100 non-null float64 dtypes: float64(3) memory usage: 2.5 KB

ちなみに、infoメソッドにはbufというキーワード引数ががあり、これを使うとredirect_stdoutを使わずにログファイルに出力できる。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

from logging import getLogger, FileHandler import io import numpy as np import pandas as pd   N = 100 x = np.random.rand(N) y = np.random.rand(N) z = np.random.rand(N) df = pd.DataFrame({'x': x, 'y': y, 'z': z})   logger = getLogger(__name__) handler = FileHandler(filename='test.log') basicConfig(handlers=[handler], level='INFO') buf = io.StringIO() df.info(buf=buf) logger.info(buf.getvalue())