Pythonで標準出力をログファイルに出力する

Pythonにはloggingというロギング機能があって、ファイルへのログ出力ができる（Pythonでログローテーションする）。通常はstr型の文字列などをファイルに出力できるが、importしたモジュールなどで標準出力されたメッセージをログファイルに出力しておきたいことがある。今回は、標準出力をログファイルに出力する方法をまとめておく。

環境

WSL2(Ubuntu20.04)。
$ lsb_release -dr Description: Ubuntu 20.04.2 LTS Release: 20.04 $ python3 -V Python 3.8.5 $ pip3 show numpy | grep Version Version: 1.20.2 $ pip3 show pandas | grep Version Version: 1.2.4

サンプルデータの標準出力

まずはPandasのDataFrameを作成してinfo（DataFrame情報）とdescribe（記述統計）を標準出力してみる。

import numpy as np
import pandas as pd

N = 100
x = np.random.rand(N)
y = np.random.rand(N)
z = np.random.rand(N)

df = pd.DataFrame({'x': x, 'y': y, 'z': z})
df.info()
print('----------------')
print(df.describe())

<class 'pandas.core.frame.DataFrame'> RangeIndex: 100 entries, 0 to 99 Data columns (total 3 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 x 100 non-null float64 1 y 100 non-null float64 2 z 100 non-null float64 dtypes: float64(3) memory usage: 2.5 KB ---------------- x y z count 100.000000 100.000000 100.000000 mean 0.474825 0.495453 0.501607 std 0.293551 0.298520 0.301321 min 0.007722 0.000517 0.024085 25% 0.198261 0.238096 0.221749 50% 0.449650 0.497857 0.487588 75% 0.714199 0.754905 0.750285 max 0.989251 0.974383 0.987117

標準出力をログファイルへ出力

次はinfoとdescribeをログファイルに出力してみる。

from logging import getLogger, FileHandler
import numpy as np
import pandas as pd

N = 100
x = np.random.rand(N)
y = np.random.rand(N)
z = np.random.rand(N)
df = pd.DataFrame({'x': x, 'y': y, 'z': z})

logger = getLogger(__name__)
handler = FileHandler(filename='test.log')
basicConfig(handlers=[handler], level='INFO')
logger.info(df.info())
logger.info('---------------')
logger.info(df.describe())

$ cat test.log INFO:__main__:None INFO:__main__:--------------- INFO:__main__: x y z count 100.000000 100.000000 100.000000 mean 0.462735 0.500712 0.484049 std 0.301317 0.306009 0.281887 min 0.018099 0.014186 0.009215 25% 0.204261 0.220634 0.239892 50% 0.430329 0.505439 0.463983 75% 0.719548 0.761718 0.702858 max 0.992983 0.997839 0.991739

describeの結果は出力されているがinfoの結果はNoneになっている。これはinfoの結果は標準出力されるため。以下のようにredirect_stdoutで標準出力の出力先を一時的にバッファに変え、バッファの内容をログファイルに出力することでinfoの結果をログファイルに出力できる。このようにすることで、importしたモジュールで標準出力されるメッセージなどもログファイルに出力できる。

from logging import getLogger, FileHandler
import io
from contextlib import redirect_stdout
import numpy as np
import pandas as pd

N = 100
x = np.random.rand(N)
y = np.random.rand(N)
z = np.random.rand(N)
df = pd.DataFrame({'x': x, 'y': y, 'z': z})

logger = getLogger(__name__)
handler = FileHandler(filename='test.log')
basicConfig(handlers=[handler], level='INFO')
buf = io.StringIO()
with redirect_stdout(buf):
    df.info()
    logger.info(buf.getvalue())

$ cat test.log INFO:__main__:<class 'pandas.core.frame.DataFrame'> RangeIndex: 100 entries, 0 to 99 Data columns (total 3 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 x 100 non-null float64 1 y 100 non-null float64 2 z 100 non-null float64 dtypes: float64(3) memory usage: 2.5 KB

ちなみに、infoメソッドにはbufというキーワード引数ががあり、これを使うとredirect_stdoutを使わずにログファイルに出力できる。

from logging import getLogger, FileHandler
import io
import numpy as np
import pandas as pd

N = 100
x = np.random.rand(N)
y = np.random.rand(N)
z = np.random.rand(N)
df = pd.DataFrame({'x': x, 'y': y, 'z': z})

logger = getLogger(__name__)
handler = FileHandler(filename='test.log')
basicConfig(handlers=[handler], level='INFO')
buf = io.StringIO()
df.info(buf=buf)
logger.info(buf.getvalue())