mecab-ipadic-NEologdで形態素解析を新語に対応させる

Raspberry PiのPython3でMecabを使うでPythonで形態素解析をできるようにしたが、使用したIPA辞書は更新が止まっていて、形態素解析で新語に対応できない。そこで、WEBサイトをクロールして定期的に新語を追加しているmecab-ipadic-NEologdをIPA辞書の代わりに使うようにする。

はじめはRaspberry Piにインストールしようとしたが、mecab-ipadic-NEologdを使うには最低1.5GBのメモリが必要でRaspberry Pi 3（メモリ1GB）では無理そう。そういう訳で、Bash on Ubuntu on Windowsにインストールして使用してみる。

環境

Bash on Ubuntu on Windows。Ubuntuのバージョンは16.04。
$ cat /etc/os-release NAME="Ubuntu" VERSION="16.04.3 LTS (Xenial Xerus)" ID=ubuntu ID_LIKE=debian PRETTY_NAME="Ubuntu 16.04.3 LTS" VERSION_ID="16.04" ...

Mecabとmecab-ipadicのインストール

mecab-ipadic-NEologdをインストールする前にMecabとmecab-ipadicをインストールしておく必要がある。Mecabとmecab-ipadicのインストール方法はRaspberry PiのPython3でMecabを使うを参照。

mecab-ipadic-NEologdのインストール

mecab-ipadic-NEologdの記載通りにコマンド実行。
$ git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git $ cd mecab-ipadic-neologd $ ./bin/install-mecab-ipadic-neologd -n

Mecabでmecab-ipadic-NEologdを利用する

Mecabでmecab-ipadic-NEologdを利用するために、mecab-ipadic-NEologdのパスを確認しておく。
$ echo `mecab-config --dicdir`"/mecab-ipadic-neologd" /usr/local/lib/mecab/dic/mecab-ipadic-neologd

実際にmecab-ipadic-NEologdで形態素解析してみる。
$ mecab -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd 隣の芝生は青く見える 隣の芝生 名詞,固有名詞,一般,*,*,*,隣の芝生,トナリノシバフ,トナリノシバフ は 助詞,係助詞,*,*,*,*,は,ハ,ワ 青く 形容詞,自立,*,*,形容詞・アウオ段,連用テ接続,青い,アオク,アオク 見える 動詞,自立,*,*,一段,基本形,見える,ミエル,ミエル EOS

ただ上の例だとIPA辞書との違いがわからないので、Raspberry PiのPython3でMecabを使うのはじめの段落の文章を形態素解析して比較する。まずはIPA辞書。
$ mecab テキストマイニングするときに、日本語の場合はまず文章を名詞や形容詞などの品詞単位に分解する必要がある。それをすることを形態素解析と言い、形態素解析エンジンのひとつがMecab。Raspberry PiのPython3でMecabを利用して形態素解析をしてみる。 テキスト 名詞,一般,*,*,*,*,テキスト,テキスト,テキスト マイニング 名詞,サ変接続,*,*,*,*,マイニング,マイニング,マイニング する 動詞,自立,*,*,サ変・スル,基本形,する,スル,スル とき 名詞,非自立,副詞可能,*,*,*,とき,トキ,トキ に 助詞,格助詞,一般,*,*,*,に,ニ,ニ 、 記号,読点,*,*,*,*,、,、,、 日本語 名詞,一般,*,*,*,*,日本語,ニホンゴ,ニホンゴ の 助詞,連体化,*,*,*,*,の,ノ,ノ 場合 名詞,副詞可能,*,*,*,*,場合,バアイ,バアイ は 助詞,係助詞,*,*,*,*,は,ハ,ワ まず 副詞,一般,*,*,*,*,まず,マズ,マズ 文章 名詞,一般,*,*,*,*,文章,ブンショウ,ブンショー を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ 名詞 名詞,一般,*,*,*,*,名詞,メイシ,メイシ や 助詞,並立助詞,*,*,*,*,や,ヤ,ヤ 形容詞 名詞,一般,*,*,*,*,形容詞,ケイヨウシ,ケイヨーシ など 助詞,副助詞,*,*,*,*,など,ナド,ナド の 助詞,連体化,*,*,*,*,の,ノ,ノ 品詞 名詞,一般,*,*,*,*,品詞,ヒンシ,ヒンシ 単位 名詞,一般,*,*,*,*,単位,タンイ,タンイ に 助詞,格助詞,一般,*,*,*,に,ニ,ニ 分解 名詞,サ変接続,*,*,*,*,分解,ブンカイ,ブンカイ する 動詞,自立,*,*,サ変・スル,基本形,する,スル,スル 必要 名詞,形容動詞語幹,*,*,*,*,必要,ヒツヨウ,ヒツヨー が 助詞,格助詞,一般,*,*,*,が,ガ,ガ ある 動詞,自立,*,*,五段・ラ行,基本形,ある,アル,アル 。 記号,句点,*,*,*,*,。,。,。 それ 名詞,代名詞,一般,*,*,*,それ,ソレ,ソレ を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ する 動詞,自立,*,*,サ変・スル,基本形,する,スル,スル こと 名詞,非自立,一般,*,*,*,こと,コト,コト を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ 形態素 名詞,一般,*,*,*,*,形態素,ケイタイソ,ケイタイソ 解析 名詞,サ変接続,*,*,*,*,解析,カイセキ,カイセキ と 助詞,格助詞,引用,*,*,*,と,ト,ト 言い 動詞,自立,*,*,五段・ワ行促音便,連用形,言う,イイ,イイ 、 記号,読点,*,*,*,*,、,、,、 形態素 名詞,一般,*,*,*,*,形態素,ケイタイソ,ケイタイソ 解析 名詞,サ変接続,*,*,*,*,解析,カイセキ,カイセキ エンジン 名詞,一般,*,*,*,*,エンジン,エンジン,エンジン の 助詞,連体化,*,*,*,*,の,ノ,ノ ひとつ 名詞,副詞可能,*,*,*,*,ひとつ,ヒトツ,ヒトツ が 助詞,格助詞,一般,*,*,*,が,ガ,ガ Mecab 名詞,一般,*,*,*,*,* 。 記号,句点,*,*,*,*,。,。,。 Raspberry 名詞,一般,*,*,*,*,* Pi 名詞,一般,*,*,*,*,* の 助詞,連体化,*,*,*,*,の,ノ,ノ Python 名詞,一般,*,*,*,*,* 3 名詞,数,*,*,*,*,* で 助詞,格助詞,一般,*,*,*,で,デ,デ Mecab 名詞,一般,*,*,*,*,* を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ 利用 名詞,サ変接続,*,*,*,*,利用,リヨウ,リヨー し 動詞,自立,*,*,サ変・スル,連用形,する,シ,シ て 助詞,接続助詞,*,*,*,*,て,テ,テ 形態素 名詞,一般,*,*,*,*,形態素,ケイタイソ,ケイタイソ 解析 名詞,サ変接続,*,*,*,*,解析,カイセキ,カイセキ を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ し 動詞,自立,*,*,サ変・スル,連用形,する,シ,シ て 助詞,接続助詞,*,*,*,*,て,テ,テ みる 動詞,非自立,*,*,一段,基本形,みる,ミル,ミル 。 記号,句点,*,*,*,*,。,。,。 EOS

次にmecab-ipadic-NEologdを使った場合。
$ mecab -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd テキストマイニングするときに、日本語の場合はまず文章を名詞や形容詞などの品詞単位に分解する必要がある。それをすることを形態素解析と言い、形態素解析エンジンのひとつがMecab。Raspberry PiのPython3でMecabを利用して形態素解析をしてみる。 テキストマイニング 名詞,固有名詞,一般,*,*,*,テキストマイニング,テキストマイニング,テキストマイニング する 動詞,自立,*,*,サ変・スル,基本形,する,スル,スル とき 名詞,非自立,副詞可能,*,*,*,とき,トキ,トキ に 助詞,格助詞,一般,*,*,*,に,ニ,ニ 、 記号,読点,*,*,*,*,、,、,、 日本語 名詞,一般,*,*,*,*,日本語,ニホンゴ,ニホンゴ の 助詞,連体化,*,*,*,*,の,ノ,ノ 場合 名詞,副詞可能,*,*,*,*,場合,バアイ,バアイ は 助詞,係助詞,*,*,*,*,は,ハ,ワ まず 副詞,一般,*,*,*,*,まず,マズ,マズ 文章 名詞,一般,*,*,*,*,文章,ブンショウ,ブンショー を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ 名詞 名詞,一般,*,*,*,*,名詞,メイシ,メイシ や 助詞,並立助詞,*,*,*,*,や,ヤ,ヤ 形容詞 名詞,一般,*,*,*,*,形容詞,ケイヨウシ,ケイヨーシ など 助詞,副助詞,*,*,*,*,など,ナド,ナド の 助詞,連体化,*,*,*,*,の,ノ,ノ 品詞 名詞,一般,*,*,*,*,品詞,ヒンシ,ヒンシ 単位 名詞,一般,*,*,*,*,単位,タンイ,タンイ に 助詞,格助詞,一般,*,*,*,に,ニ,ニ 分解 名詞,サ変接続,*,*,*,*,分解,ブンカイ,ブンカイ する 動詞,自立,*,*,サ変・スル,基本形,する,スル,スル 必要 名詞,形容動詞語幹,*,*,*,*,必要,ヒツヨウ,ヒツヨー が 助詞,格助詞,一般,*,*,*,が,ガ,ガ ある 動詞,自立,*,*,五段・ラ行,基本形,ある,アル,アル 。 記号,句点,*,*,*,*,。,。,。 それ 名詞,代名詞,一般,*,*,*,それ,ソレ,ソレ を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ する 動詞,自立,*,*,サ変・スル,基本形,する,スル,スル こと 名詞,非自立,一般,*,*,*,こと,コト,コト を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ 形態素解析 名詞,固有名詞,一般,*,*,*,形態素解析,ケイタイソカイセキ,ケイタイ ソカイセキ と 助詞,格助詞,引用,*,*,*,と,ト,ト 言い 動詞,自立,*,*,五段・ワ行促音便,連用形,言う,イイ,イイ 、 記号,読点,*,*,*,*,、,、,、 形態素解析 名詞,固有名詞,一般,*,*,*,形態素解析,ケイタイソカイセキ,ケイタイ ソカイセキ エンジン 名詞,一般,*,*,*,*,エンジン,エンジン,エンジン の 助詞,連体化,*,*,*,*,の,ノ,ノ ひとつ 名詞,副詞可能,*,*,*,*,ひとつ,ヒトツ,ヒトツ が 助詞,格助詞,一般,*,*,*,が,ガ,ガ Mecab 名詞,一般,*,*,*,*,* 。 記号,句点,*,*,*,*,。,。,。 Raspberry Pi 名詞,固有名詞,一般,*,*,*,Raspberry Pi,ラズベリーパイ,ラズベリー パイ の 助詞,連体化,*,*,*,*,の,ノ,ノ Python 名詞,固有名詞,一般,*,*,*,Python,パイソン,パイソン 3 名詞,数,*,*,*,*,* で 助詞,格助詞,一般,*,*,*,で,デ,デ Mecab 名詞,一般,*,*,*,*,* を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ 利用 名詞,サ変接続,*,*,*,*,利用,リヨウ,リヨー し 動詞,自立,*,*,サ変・スル,連用形,する,シ,シ て 助詞,接続助詞,*,*,*,*,て,テ,テ 形態素解析 名詞,固有名詞,一般,*,*,*,形態素解析,ケイタイソカイセキ,ケイタイ ソカイセキ を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ し 動詞,自立,*,*,サ変・スル,連用形,する,シ,シ て 助詞,接続助詞,*,*,*,*,て,テ,テ みる 動詞,非自立,*,*,一段,基本形,みる,ミル,ミル 。 記号,句点,*,*,*,*,。,。,。 EOS

IPA辞書で分割された「テキストマイニング」「形態素解析」「Raspberry Pi」が、mecab-ipadic-NEologdを使うことで固有名詞として認識されるようになった。