mecab-ipadic-NEologdの辞書を修正する

mecab-ipadic-NEologdで形態素解析を新語に対応させるのように、MeCabで形態素解析するときにmecab-ipadic-NEologdを使うと新語をひとつの語として判定してくれるので、標準のIPA辞書では判定できない固有名詞などにも対応できる。ただしmecab-ipadic-NEologdの辞書は自動で更新されているようで、使いたくない新語などが登録されていることがある。そういったデータを修正しようと思ったが、ドキュメントなどに方法が見つからなかったので、自分で調べて行った方法をまとめておく。

環境

Windows10(1903)のWSL(Ubuntu 18.04)。MeCabはインストール済みとする。
$ lsb_release -dr Description: Ubuntu 18.04.3 LTS Release: 18.04 $ mecab -v mecab of 0.996

meab-ipadic-NEologdの準備

まずはmecab-ipadic-NEologdの手順通りにgithubからクローンしてインストールする。
$ git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git $ cd mecab-ipadic-neologd $ ./bin/install-mecab-ipadic-neologd -n

インストールが完了したらインストールディレクトリを確認しておく。
$ echo `mecab-config --dicdir`"/mecab-ipadic-neologd" /usr/local/lib/mecab/dic/mecab-ipadic-neologd

mecab-ipadic-NEologdの動作確認。
$ echo "うまい棒" | mecab うまい 形容詞,自立,*,*,形容詞・アウオ段,基本形,うまい,ウマイ,ウマイ 棒 名詞,一般,*,*,*,*,棒,ボウ,ボー EOS $ echo "うまい棒" | mecab -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd/ うまい棒 名詞,固有名詞,一般,*,*,*,うまい棒,ウマイボウ,ウマイボー EOS

meab-ipadic-NEologdの直したい辞書データ

mecab-ipadic-NEologdは、インターネット上をクロールして自動収集した語を加えているので新語に強いが、自動化されているためか、使うには微妙な語が登録されていることがある。以下の例ではmecab-ipadic-NEologdを使うと「涙。」が固有名詞として認識されている。
$ echo "頬を伝う涙。" | mecab 頬 名詞,一般,*,*,*,*,頬,ホオ,ホー を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ 伝う 動詞,自立,*,*,五段・ワ行促音便,基本形,伝う,ツタウ,ツタウ 涙 名詞,一般,*,*,*,*,涙,ナミダ,ナミダ 。 記号,句点,*,*,*,*,。,。,。 EOS $ echo "頬を伝う涙。" | mecab -d /usr/ local/lib/mecab/dic/mecab-ipadic-neologd/ 頬 名詞,一般,*,*,*,*,頬,ホオ,ホー を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ 伝う 動詞,自立,*,*,五段・ワ行促音便,基本形,伝う,ツタウ,ツタウ 涙。 名詞,固有名詞,一般,*,*,*,涙。,ナミダ,ナミダ EOS

meab-ipadic-NEologdの辞書データを修正

「涙。」は「涙」と「。」として判定されるようにmecab-ipadic-NEologdの辞書データを修正する。クローンしたmecab-ipadic-NEologdのディレクトリ配下のseedに辞書データの元となるcsvがxz形式で圧縮されている。これらのファイルをまずは解凍する。
$ cd mecab-ipadic-neologd/seed $ unxz -k *.xz

解凍したcsvを「涙。」でgrep検索してみる。
$ find ./ -type f -name "*.csv" | xargs grep "涙。" --color=auto

いくつか検索結果がヒットするが、その中に対象となる登録があった。mecab-user-dict-seed.20200130.csv内で「涙。」が固有名詞として登録されている。さらに「涙」も固有名詞として登録されていて、原形が「涙。」になっている。少なくとも自分にはこれらの登録は不要なのでこの2行を削除する。
./mecab-user-dict-seed.20200130.csv:涙,1288,1288,4452,名詞,固有名詞,一般,*,*,*, 涙。,ナミダ,ナミダ ./mecab-user-dict-seed.20200130.csv:涙。,1288,1288,1624,名詞,固有名詞,一般,*,*,*,涙。,ナミダ,ナミダ

修正したmecab-user-dict-seed.20200130.csvをxzで圧縮し直す。
$ mv mecab-user-dict-seed.20200130.csv.xz mecab-user-dict-seed.20200130.csv.xz.original $ xz -k mecab-user-dict-seed.20200130.csv

辞書データの修正を反映させるためにmecab-ipadic-NEologdを再インストールする。
$ cd ../ $ ./bin/install-mecab-ipadic-neologd -n

再インストール後に形態素解析してみると、「涙」と「。」が分割された。
$ echo "頬を伝う涙。" | mecab -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd/ 頬 名詞,一般,*,*,*,*,頬,ホオ,ホー を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ 伝う 動詞,自立,*,*,五段・ワ行促音便,基本形,伝う,ツタウ,ツタウ 涙 名詞,一般,*,*,*,*,涙,ナミダ,ナミダ 。 記号,句点,*,*,*,*,。,。,。 EOS