Gushwell's Dev Notes

2018年04月22日

言語処理100本ノックでPython入門 #38 - matplotlibでヒストグラム

今日は言語処理100本ノック 2015の問題38です。

■ 問題

夏目漱石の小説『吾輩は猫である』の文章（neko.txt）をMeCabを使って形態素解析し，その結果をneko.txt.mecabというファイルに保存せよ．このファイルを用いて，以下の問に対応するプログラムを実装せよ．なお，問題37, 38, 39はmatplotlibもしくはGnuplotを用いるとよい．

38. ヒストグラム
単語の出現頻度のヒストグラム（横軸に出現頻度，縦軸に出現頻度をとる単語の種類数を棒グラフで表したもの）を描け．

No37で求めた、単語の出現数のデータをさらに加工して、出現する単語の数を求め、それを元にグラフを描いています。

■ Pythonのコード

import re
import matplotlib.pyplot as plt
 
def analyze():
    lines = []
    sentence = []
    with open('neko.txt.mecab', 'r', encoding='utf8') as fin:
        for line in fin:
            words = re.split(r'\t|,|\n', line)
            if words[0] == 'EOS':
                if sentence:
                    lines.append(sentence)
                    sentence = []
                continue
            sentence.append({
                "surface": words[0],
                "base": words[7],
                "pos": words[1],
                "pos1": words[2],
            })
    return lines
 
def getFrequency(lines):
    words = {}
    for sentense in lines:
        for word in sentense:
            if word['pos'] == '記号':
                continue
            if word['surface'] in words.keys():
                words[word['surface']] += 1
            else:
                words[word['surface']] = 1
    return words
 
def getHistogramData(words):
    hist = {}
    for word in words.items():
        if word[1] in hist.keys():
            hist[word[1]] += 1
        else:
            hist[word[1]] = 1
    return words
 
def plotHistgram(data):
    xs = [x[1] for x in data]

    plt.rcParams['font.family'] = 'Meiryo' 
 
    plt.hist(xs, bins=25, range=(1, 25))
    plt.xlim(xmin=1, xmax=25)
    plt.xlabel('単語の出現頻度')
    plt.ylabel('単語の種類数')
    plt.show()
 
def main():
    article = analyze()
    words = getFrequency(article)
    histData = getHistogramData(words)
    sortedData = sorted(histData.items(), key=lambda x: x[1], reverse=True)
    print(sortedData[0:20])

    plotHistgram(sortedData)
 
if __name__ == '__main__':
    main()

■ ヒストグラムの描画

plotHistgram関数が、ヒストグラムを描画している関数です。

最初に書いたコードだと、なんとほとんどの単語が１回しか現れませんでした。そのため、デフォルト設定のままhistメソッドを呼び出すと、まったく意味のわからないグラフになっていたので、range引数を指定して範囲を上位1-25に限定しました。

X軸は

plt.xlim(xmin=1, xmax=25)

で、範囲を設定できます。

Y軸のタイトルは縦書きにしたかったのですが、やり方がわかりませんでした。

■ 結果

グラフ描画とともに、出現頻度の多い単語を20個表示しています。

[('の', 9194), ('て', 6868), ('は', 6420), ('に', 6243), ('を', 6071), ('と', 5508), ('が', 5337), ('た', 3988), ('で', 3806), ('も', 2479), ('ない', 2390), ('だ', 2363), ('し', 2322), ('から', 2032), ('ある', 1728), ('な', 1613), ('ん', 1568), ('か', 1530), ('いる', 1249), ('事', 1207)]

Posted by gushwell at 22:00 │Comments(0) │Python

2018年04月18日

言語処理100本ノックでPython入門 #37 - matplotlibで棒グラフ作成

言語処理100本ノック 2015の問題37に挑戦です。

■ 問題

夏目漱石の小説『吾輩は猫である』の文章（neko.txt）をMeCabを使って形態素解析し，その結果をneko.txt.mecabというファイルに保存せよ．このファイルを用いて，以下の問に対応するプログラムを実装せよ．なお，問題37, 38, 39はmatplotlibもしくはGnuplotを用いるとよい．

37. 頻度上位10語
出現頻度が高い10語とその出現頻度をグラフ（例えば棒グラフなど）で表示せよ．

■ Pythonのコード

import re
import matplotlib.pyplot as plt

def analyze():
    lines = []
    sentence = []
    with open('neko.txt.mecab', 'r', encoding='utf8') as fin:
        for line in fin:
            words = re.split(r'\t|,|\n', line)
            if words[0] == 'EOS':
                if sentence:
                    lines.append(sentence)
                    sentence = []
                continue
            sentence.append({
                "surface": words[0],
                "base": words[7],
                "pos": words[1],
                "pos1": words[2],
            })
    return lines

def getFrequency(lines):
    words = {}
    for sentense in lines:
        for word in sentense:
            if word['pos'] == '記号':
                continue
            if word['surface'] in words.keys():
                words[word['surface']] += 1
            else:
                words[word['surface']] = 1
    return words

def plotBarChart(sortedwords):
    categories = [x[0] for x in sortedwords]
    xaxis = [x for x in range(10)]
    values = [x[1] for x in sortedwords]

    #plt.rcParams['font.family'] = 'AppleGothic' 
    plt.rcParams['font.family'] = 'Meiryo' 

    plt.bar(xaxis, values)
    plt.xticks(xaxis, categories)
    plt.show()

def main():
    article = analyze()
    words = getFrequency(article)
    sortedwords = sorted(words.items(), key=lambda x: x[1], reverse=True)[0:10]
    print(sortedwords)
    plotBarChart(sortedwords)

if __name__ == '__main__':
    main()

■ matplotlib.pyplotを使う

まずは、anacondaのcondaコマンドを使って、macに、matplotlibをインストールします。

$ conda install matplotlib

インストールしている途中で、以下のメッセージが出てきたので、y を押します

The following packages will be UPDATED:

    anaconda:   4.3.1-np111py36_0 --> custom-py36_0
    conda:      4.3.14-py36_0     --> 4.3.30-py36h173c244_0
    matplotlib: 2.0.0-np111py36_0 --> 2.0.2-np111py36_0

Proceed ([y]/n)? y

無事インストールできたので、matplotlib.pyplotをimportします。

    import matplotlib.pyplot as plt

これで、pltという名前で利用できるようになります。

実際にグラフを書いているのはplotBarChartメソッド内です。barメソッドでチャートを描いています。

初めは、以下のように書いてみました。

categories = [x[0] for x in sortedwords]
xaxis = [x for x in range(10)]
values = [x[1] for x in sortedwords]

plt.bar(xaxis, values)
plt.xticks(xaxis, categories)
plt.show()

でも、日本語が文字化けしてしまいます。

■ matplotlibの文字化け対応

matplotlibの環境設定でフォントを日本語にするという方法もあるようですが、ここではコードだけで対応することにします。

まず、

import matplotlib.font_manager as fm
print([f.name for f in fm.fontManager.ttflist])

で、matplotlib利用できるフォント一覧を表示してみます。

僕の環境では’Meiryo’フォントがありますのでこれを使います。たぶん、Microsoft Officeをインストールしているからかな。
そのほか、AppleGothicというフォントも日本語が表示できるようです。

メイリオフォントが使えることがわかったので、以下のように1行追加するだけで、日本語化することができました。

plt.rcParams['font.family'] =  ‘Meiryo’  // これを追加

plt.bar(xaxis, values)
plt.xticks(xaxis, categories)
plt.show()

どこまで、見た目をカスタマイズできるのかわからないけど、簡単にグラフが書けるのは便利ですね。

■ 結果

出現頻度が高い10語とその出現頻度をコンソールにも表示しています。

[('の', 9194), ('て', 6868), ('は', 6420), ('に', 6243), ('を', 6071), ('と', 5508), ('が', 5337), ('た', 3988), ('で', 3806), ('も', 2479)]

Posted by gushwell at 22:30 │Comments(0) │Python

2018年04月15日

言語処理100本ノックでPython入門 #36 - 辞書型の操作

言語処理100本ノック 2015の問題36に挑戦です。

■ 問題

夏目漱石の小説『吾輩は猫である』の文章（neko.txt）をMeCabを使って形態素解析し，その結果をneko.txt.mecabというファイルに保存せよ．このファイルを用いて，以下の問に対応するプログラムを実装せよ．なお，問題37, 38, 39はmatplotlibもしくはGnuplotを用いるとよい．

36. 単語の出現頻度
文章中に出現する単語とその出現頻度を求め，出現頻度の高い順に並べよ．

単語の定義がわかりません。形態素解析で得られた一つ一つが単語ということで良いかな。となると、句点、読点も単語だけど... いちおう、記号だけは除外することにします。

■Pythonのコード

import re

def analyze():
    lines = []
    sentence = []
    with open('chap04/neko.txt.mecab', 'r', encoding='utf8') as fin:
        for line in fin:
            words = re.split(r'\t|,|\n', line)
            if words[0] == 'EOS':
                if sentence:
                    lines.append(sentence)
                    sentence = []
                continue
            sentence.append({
                "surface": words[0],
                "base": words[7],
                "pos": words[1],
                "pos1": words[2],
            })
    return lines

def getFrequency(lines):
    words = {}
    for sentense in lines:
        for word in sentense:
            if word['pos'] == '記号':
                continue
            if word['surface'] in words.keys():
                words[word['surface']] += 1
            else:
                words[word['surface']] = 1
    return words

def main():
    article = analyze()
    words = getFrequency(article)
    sortedwords = sorted(words.items(), key=lambda x: x[1], reverse=True)
    for i in range(0, 100):
        print(i, sortedwords[i][0], sortedwords[i][1])

if __name__ == '__main__':
    main()

■ 辞書の操作

辞書のキーが存在しているかは、in キーワードが使えます。

if word['surface'] in words:

次の書き方でも良いみたいです。

if word['surface'] in words.keys():

辞書の値を使ってのソートは、前にも出てきたような気がするけど、以下のように書けばOKです。

sortedwords = sorted(words.items(), key=lambda x: x[1], reverse=True)

最後の引数で、逆順にソートしています。
このコードでは、words.items() をソートしているので、ソートの結果は辞書ではなくリストになります。

最初の100個を表示してみます。

for i in range(0, 100):
    print(i, sortedwords[i][0], sortedwords[i][1])

■ 結果

Posted by gushwell at 21:19 │Comments(0) │Python

2018年04月12日

言語処理100本ノックでPython入門 #35 - 名詞の連接

言語処理100本ノック 2015の問題35に挑戦です。

■ 問題

夏目漱石の小説『吾輩は猫である』の文章（neko.txt）をMeCabを使って形態素解析し，その結果をneko.txt.mecabというファイルに保存せよ．このファイルを用いて，以下の問に対応するプログラムを実装せよ．なお，問題37, 38, 39はmatplotlibもしくはGnuplotを用いるとよい．

35. 名詞の連接
名詞の連接（連続して出現する名詞）を最長一致で抽出せよ．

■ Pythonのコード

import re

def analyze():
    lines = []
    sentence = []
    with open('neko.txt.mecab', 'r', encoding='utf8') as fin:
        for line in fin:
            words = re.split(r'\t|,|\n', line)
            if words[0] == 'EOS':
                if sentence:
                    lines.append(sentence)
                    sentence = []
                continue
            sentence.append({
                "surface": words[0],
                "base": words[7],
                "pos": words[1],
                "pos1": words[2],
            })
    return lines

def extractContinuousNouns(lines):
    for sentense in lines:
        noun = ''
        count = 0
        for word in sentense:
            if word['pos'] == '名詞' and (noun != '' or word['pos1'] != '副詞可能'):
                noun += word['surface']
                count += 1
            else:
                if count > 1:
                    yield noun
                noun = ''
                count = 0

def main():
    article = analyze()
    nouns = [surface for surface in extractContinuousNouns(article)]
    print(nouns)

if __name__ == '__main__':
    main()

■ ちょっと説明

単純に名詞の連続だと

'その後猫'　 'この間おさん'　 '自ら筆'　 '元来放蕩家'

などちょっとおかしな単語も引っ張ってきてしまっているので、連続した名詞の先頭のpos1が副詞可能な場合を除外してみました。

しかし、そうすると、 '前後不覚'　 'ふだん着'　などいくつか除外してほしくない単語も除外されてしまいました。まあどっちもどっちですね。

この精度を高めようとすると、辞書登録をするしかないですかね。
それとも、pos2の内容もみて条件判定をするといった泥臭いコードを書く必要があるのでしょうか。

それと、ひさしぶりに if else 使いました。elseにの後ろにも:付けるんだった。すっかり忘れていました。

■ 結果

結果の先頭部分を載せます。

['人間中', '時妙', '一毛', '一度', 'ぷうぷうと煙', '邸内', '三毛', '書生以外', '四五遍', '三馬', '御台所', 'まま奥', '住家', '勉強家', '勉強家', '勤勉家', '二三ページ', '主人以外', '限り吾輩', '二人', '一つ床', '一人', '最後大変', '——猫', '神経胃弱性', '物指', '尻ぺたをひどく', '言語同断',

あまり良い結果とは言えないです。

「ぶうぶうと煙」は、どう考えても名詞の連結とは言えないよなー。

Posted by gushwell at 22:30 │Comments(0) │Python

2018年04月09日

『業務システム開発モダナイゼーションガイド』とても良い本です

今年の２月に日経BP社から発売された『業務システム開発モダナイゼーションガイド非効率な日本のSIを変革する実践的ベストプラクティス』を読み終わりました。

マイクロソフトコンサルティング本部で長年SI業界の開発現場を見てきた著者だから書ける渾身の一冊です。

赤間信幸(著)
日経BP社

本書は、主に、企業のIT部門、Sierおよびその関連企業でソフトウェア開発に関わる人々を対象にした本で、タイトルの通り、業務システム開発をいかに正しい方向に導き、開発現場を近代化できるようにしたら良いかを説いた内容となっています。

日本のSI業界が抱える問題点をどう改善しソフトウェア開発を進化させたら良いのか悩んでいる方には、得るものがたくさんあると思います。

エンジニアだけではなく、マネジメント層の方にも是非読んでほしい本です。
要件定義から設計、実装、テストといった各工程で何をやったら良いかの指針が示されています。

この本を読んで好感が持てるのは、理想論や頭でっかちの理論で「ソフトウェア開発はこうあるべき」と論じるのではなく、現実を直視し、コストと開発効率と品質のバランスを取り、やらなくて良いものはやらないという潔さがある点です。そして、なぜそうするのか、何のためにそうするのかというWhyとWhatに焦点を当てている点です。

著者の赤間さんがマイクロソフトコンサルタントということもあり、MS製品を例に取っている箇所も多いですが、それは本質的な部分ではないので、MS製品を使った開発をしていない方にも十分読む価値があると思います。

筆者のIT業界を良くしたいという思いが伝わってくる本です。

Posted by gushwell at 21:30 │Comments(0) │本

2018年04月08日

言語処理100本ノックでPython入門 #34 - namedtuple

言語処理100本ノック 2015の問題34に挑戦です。

■ 問題

夏目漱石の小説『吾輩は猫である』の文章（neko.txt）をMeCabを使って形態素解析し，その結果をneko.txt.mecabというファイルに保存せよ．このファイルを用いて，以下の問に対応するプログラムを実装せよ．なお，問題37, 38, 39はmatplotlibもしくはGnuplotを用いるとよい．

34. 「AのB」
2つの名詞が「の」で連結されている名詞句を抽出せよ．

---

この問題は、入力ファイルの中から以下のようなものを見つけるということですね。

書生    名詞,一般,*,*,*,*,書生,ショセイ,ショセイ
の    助詞,連体化,*,*,*,*,の,ノ,ノ
顔    名詞,一般,*,*,*,*,顔,カオ,カオ

■ Pythonのコード

import re
from collections import namedtuple

def analyze():
    lines = []
    sentence = []
    with open('neko.txt.mecab', 'r', encoding='utf8') as fin:
        for line in fin:
            words = re.split(r'\t|,|\n', line)
            if words[0] == 'EOS':
                if sentence:
                    lines.append(sentence)
                    sentence = []
                continue
            sentence.append({
                "surface": words[0],
                "base": words[7],
                "pos": words[1],
                "pos1": words[2],
            })
    return lines

def extractNounphrases(lines):
    Morpheme = namedtuple('Morpheme', ['surface', 'pos'])
    for sentense in lines:
        prev2 = Morpheme('', '')
        prev1 = Morpheme('', '')
        for word in sentense:
            if word['pos'] == '名詞' and prev1.surface == 'の' and \
               prev1.pos == '助詞' and prev2.pos == '名詞':
                yield prev2.surface + prev1.surface + word['surface']
            prev2 = prev1
            prev1 = Morpheme(word['surface'], word['pos'])

def main():
    article = analyze()
    nouns = [surface for surface in extractNounphrases(article)]
    print(nouns[:50])

if __name__ == '__main__':
    main()

■ namedtuple

あまりスマートなやり方とは思えませんが、２行前までの情報を覚えておいて、「の」でつながる名詞句を求めています。

変数prev2が2つ前、prev1が一つ前の情報で、表層形と品詞を記憶するのにnamedtupleを使っています。 namedtupleは、その名の通り、フィールドに名前が付いたタプルです。

Pythonについて何か新しい知識を得ようと、Webをうろうろしていたらnamedtupleというのがあることを知りました。この問題でも使えそうなので早速使ってみました。

from collections import namedtuple

でnamedtupleをインポートして、

Morpheme = namedtuple('Morpheme', ['surface', 'pos'])

とすると、namedtupleを定義できます。

上のコードは、Morphemeという名前のタプルを定義しています。なんで、第１引数が必要なのか疑問ですが、そういうものなのだと納得することにします。第２引数で、'surface' と 'pos'というフィールドメンバーを持つことを指定しています。オブジェクトを作成するには、以下のように記述します。

item = Morpheme('吾輩','名詞')

これで、item.surfaceに'吾輩'が、item.posに'名詞'が設定されます。

■ 結果

結果は先頭の50個を表示しています。

['彼の掌', '掌の上', '書生の顔', 'はずの顔', '顔の真中', '穴の中', '書生の掌', '掌の裏', '何の事', '肝心の母親', '藁の上', '笹原の中', '池の前', '池の上', '一樹の蔭', '垣根の穴', '隣家の三', '時の通路', '一刻の猶予', '家の内', '彼の書生', '以外の人間', '前の書生', 'おさんの隙', 'おさんの三', '胸の痞', '家の主人', '主人の方', '鼻の下', '吾輩の顔', '自分の住', '吾輩の主人', '家のもの', 'うちのもの', '彼の書斎', '本の上', '皮膚の色', '本の上', '彼の毎夜', '以外のもの', '主人の傍', '彼の膝', '膝の上', '経験の上', '飯櫃の上', '炬燵の上', 'ここのうち', '供の寝床', '彼等の中間', '供の一']

Posted by gushwell at 21:47 │Comments(0) │Python

このページの上へ▲