Gushwell's Dev Notes

2018年08月15日

言語処理100本ノックでPython入門 #64(後編) - MongoDBの構築

言語処理100本ノック 2015の第7章・問題64です。

前回はMoongoDBをインストールしたので、今日は、実際の問題を解いてみます。

■ 問題

64. MongoDBの構築
アーティスト情報（artist.json.gz）をデータベースに登録せよ．さらに，次のフィールドでインデックスを作成せよ: name, aliases.name, tags.value, rating.value

■ Pythonのコード

import json
import pymongo

def enumdata():
    with open('artist.json', 'r', encoding='utf8') as fin:
        for line in fin:
            jsd = json.loads(line)
            yield jsd

def register():
    client = pymongo.MongoClient('localhost', 27017)
    db = client['MusicBrainzDb']
    artists = db['artists']
    for data in enumdata():
        artists.insert(data)
    artists.create_index([('name', pymongo.ASCENDING)])
    artists.create_index([('aliases.name', pymongo.ASCENDING)])
    artists.create_index([('tags.value', pymongo.ASCENDING)])
    artists.create_index([('rating.value', pymongo.ASCENDING)])


def main():
    register()

if __name__ == '__main__':
    main()

■ 簡単に説明

artist.jsonからJSONデータを一つずつ取り出して、insertメソッドでDBに登録しています。
全てのデータが登録終了したら、create_indexでインデックスを作成しています。

create_indexを先にやるとどうなるのかな？これは試していません。件数が多いので、終わるまで結構時間がかかります。

■ データが登録されたかを確認

では、データが登録されたのか確認します。

MongoDB Compass ComunityというGUIの管理ツールがあるので、それをインストールします。

インストールのページで、バージョンを選択する場所があるので、そこで、Comunity Editionを選びます。
最初これがわからず、Comunityではないパッケージをダウンロードしてしまいました。

インストールはすぐに終わります。

インストールが終わったら、MongoDB Compass Community を起動します。
接続の画面ではデフォルトのままでDBに接続します。

MusicBrainzDbができているのが確認できます。
左のペインでMusicBrainzDbを選択すると、登録されている内容が見られます。
indexesタブを選ぶと、インデクスが作成されていることがわかります。

Posted by gushwell at 21:00 │Comments(0) │Python

2018年08月08日

言語処理100本ノックでPython入門 #64(前編) - MacにMongoDBをインストール

今日は、言語処理100本ノック 2015の第7章・問題64です。

■ 問題

64. MongoDBの構築
アーティスト情報（artist.json.gz）をデータベースに登録せよ．さらに，次のフィールドでインデックスを作成せよ: name, aliases.name, tags.value, rating.value

■ MongoDBのインストール

まずは、MongoDBをMacにインストールします。

$ brew install mongodb

このコマンドを投入したら、合わせていろんなものがアップデートされました。

ターミナルの表示を眺めてみると

==> Installing mongodb dependency: sqlite

とか

==> Installing mongodb dependency: python@2

とか。

Python@2って、Python2をインストールしたということなんだと思うんだけど、 MongoDBってPython2に依存してるってことなのかな？
よくわかりません。

とりあえず、最後に

==> mongodb
To have launchd start mongodb now and restart at login:
  brew services start mongodb
Or, if you don't want/need a background service you can just run:
  mongod --config /usr/local/etc/mongod.conf

と表示されたので、正常にインストールできたのだと思います。

続けて、

$ mongo --version

でバージョンを見てみます。

MongoDB shell version v4.0.0
git version: 3b07af3d4f471ae89e8186d33bbb1d5259597d51
allocator: system
modules: none
build environment:
    distarch: x86_64
    target_arch: x86_64

■ Pymongoのインストール

続けて、MongoDBをPythonから操作する pymongoをインストールします。

$ conda install pymongo

以下のようなメッセージが出てきたので、yを押して、更新します。

The following packages will be UPDATED:

    conda:   4.5.8-py36_0         --> 4.5.9-py36_0
    openssl: 1.0.2o-h26aff7b_0    --> 1.0.2o-h1de35cc_1

Proceed ([y]/n)? y

まあ、これは、pymongoとは直接の関係はないですね。

■ MongoDBの起動

以下のコマンドでMongoDBを起動します。

mongod --config /usr/local/etc/mongod.conf

■ MongoDBの終了

$ mongo

で、MongoDBのCLIを起動します。

続けて、

> use admin

で管理者権限に移動します。

そして、以下のコマンドでMongoDBを終了させます。

> db.shutdownServer()

exit コマンドでCLIを終了します。

> exit

macOSでMongoDBを使うを参考にさせていただきました。
っていうか、ほとんどそのままです(^^;;

今日はここまで、実際の問題は後日チャレンジします。

Posted by gushwell at 22:15 │Comments(0) │Python

2018年08月05日

言語処理100本ノックでPython入門 #63 - KVSにオブジェクトを格納

今日は、言語処理100本ノック 2015の第7章・問題63を解きます。

■ 問題

63. オブジェクトを値に格納したKVS
KVSを用い，アーティスト名（name）からタグと被タグ数（タグ付けされた回数）のリストを検索するためのデータベースを構築せよ．さらに，ここで構築したデータベースを用い，アーティスト名からタグと被タグ数を検索せよ．

■ どうやって解くか

KVS(Redis)のValueには、オブジェクトも格納できるから、前回とほとんど変わらないコードでいけるんじゃないかな、と思ったのですが、ダメでした。

登録するまではよかったのですが、取得したデータはなぜかシリアライズされたバイト列でした。このシリアライズされたバイト列をPythonのオブジェクトに戻す方法がわかりません。

しかたないので、jsonにシリアライズしたものを格納して、取り出すときにjsonからデシリアライズすることにしました。

pickleというものを使う方法もあるみたいだけど、そうなると、Python依存のDBになってしまうので今回は却下。もしかしたら、バイト列がpickleオブジェクトだったりするのかも。

db=1 と指定することで、前回までと別のDBにしてみました。

■ 登録するプログラム

import json
import redis

def enumKv():
    with open('artist.json', 'r', encoding='utf8') as fin:
        for line in fin:
            jsd = json.loads(line)
            if 'tags' in jsd:
                yield jsd['name'], json.dumps(jsd['tags'])

def register():
    r = redis.StrictRedis(host='localhost', port=6379, db=1)
    r.flushdb()
    for k, v in enumKv():
        r.set(k, v)
    r.save()

def main():
    register()

if __name__ == '__main__':
    main()

■ アーティスト名からデータを取得するプログラム

import json
import redis

def printTag(r, name):
    v = r.get(name)
    if v != None:
        print('*' + name)
        tags = json.loads(v.decode())
        for tag in tags:
            print("{}\t{}".format(tag['value'], tag['count']))

def main():
    r = redis.StrictRedis(host='localhost', port=6379, db=1)
    printTag(r, 'George Winston')
    printTag(r, 'Mariah Carey')
    printTag(r, '松任谷由実')

if __name__ == '__main__':
    main()

■ 結果

*George Winston
new age 1
folk    1
*Mariah Carey
whistle register        1
rnb     1
pop     1
american        1
pop and chart   1
girl    1
*松任谷由実
fixme label mess        1
likedis auto    1

Posted by gushwell at 21:30 │Comments(0) │Python

2018年08月01日

言語処理100本ノックでPython入門 #62 - KVSの反復処理

今日は、言語処理100本ノック 2015の第7章・問題62を解きます。

■ 問題

62. KVS内の反復処理
60で構築したデータベースを用い，活動場所が「Japan」となっているアーティスト数を求めよ．

■ Pythonのコード

import redis

def countjapan():
    r = redis.StrictRedis(host='localhost', port=6379, db=0)
    keys = r.scan_iter()
    count = 0
    for key in keys:
        v = r.get(key)
        if v == b'Japan':
            count = count + 1
    print(count)

def main():
    countjapan()

if __name__ == '__main__':
    main()

■ ちょっと説明

ものすごく力業っぽいコードだけど、Redisが良く分かっていないので、この方法しか思いつかなかったです。

この問題のお題が「反復処理」ってあるから、これでいいのだと思うけど... 遅いです。まあ、このコードじゃ仕方ないよね。

なお、取り出した値は、バイト列なので、b'Japan'で比較しました。

■ Redisサーバーの停止

それと、Redisサーバーを停止する正しい方法がわからず悩みました。

$ redis-cli

で、Redisのコマンドラインを起動して、そこで、

> shutdown save

とタイプすれば、停止することができました。

このコマンドラインを終了するには、

> exit

とします。

Posted by gushwell at 21:30 │Comments(0) │Python

2018年07月29日

言語処理100本ノックでPython入門 #61 - RedisでKVSの検索

今日は、言語処理100本ノック 2015の第7章・問題61を解きます。

■ 問題

61. KVSの検索
60で構築したデータベースを用い，特定の（指定された）アーティストの活動場所を取得せよ．

■ 作成したPythonのコード

import redis

def enumKeys():
    r = redis.StrictRedis(host='localhost', port=6379, db=0)
    v = r.get('The Silhouettes').decode()
    print(v)
    v = r.get('The Wanderers').decode()
    print(v)
    v = r.get('桑田佳祐').decode()
    print(v)


def main():
    enumKeys()

if __name__ == '__main__':
    main()

■ ちょっと解説

r = redis.StrictRedis(host='localhost', port=6379, db=0)
v = r.get('桑田佳祐')

でキーに対応する値を得ることができます。

でも、この結果をデバッグで見て見たら、

b'Japan'

となっていて、はバイト列になっているみたいです。

redisの仕様なのかな？

そのため、バイト列から文字列に変換するには decodeメソッドを使ってみました。

    v = r.get('桑田佳祐').decode()
    print(v)

■ 結果

Netherlands
United States
Japan

Posted by gushwell at 22:00 │Comments(0) │Python

2018年07月25日

言語処理100本ノックでPython入門 #60(後編) - RedisでKVSの構築

今日は、言語処理100本ノック 2015の第7章・問題60を解きます。

■ 問題

60. KVSの構築
Key-Value-Store (KVS) を用い，アーティスト名（name）から活動場所（area）を検索するためのデータベースを構築せよ．

■ 入力ファイル

前回、RedisのインストールとPython用Redisモジュールをインストールしたので、コードを書く準備は整いました。
入力ファイルは、以下のようなJSONファイルです。先頭数行分だけを載せます。

{"name": "WIK▲N", "tags": [{"count": 1, "value": "sillyname"}], "sort_name": "WIK▲N", "ended": true, "gid": "8972b1c1-6482-4750-b51f-596d2edea8b1", "id": 805192}
{"name": "Gustav Ruppke", "sort_name": "Gustav Ruppke", "ended": true, "gid": "b4f76788-7e6f-41b7-ac7b-dfb67f66282e", "type": "Person", "id": 578352}
{"name": "Pete Moutso", "sort_name": "Moutso, Pete", "ended": true, "gid": "49add228-eac5-4de8-836c-d75cde7369c3", "type": "Person", "id": 371203}
{"ended": true, "gid": "c112a400-af49-4665-8bba-741531d962a1", "sort_name": "Zachary", "id": 273232, "name": "Zachary"}
{"name": "The High Level Ranters", "sort_name": "High Level Ranters, The", "ended": true, "gid": "c42eed94-e233-44e2-82b8-3ed6dd9bf318", "type": "Group", "id": 153193}
{"begin": {"year": 1956}, "end": {"year": 1993}, "name": "The Silhouettes", "area": "United States", "sort_name": "Silhouettes, The", "ended": true, "gid": "ca3f3ee1-c4a7-4bac-a16a-0b888a396c6b", "type": "Group", "id": 101060, "aliases": [{"name": "Silhouettes", "sort_name": "Silhouettes"}, {"name": "The Sihouettes", "sort_name": "The Sihouettes"}]}
{"ended": true, "gid": "7b4a548e-a01a-49b7-82e7-b49efeb9732c", "sort_name": "Leavitt, Aric", "id": 145773, "name": "Aric Leavitt"}

ここから、"name"と"area"の値を抜き出して、Redisデータベースに登録するという課題です。

■ dbを使う準備

ローカルで動作させているので、以下のようなコードを書いて、Redisに接続します。

import redis
...
r = redis.StrictRedis(host='localhost', port=6379, db=0)

protはデフォルトで6379のようです。Redisを起動した際のメッセージに表示されていました。

db=0 でデータベースの番号を指定するようです。番号指定なんですね。ちょっと驚きです。名前指定って無いのかしら？

■ dbを初期化

何回もこのコードを実行することを考慮して、以下のコードで、現在選択されているDBのすべてのキーを削除します。

 r.flushdb()

■ dbに値を登録

このプログラムでは、enumKvメソッドを定義して、Key-Valueのペアを列挙しています。この結果を、setメソッドでDBに登録します。


 for k, v in enumKv():
     r.set(k, v)

■ dbの接続を閉じる

やり方がわかりませんでした。もしかして必要無いのかもしれません。

■ 出来上がったPythonのコード

import json
import redis

def enumKv():
    with open('artist.json', 'r', encoding='utf8') as fin:
        for line in fin:
            jsd = json.loads(line)
            if 'area' in jsd:
                yield jsd['name'], jsd['area']

def register():
    r = redis.StrictRedis(host='localhost', port=6379, db=0)
    r.flushdb()
    for k, v in enumKv():
        r.set(k, v)
    r.save()

def main():
    register()

if __name__ == '__main__':
    main()

■ 結果

このプログラムを動かしたら、Macのファンがすごい音をさせて回り始めました。
なかなか終わらないので、席を外して他のことをやって戻ったら、プログラムは終わってました。
すみません、時間は計測してなかったのですが、席を外していたのは10分程度だったように思います。

正しく登録できたかは、次の問題61で確認します。

Posted by gushwell at 20:53 │Comments(0) │Python

このページの上へ▲