2018年08月05日

言語処理100本ノックでPython入門 #63 - KVSにオブジェクトを格納

  

今日は、言語処理100本ノック 2015の第7章・問題63を解きます。


■ 問題
63. オブジェクトを値に格納したKVS
KVSを用い,アーティスト名(name)からタグと被タグ数(タグ付けされた回数)のリストを検索するためのデータベースを構築せよ.さらに,ここで構築したデータベースを用い,アーティスト名からタグと被タグ数を検索せよ.

■ どうやって解くか

KVS(Redis)のValueには、オブジェクトも格納できるから、前回とほとんど変わらないコードでいけるんじゃないかな、と思ったのですが、ダメでした。

登録するまではよかったのですが、取得したデータはなぜかシリアライズされたバイト列でした。 このシリアライズされたバイト列をPythonのオブジェクトに戻す方法がわかりません。

しかたないので、jsonにシリアライズしたものを格納して、取り出すときにjsonからデシリアライズすることにしました。

pickleというものを使う方法もあるみたいだけど、そうなると、Python依存のDBになってしまうので今回は却下。もしかしたら、バイト列がpickleオブジェクトだったりするのかも。

db=1 と指定することで、前回までと別のDBにしてみました。

■ 登録するプログラム

import json
import redis

def enumKv():
    with open('artist.json', 'r', encoding='utf8') as fin:
        for line in fin:
            jsd = json.loads(line)
            if 'tags' in jsd:
                yield jsd['name'], json.dumps(jsd['tags'])

def register():
    r = redis.StrictRedis(host='localhost', port=6379, db=1)
    r.flushdb()
    for k, v in enumKv():
        r.set(k, v)
    r.save()

def main():
    register()

if __name__ == '__main__':
    main()

■ アーティスト名からデータを取得するプログラム
import json
import redis

def printTag(r, name):
    v = r.get(name)
    if v != None:
        print('*' + name)
        tags = json.loads(v.decode())
        for tag in tags:
            print("{}\t{}".format(tag['value'], tag['count']))

def main():
    r = redis.StrictRedis(host='localhost', port=6379, db=1)
    printTag(r, 'George Winston')
    printTag(r, 'Mariah Carey')
    printTag(r, '松任谷由実')

if __name__ == '__main__':
    main()

■ 結果

*George Winston
new age 1
folk    1
*Mariah Carey
whistle register        1
rnb     1
pop     1
american        1
pop and chart   1
girl    1
*松任谷由実
fixme label mess        1
likedis auto    1