2016-04-01から1ヶ月間の記事一覧

辞書の中身でリストをソートする。

stock_info = [{'code':4686, 'meigara':'ジャストシステム'}, {'code':1301, 'meigara':'極洋'}] とかがあってこれを、 stock_info = [ {'code':1301, 'meigara':'極洋'}, {'code':4686, 'meigara':'ジャストシステム'}] とコード順に並べたい時 sorted_sto…

calendar を使ってある期間の日付と曜日を得る

# -*- coding: utf-8 -*- import calendar year = [y for y in range(1983,2017)] month = [1,2,3,4,5,6,7,8,9,10,11,12] youbi = ["月","火","水","木","金","土","日"] print(year) print(month) cal = calendar.Calendar() for y in year: for m in month…

lxml を使う

BeautifulSoupが不満足になったら、lxmlを使ってみる。日本語のサイトをスクレイプする際には、 fo = open(folder+'/%d_%d.html'%(m_code,m),'rb') root = lxml.html.fromstring((fo.read()).decode('utf-8')) decode('utf-8')とutf-8でデコードする。 Beaut…

pyenvで使っているpythonを使うときのcrontabの書き方

mac環境下でpython を使ってスクレイピングやファイルのダウンロードなどを定期的に行うには、 crontabをつかう。crontab -e でエディタを立ち上げてそこに書く。 例えば、テストで一分毎にスクリプトを走らせたいときは、*/1 * * * * と時間設定する。 */1 …

GPUを確認するコマンド

どのカードを挿したかわからなくなった時に調べるコマンドnvidia-smi [test@test test]$ nvidia-smi Mon Jun 6 17:30:29 2016 +------------------------------------------------------+ | NVIDIA-SMI 346.35 Driver Version: 346.35 | |------------------…

multiprocessing をつかってジョブの並列化

スクレイピングなどする場合、アクセスする時間が律速になるので(CPUに付加がかからない)、 ジョブを複数に分割したいケースがある。ジョブを分割して、その戻り値のリストを結合するプログラム。 Poolとmapを使ってもいいのだが、あえて、Queueを使う。 fro…

pythonはてな記法

はてなブログでpythonコードをハイライトする方法。設定→編集モード→はてな記法モードを選択する。">|python|"と"|| syntaxhighlighterとかを使わなくても良いのは便利ですね。 import collections Card = collections.namedtuple('Card',['rank','suit']) c…

pythonの変数について

よくある誤解 >>> a=[1,2,3] >>> b=a>>> a.append(4) ってしたら >>> a[1, 2, 3, 4] は当然そうなると思うでしょうが、 >>> b[1, 2, 3, 4] bも変更されるんですね。 pythonの変数はJavaにおけるリファレンス変数なんですね。