2016-04-19から1日間の記事一覧

multiprocessing をつかってジョブの並列化

スクレイピングなどする場合、アクセスする時間が律速になるので(CPUに付加がかからない)、 ジョブを複数に分割したいケースがある。ジョブを分割して、その戻り値のリストを結合するプログラム。 Poolとmapを使ってもいいのだが、あえて、Queueを使う。 fro…