View on GitHub

TuChong

这是一个图虫网的小爬虫/ A spider of TuChong

TuChong

这是一个图虫网的小爬虫/ A spider of TuChong

首先,图虫网是一个很棒的图片网站,这里的爬虫只是为了研究技术,请读者朋友们,不要大量采集网站信息,爬取的图片,请取得版权后再使用…

图虫网

根据”分类名称”,获取json数据

image.png

image.png

image.png

根据json数据,获取图集url与title

image.png

image.png

image.png

image.png

image.png

#爬虫架构:

爬虫多线程实现

运行界面:

运行

最终效果

效果

会在同级目录下生成一个images的文件夹,里面有按照原主题命名的图片…

图片目录