写在前面 1、本篇架构介绍内容为笔记性质（其实就是从很多博客东找西找复制粘贴来的），后续具体实现再写自己针对这个项目的内容。因为架构介绍属于备忘录性质的，且之前已经用requests库完成过一些针对部分网站的特异性爬虫，所以scrapy的介绍不如看完以后直接转载别人的（废话这么多主要为了解释自己为什么犯懒不想在第一篇自己写）。具体参考过的博文原地址在最后。2、工作中需要对某网站（对，不能说哪个）的公告类信息进行及时爬取，并对公告内容的重要信息结构化后在数据库中存储，故开此坑。至于为什么一个硬件工程师会开爬虫的坑主要…