Elasticsearch Elasticsearch_dsl 基本查询

说明通过elasticsearch_dsl提供的API操作es进行基本查询操作创建mapping123456789101112131415161718192021222324252627from elasticsearch_dsl import DocType, Date,

Python Sqlalchemy模块

说明项目中会使用到数据库，需要创建表结构和相关属性，因对原生sql不熟悉，使用python中ORM框架qlalchemy模块来完成建表查询操作基本用法1234567891011121314151617181920212223242526272829303132333435363

说明通过scrapy+selenium对本站blog进行抓取抓取到的数据通过sqlalchemy操作写入mysql 用来练习scrapy+selenium模拟操作浏览器，没有对blog正文进行相应处理实现说明定义表结构(models.py) 1234567891011

说明通过scrapy对本站blog进行抓取抓取到的数据通过sqlalchemy操作写入mysql 实现说明定义表结构(models.py) 1234567891011121314151617181920212223242526# -*- coding: utf-8 -*

常用命令12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758git push origin master # 将本地

说明Selenium是Thoughtworks公司的一个集成测试的强大工具，Selenium 是 ThoughtWorks 专门为 Web 应用程序编写的一个验收测试工具；使用 Selenium 的最大好处是： Selenium 测试直接在浏览器中运行，就像真实用户所做的一样。在

使用selectors构建 Selectors通过向 Selector 类的构造函数传入 text 或者是 TextResponse 对象来构造 selectors 实例；它会根据传入的类型(input type)自动的去选择最佳的解析规则(XML vs HTML)1234567

Item LoadersItem Loaders 被设计用来提供一个既弹性又高效简便的构件，以扩展或重写爬虫或源格式(HTML, XML之类的)等区域的解析规则使用item loader填充item add_xpath # 通过xpath选取数据 add_css #

架构所有过程的流向都依赖于 ENGINE 模块1.Engine从Spider中得到初始的Requests，Requests将被用来进行爬取；2.Engine将得到的Requests放入Scheduler中，然后不断从Scheduler询问下次可以进行爬去的Requests；3.S

背景项目中常使用到实时通信，实时通知等应用，之前使用过第三方提供的接口调用，由于网络原因，不稳定超时，Django 1.8以后支持channel，可实现该功能定义Channels基本上就是任务队列：消息被生产者推到通道，然后传递给监听通道的消费者 Channels工作层：接口