该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
二：开始爬虫
1.爬虫主要分为两个部分，第一个是网页界面的获取，第二个是网页界面的解析；爬虫的原理是利用代码模拟浏览器访问网站，与浏览器不同的是，爬虫获取到的是网页的源代码，没有了浏览器的翻译效果。
2.首先，我们进行页面获取，python爬虫的话很多模块包提供给开发者直接抓取网页，urllib，urllib2，requests（urllib3）等等，这里我们使用urllib2进行网站页面的获取；首先导入urllib2模块包（该包是默认安装的）：import urllib2
3.导入模块包之后，然后调用urllib2中的urlopen方法链接网站，代码如下repr =urllib2.urlopen("XXXXXX"),XXXXXX代表的是网站名称。
4.得到网站的响应之后，然后就是将页面的源代码读取出来，调用read方法，html = repr.read()
5.获取到页面的源代码之后，然后接下来的工作就是将自己想要的数据从html界面源代码中解析出来，解析界面的模块包有很多，原始的re，好用的BeautifulSoup，以及高大上的lxml等等，这里我就简单的用re介绍介绍，首先导入re模块包：import re
6.然后进行利用re进行搜索，这里我有使用正则表达式，看不懂的同学需去补充点正则表达式方面的知识。
7.然后，我这里就实现了一个简单的爬虫流程，打印url，可以看见刚好就是之前我们看见的百度主页logo的地址。
8.源代码：
import urllib2
repr = urllib2.urlopen("URL")
html = repr.read()
import re
省略一行代码
print url
