-6-18
--今天实现了第一个用urllib2实现的爬虫程序。
--过程中发现
req = urllib2.Request(url,headers = headers)
总是报错: 主要原因在于 url 地址错误。
例如:/wenzi/index_1.html
这个网址打开的是404网页错误。
但是 /wenzi/index_2.html 这个网页却可以了。
源代码如下:
#-*- coding:utf-8 -*-
import urllib2
class Spider:
'''
内涵段子吧。。。
'''
def load_page(self,page):
'''
发送内涵段子url
'''
url = '/wenzi/index_'+ str(page) +'.html'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.63 Safari/537.36"}
req = urllib2.Request(url,headers = headers)
response = urllib2.urlopen(req)
html = response.read()
return html
#main
'''
'''
if __name__ == '__main__':
mySpider = Spider()
the_page = mySpider.load_page(2)
print the_page
综上,我们可以在代码中加一个判断 url 是否打开正常的代码,这个需要学习。
-----------------------------------------------------------华丽丽的分割线-------------------------------------------------------------------------------------------------
安装Scrapy
--安装scrapy 都要快被安装死了
首先会发现提示 一下问题:
1.版本问题,就是说 Scrapy 所依赖的模块版本太低。'>=1.00' 表明你要使用大于1.0的版本
2.
说明 你有一个包 attrs 没有安装。
那就使用 pip install attrs 安装即可
安装完之后终于正常了。。。。
Python教程:pywin32下载安装
下载链接/projects/pywin32/files/pywin32/Build%8/pywin32-218.win32-py2.7.exe/download
-------------------------开启爬虫之路----------------------------------------------
首先先说明当中可能遇到的问题:
步骤:在执行插入语句时,会提示上面的error。
原因:是因为数据库中定义的字段长度比较小,在插入或者更新的时候,用一个比这个字段长度大的值去操作,就会引起这个错误。
2.
python向数据库插入中文乱码问题
第一步:数据库那边总得把字段类型设置为utf8之类类的吧。
第二步:在连接数据库的时候,加个参数,说明数据库那边的字段类型一致,charset='utf8'。
大概就是这样:
conn =MySQLdb.connect(host="127.0.0.1",user="nimei",passwd="nimei",db="nimei",charset="utf8") --sqlserver同理