如何用python抓取网页特定内容

比如一个网站卖ipad 平时卖4500 偶尔会特价卖3000 如何实现实时抓取这个价格?

最简单可以用urllib,python2.x和python3.x的用法不同,以python2.x为例:


import urllib
html = urllib.open(url)
text = html.read()

复杂些可以用requests库,支持各种请求类型,支持cookies,header等

再复杂些的可以用selenium,支持抓取javascript产生的文本


我设计了简单的爬虫闯关网站 www.heibanke.com/lesson/crawler_ex00/

新手如果能自己把三关闯过,相信一定会有所收获。

题解在课程里有提到http://study.163.com/course/courseMain.htm?courseId=1000035

温馨提示:内容为网友见解,仅供参考
第1个回答  2011-11-01
用urllib2读取通过httpserver传递request,获取html文件。
用正则表达式规定那个价格附近的格式内容,查找整个html,找到价格。
关键在于网站html文件并不规范,可能经常有变化导致失败。

定时运行脚本发现价格变化就报告。
第2个回答  2011-10-31
这个需要借用网站的api,自己去找找看,还有可以用解析网页的模块自己抓取本回答被提问者采纳
相似回答