如何用python实现爬虫抓取网页时自动翻页
我把网页的第一篇内容抓取好了，但是用python怎么抓取后面的 又如何停止。 我在我抓取的网页代码中找到了 javascript:voidresult_page_down('/index.php?t=0&y=0&m=1&s=0&re=1&d=&ajax=1') /下一页。但是不知道如何使用它 求解答
看了你这个网站，下一页每次都不一样，每一页的链接也不一样，这种你靠分析肯定是不行的，因为你永远都不知道会出来什么内容，建议你用八爪鱼采集器，这是目前最好用的网页数据采集利器，解决这种问题很轻松的。
温馨提示：内容为网友见解，仅供参考
第1个回答 2015-08-02
用爬虫跟踪下一页的方法是自己模拟点击下一页连接，然后发出新的请求；
参考例子如下：
item1 = Item()
yield item1
item2 = Item()
yield item2
req = Request(url='下一页的链接', callback=self.parse)
yield req
注意：使用yield时不要用return语句。
参考例子如下：
item1 = Item()
yield item1
item2 = Item()
yield item2
req = Request(url='下一页的链接', callback=self.parse)
yield req
注意：使用yield时不要用return语句。
第2个回答 2013-12-06
url=“http://search.jiayuan.com/index.php?t=0&y=0&m=1&s=0&re=1&d=&ajax=1”
data={'p':页码}
用post方法提交追问
data={'p':页码}
用post方法提交追问
用post提交self._send_request(method, url, body, headers) 里面那个body就是页码？
本回答被提问者采纳
相似回答
