爬虫我也是接触了1个月，从python小白到现在破译各种反爬虫机制，我给你说说我的方向：
1、学习使用解析网页的函数，例如：
import urllib.request
if __name__ == '__main__':
url = "..."
data = urllib.request.urlopen(url).read() #urllib.request.urlopen(需要解析的网址)
data = data.decode('unicode_escape','ignore') #用unicode_escape方式解码
print(data)
2、学习正则表达式：
正则表达式的符号意义在下面，而正则表达式是为了筛选出上面data中的信息出来，例如：
def get_all(data):
reg = r'(search.+)(" )(mars_sead=".+title=")(.+)(" data-id=")'
all = re.compile(reg);
alllist = re.findall(all, data)
return alllist
3、将得到的结果压进数组：
if __name__ == '__main__':
info = []
info.append(get_all(data))
4、将数组写进excel：
import xlsxwriter
if __name__ == '__main__':
info = []
info.append(get_all(data))
workbook = xlsxwriter.Workbook('C:\\Users\\Administrator\\Desktop\\什么文件名.xlsx') # 创建一个Excel文件
worksheet = workbook.add_worksheet() # 创建一个工作表对象
for i in range(0,len(info)):
worksheet.write(行, 列, info[i], font)#逐行逐列写入info[i]
workbook.close()#关闭excel
一个简单的爬虫搞定，爬虫的进阶不教了，你还没接触过更加看不懂
先长话短说summarize一下：
你需要学习
基本的爬虫工作原理
基本的http抓取工具，scrapy
Bloom Filter: Bloom Filters by Example
如果需要大规模网页抓取，你需要学习分布式爬虫的概念。其实没那么玄乎，你只要学会怎样维护一个所有集群机器能够有效分享的分布式队列就好。最简单的实现是python-rq: https://github.com/nvie/rq
rq和Scrapy的结合：darkrho/scrapy-redis · GitHub
后续处理，网页析取(grangier/python-goose · GitHub)，存储(Mongodb)
如何入门 Python 爬虫
如果您想入门Python爬虫，可以按照以下步骤进行：1. 学习Python基础知识：了解Python的语法、数据类型、流程控制等基本概念。可以通过在线教程、视频教程或参考书籍来学习。2. 学习网络爬虫基础知识：了解什么是网络爬虫，以及爬虫的原理和基本流程。学习HTTP协议、HTML解析等相关知识。3. 学习Python爬虫库：Pyth...
python爬虫入门,10分钟就够了,这可能是我见过最简单的基础教学_百度知 ...
1新建爬虫项目scrapy startproject mySpider2明确目标 （编写items.py）打开mySpider目录下的items.py3制作爬虫 （spiders\/xxspider.py）scrapy genspider gushi365 " gushi365.com"4存储内容 （pipelines.py）设计管道存储爬取内容 常用工具 5.1fidder fidder是一款抓包工具，主要用于手机抓包。5.2XPath H...
毕业生必看Python爬虫上手技巧
2、使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到 代理IP；在urllib 2包中有Proxy Handler类， 通过此类可以设置代理 访问网页，如下代码片段：3、Cookies处理 cookies是某些网站为了辨别用户身份、进行session跟踪而 储存在用户本地终端上的数据(通常经过加密) ， python提供了 c...
学爬虫需要掌握哪些知识
零基础想要入门Python爬虫，主要需要学习爬虫基础、HTTP和HTTPS、requests模块、cookie请求、数据提取方法值json等相关知识点。只有在打牢理论知识的基础上，理解爬虫原理，学会使用 Python进行网络请求，才能做到真正掌握爬取网页数据的方法。当然如果大家觉得自学无从下手，可以在博学谷平台上观看视频课程进行学习。
python如何爬虫
1、安装必要的库 为了编写爬虫，你需要安装一些Python库，例如requests、BeautifulSoup和lxml等。你可以使用pip install命令来安装这些库。2、抓取网页数据 主要通过requests库发送HTTP请求，获取网页响应的HTML内容。3、解析HTML 使用BeautifulSoup等库对HTML进行解析，提取需要的数据。4、存储数据 将提取的数据...
python爬虫要学什么
1、学习计算机网络协议基础，了解一个完整的网络请求过程，大致了解网络协议（http协议，tcp-ip协议），了解socket编程，为后期学习爬虫打下扎实的基础。2、学习前端基础，你需要掌握html、css和JavaScript之间的关系，浏览器的加载过程，ajax、json和xml，GET、POST方法。3、学习python爬虫相关知识，比如最常...
如何学习爬虫
1、学会Python基本语法 2、学习爬虫常用库，如urllib, http、requests等，用于向网页发起请求 3、学习正则表达式re、BeautifulSoup（bs4）、Xpath等网页解析工具 4、以上三点学了以后就可以开始一些简单的网站爬取，体会爬取网页的过程 5、学习处理网站反爬机制，headers，Cookie，时间戳，隐含字段等 6、...
学习爬虫有没有好的建议,比如按照什么路线学比较好?
将所需数据保存到数据库或是特定格式文件。具体学习：1）首先是学习Python基本常识学习，了解网络请求原理、网页结构。2）视频学习或者找一本专业网络爬虫的书进行学习。所谓“前人栽树后人乘凉”，跟着大神的步伐进行实际操作，必定能事半功倍。3）网站实际操作，在具备爬虫思想之后多找一些网站进行操作。
爬虫怎么学
第一步，刚触摸Python网络爬虫的时分肯定是先过一遍Python最基本的常识，比如说：变量、字符串、列表、字典、元组、操控句子、语法等，把根底打牢，这样在做案例的时分不会觉得模糊。根底常识能够参阅廖雪峰的教程，很根底，也非常易懂，关于新手能够很快接纳。此外，你还需求了解一些网络恳求的基本原理、...
零基础用爬虫爬取网页内容(详细步骤+原理)
网络上有许多用 Python 爬取网页内容的教程，但一般需要写代码，没有相应基础的人要想短时间内上手，还是有门槛的。其实绝大多数场景下，用 Web Scraper （一个 Chrome 插件）就能迅速爬到目标内容，重要的是，不用下载东西，也基本不需要代码知识。 在开始之前，有必要简单了解几个问题。 a、爬虫是...
