如何用python把网页上的文本内容保存下来

这个网页上都是纯文本内容 如何用python抓取并保存为txt

1、了解Python如何获取网页内容。

2、导入 urllib.request模块。

3、使用urllib.request.urlopen( )获取对象。

4、urllib.request.urlopen()获取的是一个网页的http.client.HTTPResponse对象。

5、若要打印http.client.HTTPResponse对象的内容,可以继续使用read()()方法。

温馨提示:内容为网友见解,仅供参考
第1个回答  推荐于2017-10-12

先说下基本原理和过程

原理:就是将可以打开的网页(这里不限制为网站,本地网页文件也可以哦),加载到内存中,然后解析html,读取其中的文本内容或者储存到本地或者数据库中。

过程:

1、加载模块urllib,beautifulsoup。urllib提供网络服务解析,beautifullsoup提供对网页结构进行解析的功能。

2、加载网页

3、用beautifulsoup加载解析

下面给出实例:

import urllib.request   
from bs4 import BeautifulSoup
url="http://google.cn/"  
response=urllib.request.urlopen(url)    #返回文件对象
page=response.read()  
#直接将URL保存为本地文件:
import urllib.request  
url="http://www.xxxx.com/1.jpg"
urllib.request.urlretrieve(url,r"d:\temp\1.jpg")
#当然你可以将返回的对象交给soup处理
soup=BeautifulSoup(response)
#运行soup

第2个回答  2011-08-23
使用urllib就ok啊!建议搜索beautiful soup。python在抓取网页上可是非常牛逼的

import urllib
a=urllib.urlopen("http://www.baidu.com").read()
print a

看看会有什么结果,一些html标签你就要用工具进行过滤了 beautifulsoup本回答被提问者采纳
第3个回答  2011-08-29
如果只需要网页内容,用urllib2就行,查询python的api,调用read方法获得网页内容。
如果需要解析的话,就用BeautifulSoup吧。
第4个回答  2011-08-23
此时用ajax访问这个试图返回的内容就是: 上面这种办法不是很好,建议先写一修改了一下就到了楼上的下面了,你也太没水准了。直接复制 =修改=
相似回答