前言 要想学好爬虫，必须把基础打扎实，之前发布了两篇文章，分别是使用XPATH和requests爬取网页，今天的文章是学习Beautiful Soup并通过一个例子来实现如何使用Beautiful Soup爬取网页。 什么是Beautiful Soup Beautiful

windows 7 系统下爬虫抓取提示如下错误& 39;gbk& 39; codec can& 39;t encode character & 39; xa0& 39; 对于此Unicode字符(myUnWebItems)，需要print出来的话，由于本地系统是Windows中的cmd，默认codepage是CP936，即GBK的编

Python3 爬虫 BeautifulSoup模块（4）： bs4 Tag类型转换为字符串 insert插入数据错误 cur execute( "insert into p_links(title,href,content) values ( %s , %s , %s ) " % (titleContents,full_url,cont_p))

windows系统中Python3.6 安装MySQLdb模块一直不成功，后来安装了pymysql模块

tag的 .contents 属性可以将tag的子节点以列表的方式输出:

soup = BeautifulSoup(cent,"html.parser")，slink = soup.find_all("a",href=re.compile(r"\/php\/(.+?)\/(\d+).html")) 输出a标签（超链）中没有class属性的

确定你的电脑已经安装了pip：我本地的安装路径：E:\python\Scripts\pip3.6.exe，然后执行e:\python\Scripts>pip install beautifulsoup4