本文主要是介绍python爬虫实战1-获取当当网近30日好评榜前500本书籍，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1、首先打开当当网，点击好评榜，选择近30日，此时浏览器中的URL复制一下，备用
http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-1
2、每一页显示20本书，点击下一页可以发现URL变化了，但是只有最后一个数变化，http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-2，对应页数
3、F12打开开发者工具，选取页面中的元素，像下面的截图一样，可以找到对应的内容所对应的html代码，这样子到时候就可以通过正则匹配到我们想要的元素了
4、说完思路就可以写代码了，python部分，用到requests模块，获取到页面代码之后，通过正则匹配到对应的内容，最后保存到文本中。
5、首先要获取页面的html代码
def get_html(url):# 设置请求头，从浏览器复制的，可以没有headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36"}try:response = requests.get(url, headers=headers)if response.status_code == 200:return response.textexcept Exception as e:print(e)return False6、获取到html后就需要用正则匹配获取想要的内容啦，用yield可以节约内存
def parse_result(html):pattern = re.compile(r'<li>.*?list_num.*?(\d+).</div>.*?<img src="(.*?)".*?title="(.*?)".*?<span class="tuijian">'r'(.*?)</span>.*?class="publisher_info">.*?target="_blank">(.*?)</a>.*?class="biaosheng">'r'.*?<span>(.*?)</span>.*?class="price_n">¥(.*?)</span>', re.S)items = re.findall(pattern, html)for item in items:yield {"range": item[0],"img": item[1],"title": item[2],"recommend": item[3],"author": item[4],"star": item[5],"price": item[6]}7、获取到内容之后呢，就可以写入文本啦
def write_item_to_file(item):print("write data to book.txt")with open(PATH, 'a', encoding="UTF-8") as f:f.write(json.dumps(item, ensure_ascii=False) + '\n')8、整个串起来，这样就把一页的内容提取出来并存到文本中啦
def get_books_info_of_current_page(page):url = "http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-" + str(page)html = get_html(url)if html:items = parse_result(html)for item in items:write_item_to_file(item)else:print("get {} page failed".format(page))9、最后取25页，就是排名前500的书籍啦
if __name__ == '__main__':if os.path.exists(PATH):os.remove(PATH)for i in range(1, 26):get_books_info_of_current_page(i)10、看看出来的效果吧，
这篇关于python爬虫实战1-获取当当网近30日好评榜前500本书籍的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
