Python爬取电影天堂最新发布影片消息

从今天开始我会把我学习python爬虫的一些心得体会和代码发布在我现在的博客，好记性不如烂笔头，以便以后的我进行复习。

虽然我现在的爬虫还很幼小，希望有一天她能长得非常非常的强大。

--------------------2018.11.22---------------------------------------------------------------------------------------------------------------------------------

 

OK，废话少说。今天爬取的是电影天堂网站左边框的一个container。

 

环境我准备好了，所以我就开始了。

首先，为了我测试时的速度和不影响人家网站的服务器，我决定把电影天堂页面的html下载到本地

代码如下：

#下载网页
def downloadhtml():
    url = 'https://www.dytt8.net'
    headers = {'User-Agent':'Mozilla/5.0'}
    r = requests.get(url,headers=headers)
    with open('C:/Code/newhtml1.html','wb') as f:
        f.write(r.content)
downloadhtml()

这里值得一提的是，抓取下来的HTML格式是二进制的，所以保存文件时要用wb。

 

---

 

保存好HTML文件，我就可以尽情地调戏，不对，调试这个网站了的数据。

第一步：分析数据

打开网页的源代码，我们发现我们需要的数据被装在一个ul标签里。

Ctrl+F在源代码里查看<ul>标签，发现我们需要的ul标签是第三个标签。

 

 

这样我们就知道该爬哪里了。

---

 

第二步：解析数据

刚才下载的网页现在可以用上了，定义一个函数让BeautifulSoup能用上这个HTML网页

如：soup = BeautifulSoup(html,'html.parser')里面的html参数就可以用htmlhandle这个变量填上。

def send_html():
    path = 'C:/Code/newhtml1.html'
    htmlfile=open(path,'r')
    htmlhandle = htmlfile.read()
    return htmlhandle

开始分析数据，

先贴代码吧：

def get_pages(html):
    soup = BeautifulSoup(html,'html.parser')
    for ul in  soup.find_all('ul')[2]:
        if isinstance(ul,bs4.Tag):
            Tag_name=ul.get_text()
            Tag_href=ul.get('href')
            if Tag_name!= '':
                print('名称：{}，地址：{}'.format(Tag_name,Tag_href))

解释下代码

先用BeautifulSoup的find_all()函数找到所有ul标签，因为后面加了[2]，所以找到是第三个ul标签。

在这里我们离我们的目标很近了。

但这里我们能发现find_all()遍历返回的值的类型是不同的，我们利用type(ul)就能发现，它其中参杂两种类型：

<class 'bs4.element.NavigableString'>
<class 'bs4.element.Tag'>
<class 'bs4.element.Tag'>

字符串和Tag，测试一下就能知道字符串类型是空的，我们需要的Tag类型。

所以用isinstance来判断是否是Tag类型，如果不是，就不要了。输出如下：

 

我们发现，中间还参杂了一些无效的条目，仔细看上面就能发现它返回是有两个Tag类型的，其中一个是什么都没有装的，是导致这个无效条目的原因。

所以把这条无效的条目给过滤掉吧

if Tag_name!= '':print('名称：{}，地址：{}'.format(Tag_name,Tag_href))

到这里，我们就完成了本次抓取。

---

下面附上总代码：

import requests
import re
from bs4 import BeautifulSoup
import bs4

def send_html():
    path = 'C:/Code/newhtml1.html'
    htmlfile=open(path,'r')
    htmlhandle = htmlfile.read()
    return htmlhandle

def get_pages(html):
    soup = BeautifulSoup(html,'html.parser')
    for ul in  soup.find_all('ul')[2]:
        #print(type(ul))
        if isinstance(ul,bs4.Tag):
            Tag_name=ul.get_text()
            Tag_href=ul.get('href')
            if Tag_name!= '':
                print('名称：{}，地址：{}'.format(Tag_name,Tag_href))

get_pages(send_html())