Python 爬虫-爬取阿里旅行特价机票信息（2）

上接之前的（1）

数据分析

这里我查询的是 8月2号到 8月16号的特价机票信息，后面的那一串callback等可以不用改。网址在这里

从数据中可以看出来，需要的数据主要集中在 Key值为‘flights’的字典里，接下来要做的事情就简单了。

网页数据获取

首先留出填入起始时间和结束时间的接口，然后就要去打开相应的网址。通过urllib的urlopen函数，我们就获得了这个网址的json数据。
因为数据里包含了‘json1815’的数据。

虽然在写的时候发现好像是不用去处理的，但是出于懒惰就不去改代码了，顺便在这里小秀一下正则。

之后便通过json.loads，把字符串(str)转化成为 字典(dict)格式。然后直接去获取key为‘flights’的数据集即可。

def getdate(startdate, enddate):url = 'https://sjipiao.alitrip.com/search/cheapFlight.htm?startDate=%s&endDate=%s&' \'routes=BJS-&_ksTS=1469412627640_2361&callback=jsonp1815&ruleId=99&flag=1' % (startdate, enddate)price_html = urllib.urlopen(url).read().strip()pattern = r'jsonp1815\(\s+(.+)\)'re_rule = re.compile(pattern)json_data = re.findall(pattern, price_html)[0]price_json = json.loads(json_data)flights = price_json['data']['flights']  # flights Inforeturn flights

特价机票信息输出

按照字典里数据排列的方式，把数据按顺序打印出来即可。

# 输出所有航班信息
def print_all_trip(flights):for province in flights:print_trip(flights[province], province)# 输出目的地航班信息
def print_trip(flight, province):print '===============Province:%s===============' % provincefor f in flight:source = '从：%s-' % f['depName']dest = '到：%s\t' % f['arrName']price = '\t价格：%s%s(折扣:%s)\t' % ((f['price']), f['priceDesc'], f['discount'])depart_date = '\t日期：%s' % f['depDate']print source + dest + price + depart_date

整体代码调用

# -*- coding: utf-8 -*-
import datetime
import json
import urllib
import re
import sysdefault_encoding = 'utf-8'
reload(sys)
sys.setdefaultencoding(default_encoding)# 填上上面写的3个函数
# ...
# ...
# ...delay = int(raw_input('Enter the Day after: '))
today = datetime.date.today()
enddate = today + datetime.timedelta(delay)
endstr = str(enddate)
print str(today) + ' To ' + endstrflights = getdate(today, enddate=endstr)
print_all_trip(flights)

待加功能：
因为目的地不一定有特价机票，然而对应附近的城市可能会有。于是根据自己选定的目的地，来查询对应省份里其他城市的航班信息，支持多个省份一起查询。