python 抓取google play 各搜索词排名

本文主要是介绍python 抓取google play 各搜索词排名，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

背景：

做app推广的时候需要看各搜索词搜到的各app的排名

需要的结果：

在https://play.google.com/apps 中搜索某关键词，如browser
抓取页面返回的所有app，并保存对应的位置即排名

主要实现是用httplib2 抓取页面，用lxml解析页面。

import base  
import httplib2  
import lxml
import re
import time
from lxml import etree
from urllib import urlencode
from httplib2 import socksAPP_ID = '146'
TOP_CNT = 200
GP_SEARCH_URL = 'https://play.google.com/store/search'
TABLE = 'gp_keyword_ranking'
PROXY_HOST = '115.29.170.73'
PROXY_PORT = 2080def get_pack(url_data):                                                                                                                                                      '''get pack_names and pagtok from url'''

    #用代理模拟在usa 访问google playproxy = httplib2.ProxyInfo(socks.PROXY_TYPE_SOCKS5, PROXY_HOST, PROXY_PORT)http=httplib2.Http(proxy_info = proxy)  uri= '%s?%s' % (GP_SEARCH_URL, urlencode(url_data))response,content=http.request(uri,'GET')

    #etree解析html  tree = etree.HTML(content)try:pack_names = tree.xpath(u'//div[@class="card-list two-cards"]/div/@data-docid')except:print 'get pack_names from uri:%s failed!!!!!!!!!!!'%urireturn None, Nonetry:script = tree.xpath(u'//div/script')[-1]script_text = script.textregex = re.compile(r'var nbp=\'(.*)\\n\';var')nbp = regex.search(script_text).group(1)nbp = eval(nbp.decode('unicode-escape').decode('unicode-escape'))pagtok = nbp[1]
except Exception as e:
print e
print 'get pagTok from uri:%s failed!!!!!!!!!!!'% uri
return pack_names, None
return pack_names, pagtok<span style="font-family: Arial, Helvetica, sans-serif;">     </span>

遇到的问题：

抓取数据的时候并不是抓包获取一个链接，访问了，就直接返回一串数据。需要先爬网页，然后再解析网页
抓取网页的时候不是访问一次就返回所有的数据，网站上的体验的往下拉页面的时候页面逐渐加载。
要看每次加载的时候网页请求有什么不一样，结果发现传了一个pagTok参数。
但是pagTok参数是从娜来的呢！因为这次的返回的结果是接在上次之后的，所以猜测这次的参数应该与上次访问的返回有关。在上次访问返回的content里面找到了相应的参数
之后第2，3.。。。。。次访问的时候就加上pagTok参数，即可获取要的数据

中间搜索词有空格的时候，参数无效，用以下方法解决

  uri= '%s?%s' % (GP_SEARCH_URL, urlencode(url_data))response,content=http.request(uri,'GET')

抓取的页面编码问题，用以下方法解决

<span style="white-space:pre">	</span>nbp.decode('unicode-escape').decode('unicode-escape')<span style="font-family: Arial, Helvetica, sans-serif;">	</span>

推荐链接：

解析内容时编码问题： http://stackoverflow.com/questions/23288042/i-want-to-decode-string-in-python

抓取网页： http://blog.csdn.net/gs_zhaoyang/article/details/13768925

代理设置： https://code.google.com/p/httplib2/wiki/Examples

这篇关于python 抓取google play 各搜索词排名的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！