#python学习笔记#使用python爬取拉勾网职位信息(一):环境配置及库安装

本文主要是介绍#python学习笔记#使用python爬取拉勾网职位信息(一):环境配置及库安装,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

鄙人作为一个Android开发者,经常想私下做一些小项目,需要一些后台的配合,自己的项目用servlet和sql语句也能凑合,但缺少后台数据就比较难办了(假数据看起来很违和,而且没有实际意义);听闻python可以做网络爬虫爬取数据,于是趁着这段时间开发任务不重,通过python实现了爬取网站数据的功能。

Python简介:

请自行百度...

Python安装:

1.先去官网下载python,根据自己的需要选择对应的版本:网址

2.解压下载下来的压缩包,然后根据提示进行安装。

3.设置环境变量,与java等环境变量类型,如图:

4.做完这些之后,python就算配置完成了,可以在控制行检测一下是否安装成功:

到此python就算配置成功了。

python编译工具:

python可以直接在命令行中进行编译,但是作为jetbrains的粉丝,当然不能错过jetbrains发布的python编译工作---PyCharm啦!

至此python的基本编译环境已经配置完成了,接下来需要导入一些编写爬虫程序的库了。

BeautifulSoup

在我看来,所谓爬虫就是将html抓取下来,然后分析其页面上的数据,python自带了html解析器--html parser,个人感觉用起来比较繁琐,因此推荐大家使用BeautifulSoup,功能比较强大,而且使用起来也比较方便。python安装第三方库还是比较方便的,有两种安装方式:

1.可以直接在命令行输入:pip install beautifulsoup4(python 2.0+用户)或者pip3 install beautifulsoup4(python 3.0+用户),之后等待安装完成即可。


2.去官网下载安装包,在命令行中先定位到安装包作为文件夹,执行python setup.py install即可

xlwt

xlwt是一款导出Excel表格的第三方python库,安装它是为了将获得的数据导出,方便查看,安装方法与上面类似。

好了,准备工作就都做好了,接下来,就该上代码了!


Python参考资料:

Python 基础教程 (看原文文档当然是最好,不过这个也不错,可以当字典使用)

玩蛇网(顾名思义)


这篇关于#python学习笔记#使用python爬取拉勾网职位信息(一):环境配置及库安装的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/747309

相关文章

SQL Server配置管理器无法打开的四种解决方法

《SQLServer配置管理器无法打开的四种解决方法》本文总结了SQLServer配置管理器无法打开的四种解决方法,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录方法一:桌面图标进入方法二:运行窗口进入检查版本号对照表php方法三:查找文件路径方法四:检查 S

Python中你不知道的gzip高级用法分享

《Python中你不知道的gzip高级用法分享》在当今大数据时代,数据存储和传输成本已成为每个开发者必须考虑的问题,Python内置的gzip模块提供了一种简单高效的解决方案,下面小编就来和大家详细讲... 目录前言:为什么数据压缩如此重要1. gzip 模块基础介绍2. 基本压缩与解压缩操作2.1 压缩文

Spring IoC 容器的使用详解(最新整理)

《SpringIoC容器的使用详解(最新整理)》文章介绍了Spring框架中的应用分层思想与IoC容器原理,通过分层解耦业务逻辑、数据访问等模块,IoC容器利用@Component注解管理Bean... 目录1. 应用分层2. IoC 的介绍3. IoC 容器的使用3.1. bean 的存储3.2. 方法注

Python设置Cookie永不超时的详细指南

《Python设置Cookie永不超时的详细指南》Cookie是一种存储在用户浏览器中的小型数据片段,用于记录用户的登录状态、偏好设置等信息,下面小编就来和大家详细讲讲Python如何设置Cookie... 目录一、Cookie的作用与重要性二、Cookie过期的原因三、实现Cookie永不超时的方法(一)

Python内置函数之classmethod函数使用详解

《Python内置函数之classmethod函数使用详解》:本文主要介绍Python内置函数之classmethod函数使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 类方法定义与基本语法2. 类方法 vs 实例方法 vs 静态方法3. 核心特性与用法(1编程客

Python函数作用域示例详解

《Python函数作用域示例详解》本文介绍了Python中的LEGB作用域规则,详细解析了变量查找的四个层级,通过具体代码示例,展示了各层级的变量访问规则和特性,对python函数作用域相关知识感兴趣... 目录一、LEGB 规则二、作用域实例2.1 局部作用域(Local)2.2 闭包作用域(Enclos

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

Python实现对阿里云OSS对象存储的操作详解

《Python实现对阿里云OSS对象存储的操作详解》这篇文章主要为大家详细介绍了Python实现对阿里云OSS对象存储的操作相关知识,包括连接,上传,下载,列举等功能,感兴趣的小伙伴可以了解下... 目录一、直接使用代码二、详细使用1. 环境准备2. 初始化配置3. bucket配置创建4. 文件上传到os

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传:从崩溃边缘抢救进度二、多线程加速:榨干网络带宽三、速度控制:做网络的好邻居四、终端交互

Python中注释使用方法举例详解

《Python中注释使用方法举例详解》在Python编程语言中注释是必不可少的一部分,它有助于提高代码的可读性和维护性,:本文主要介绍Python中注释使用方法的相关资料,需要的朋友可以参考下... 目录一、前言二、什么是注释?示例:三、单行注释语法:以 China编程# 开头,后面的内容为注释内容示例:示例:四