2020年里5个必须具备的数据科学技能

2024-06-21 09:08

本文主要是介绍2020年里5个必须具备的数据科学技能,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”


作者:Joos Korstanje

编译:ronghuaiyang

导读

长期以来,“R, Python, SQL和机器学习”一直是数据科学家的标准工作描述。但随着该领域的发展,这已不足以在就业市场上保持竞争力。

更新你的技能,为2020年数据就业市场准备!

数据科学是一个竞争激烈的领域,人们正在迅速积累越来越多的技能和经验。这导致了机器学习工程师的工作描述越来越丰富,因此我对2020年的建议是,所有的数据科学家也需要成为开发人员。

为了保持竞争力,你一定要为新工具带来的新工作方式做好准备。

1. 敏捷

敏捷是一种组织工作的方法,已经被开发团队大量使用。数据科学的角色越来越多地由那些最初的技能是纯软件开发的人来扮演,这就产生了机器学习工程师的角色。

越来越多的数据科学家/机器学习工程师被管理为开发人员:不断地改进现有代码库中的机器学习元素。

对于这种类型的角色,数据科学家必须了解基于Scrum方法的敏捷工作方式。它为不同的人定义了几个角色,这个角色定义确保了持续的改进和顺利地实现。

2. Github

Git和Github是为开发人员提供的软件,在管理不同版本的软件时非常有用。它们跟踪对代码库所做的所有更改,此外,当多个开发人员在同一时间对同一项目进行更改时,它们还为协助提供了真正的便利。

随着数据科学家的角色变得越来越偏重于开发,使用这些开发工具就成为了关键。Git正在成为一种重要的工作需求,要适应使用Git的最佳实践需要一定的时间。当你独自一人或与他人合作时,很容易开始使用Git,但是当你加入一个有Git专家的团队,而你仍然是一个新手时,你可能会比想象的更加困难。

3. 工业化

数据科学也在改变的是我们思考项目的方式。数据科学家仍然是用机器学习回答业务问题的人,一如既往。但是,越来越多的数据科学项目是为生产系统开发的,例如作为大型软件中的微服务。

与此同时,高级模型的CPU和RAM消耗越来越大,特别是在处理神经网络和深度学习时。

对于数据科学家的工作描述,不仅要考虑模型的准确性,还要考虑项目的执行时间或其他工业化方面,这一点变得越来越重要。

4. 云和大数据

虽然机器学习的工业化正成为数据科学家的一个严重的约束,但它也成为数据工程师和IT的一个严重约束。

当数据科学家可以致力于减少模型所需的时间时,IT人员可以通过改变速度更快的计算服务来做出贡献,这些计算服务通常可以通过以下一种或两种方式获得:

  • 云:将计算资源转移到外部供应商,如AWS、Microsoft Azure或谷歌云,使得建立一个可以从远处访问的非常快速的机器学习环境变得非常容易。这要求数据科学家对云功能有基本的了解,例如:使用远程服务器而不是自己的计算机,或者使用Linux而不是Windows / Mac。

PySpark可以在并行(大数据)系统上编写Python
  • 大数据:更快的第二个方面是使用Hadoop和Spark,这两个工具允许同时在多台计算机(工作节点)上并行处理任务。这要求使用不同的方法来实现数据科学家的模型,因为你的代码必须允许并行执行。

5. 自然语言处理, 神经网络和深度学习

最近,数据科学家仍然认为NLP和图像识别仅仅是数据科学的专门化,并不是所有人都必须掌握。

你需要理解深度学习: 基于人脑思想的机器学习

但是,即使在“常规”业务中,图像分类和NLP的用例也越来越频繁。在当今时代,至少对这些模型没有基本的了解是不可接受的。

即使你在工作中没有此类模型的直接应用,也可以很容易地找到实际操作的项目,并使你能够理解图像和文本项目中所需的步骤。

祝你好运,同时提高你的技能,不要犹豫,保持关注

—END—

英文原文:https://towardsdatascience.com/top-5-must-have-data-science-skills-for-2020-a5a53226b168

请长按或扫描二维码关注本公众号

喜欢的话,请给我个好看吧

这篇关于2020年里5个必须具备的数据科学技能的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1080794

相关文章

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分,使用python生成公钥与私钥,然后保存在两个文

mysql中的数据目录用法及说明

《mysql中的数据目录用法及说明》:本文主要介绍mysql中的数据目录用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、版本3、数据目录4、总结1、背景安装mysql之后,在安装目录下会有一个data目录,我们创建的数据库、创建的表、插入的

Navicat数据表的数据添加,删除及使用sql完成数据的添加过程

《Navicat数据表的数据添加,删除及使用sql完成数据的添加过程》:本文主要介绍Navicat数据表的数据添加,删除及使用sql完成数据的添加过程,具有很好的参考价值,希望对大家有所帮助,如有... 目录Navicat数据表数据添加,删除及使用sql完成数据添加选中操作的表则出现如下界面,查看左下角从左

SpringBoot中4种数据水平分片策略

《SpringBoot中4种数据水平分片策略》数据水平分片作为一种水平扩展策略,通过将数据分散到多个物理节点上,有效解决了存储容量和性能瓶颈问题,下面小编就来和大家分享4种数据分片策略吧... 目录一、前言二、哈希分片2.1 原理2.2 SpringBoot实现2.3 优缺点分析2.4 适用场景三、范围分片

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题?(与哨兵模