2020年里5个必须具备的数据科学技能

2024-06-21 09:08

本文主要是介绍2020年里5个必须具备的数据科学技能,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”


作者:Joos Korstanje

编译:ronghuaiyang

导读

长期以来,“R, Python, SQL和机器学习”一直是数据科学家的标准工作描述。但随着该领域的发展,这已不足以在就业市场上保持竞争力。

更新你的技能,为2020年数据就业市场准备!

数据科学是一个竞争激烈的领域,人们正在迅速积累越来越多的技能和经验。这导致了机器学习工程师的工作描述越来越丰富,因此我对2020年的建议是,所有的数据科学家也需要成为开发人员。

为了保持竞争力,你一定要为新工具带来的新工作方式做好准备。

1. 敏捷

敏捷是一种组织工作的方法,已经被开发团队大量使用。数据科学的角色越来越多地由那些最初的技能是纯软件开发的人来扮演,这就产生了机器学习工程师的角色。

越来越多的数据科学家/机器学习工程师被管理为开发人员:不断地改进现有代码库中的机器学习元素。

对于这种类型的角色,数据科学家必须了解基于Scrum方法的敏捷工作方式。它为不同的人定义了几个角色,这个角色定义确保了持续的改进和顺利地实现。

2. Github

Git和Github是为开发人员提供的软件,在管理不同版本的软件时非常有用。它们跟踪对代码库所做的所有更改,此外,当多个开发人员在同一时间对同一项目进行更改时,它们还为协助提供了真正的便利。

随着数据科学家的角色变得越来越偏重于开发,使用这些开发工具就成为了关键。Git正在成为一种重要的工作需求,要适应使用Git的最佳实践需要一定的时间。当你独自一人或与他人合作时,很容易开始使用Git,但是当你加入一个有Git专家的团队,而你仍然是一个新手时,你可能会比想象的更加困难。

3. 工业化

数据科学也在改变的是我们思考项目的方式。数据科学家仍然是用机器学习回答业务问题的人,一如既往。但是,越来越多的数据科学项目是为生产系统开发的,例如作为大型软件中的微服务。

与此同时,高级模型的CPU和RAM消耗越来越大,特别是在处理神经网络和深度学习时。

对于数据科学家的工作描述,不仅要考虑模型的准确性,还要考虑项目的执行时间或其他工业化方面,这一点变得越来越重要。

4. 云和大数据

虽然机器学习的工业化正成为数据科学家的一个严重的约束,但它也成为数据工程师和IT的一个严重约束。

当数据科学家可以致力于减少模型所需的时间时,IT人员可以通过改变速度更快的计算服务来做出贡献,这些计算服务通常可以通过以下一种或两种方式获得:

  • 云:将计算资源转移到外部供应商,如AWS、Microsoft Azure或谷歌云,使得建立一个可以从远处访问的非常快速的机器学习环境变得非常容易。这要求数据科学家对云功能有基本的了解,例如:使用远程服务器而不是自己的计算机,或者使用Linux而不是Windows / Mac。

PySpark可以在并行(大数据)系统上编写Python
  • 大数据:更快的第二个方面是使用Hadoop和Spark,这两个工具允许同时在多台计算机(工作节点)上并行处理任务。这要求使用不同的方法来实现数据科学家的模型,因为你的代码必须允许并行执行。

5. 自然语言处理, 神经网络和深度学习

最近,数据科学家仍然认为NLP和图像识别仅仅是数据科学的专门化,并不是所有人都必须掌握。

你需要理解深度学习: 基于人脑思想的机器学习

但是,即使在“常规”业务中,图像分类和NLP的用例也越来越频繁。在当今时代,至少对这些模型没有基本的了解是不可接受的。

即使你在工作中没有此类模型的直接应用,也可以很容易地找到实际操作的项目,并使你能够理解图像和文本项目中所需的步骤。

祝你好运,同时提高你的技能,不要犹豫,保持关注

—END—

英文原文:https://towardsdatascience.com/top-5-must-have-data-science-skills-for-2020-a5a53226b168

请长按或扫描二维码关注本公众号

喜欢的话,请给我个好看吧

这篇关于2020年里5个必须具备的数据科学技能的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1080794

相关文章

Linux下利用select实现串口数据读取过程

《Linux下利用select实现串口数据读取过程》文章介绍Linux中使用select、poll或epoll实现串口数据读取,通过I/O多路复用机制在数据到达时触发读取,避免持续轮询,示例代码展示设... 目录示例代码(使用select实现)代码解释总结在 linux 系统里,我们可以借助 select、

C#使用iText获取PDF的trailer数据的代码示例

《C#使用iText获取PDF的trailer数据的代码示例》开发程序debug的时候,看到了PDF有个trailer数据,挺有意思,于是考虑用代码把它读出来,那么就用到我们常用的iText框架了,所... 目录引言iText 核心概念C# 代码示例步骤 1: 确保已安装 iText步骤 2: C# 代码程

Pandas处理缺失数据的方式汇总

《Pandas处理缺失数据的方式汇总》许多教程中的数据与现实世界中的数据有很大不同,现实世界中的数据很少是干净且同质的,本文我们将讨论处理缺失数据的一些常规注意事项,了解Pandas如何表示缺失数据,... 目录缺失数据约定的权衡Pandas 中的缺失数据None 作为哨兵值NaN:缺失的数值数据Panda

C++中处理文本数据char与string的终极对比指南

《C++中处理文本数据char与string的终极对比指南》在C++编程中char和string是两种用于处理字符数据的类型,但它们在使用方式和功能上有显著的不同,:本文主要介绍C++中处理文本数... 目录1. 基本定义与本质2. 内存管理3. 操作与功能4. 性能特点5. 使用场景6. 相互转换核心区别

python库pydantic数据验证和设置管理库的用途

《python库pydantic数据验证和设置管理库的用途》pydantic是一个用于数据验证和设置管理的Python库,它主要利用Python类型注解来定义数据模型的结构和验证规则,本文给大家介绍p... 目录主要特点和用途:Field数值验证参数总结pydantic 是一个让你能够 confidentl

JAVA实现亿级千万级数据顺序导出的示例代码

《JAVA实现亿级千万级数据顺序导出的示例代码》本文主要介绍了JAVA实现亿级千万级数据顺序导出的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 前提:主要考虑控制内存占用空间,避免出现同时导出,导致主程序OOM问题。实现思路:A.启用线程池

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案:通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建

PHP轻松处理千万行数据的方法详解

《PHP轻松处理千万行数据的方法详解》说到处理大数据集,PHP通常不是第一个想到的语言,但如果你曾经需要处理数百万行数据而不让服务器崩溃或内存耗尽,你就会知道PHP用对了工具有多强大,下面小编就... 目录问题的本质php 中的数据流处理:为什么必不可少生成器:内存高效的迭代方式流量控制:避免系统过载一次性

C#实现千万数据秒级导入的代码

《C#实现千万数据秒级导入的代码》在实际开发中excel导入很常见,现代社会中很容易遇到大数据处理业务,所以本文我就给大家分享一下千万数据秒级导入怎么实现,文中有详细的代码示例供大家参考,需要的朋友可... 目录前言一、数据存储二、处理逻辑优化前代码处理逻辑优化后的代码总结前言在实际开发中excel导入很

MyBatis-plus处理存储json数据过程

《MyBatis-plus处理存储json数据过程》文章介绍MyBatis-Plus3.4.21处理对象与集合的差异:对象可用内置Handler配合autoResultMap,集合需自定义处理器继承F... 目录1、如果是对象2、如果需要转换的是List集合总结对象和集合分两种情况处理,目前我用的MP的版本