微软亚洲研究院推出时空预测开源工具FOST,应对各行业共性预测需求

本文主要是介绍微软亚洲研究院推出时空预测开源工具FOST,应对各行业共性预测需求,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

(转载自微软研究院AI头条)

编者按:2020年新冠疫情肆虐全球,为了控制疫情蔓延,找到应对措施,美国疾病控制中心公布了大量疫情相关数据,向全世界顶级科研机构救助,希望科学家们可以利用技术能力,提供具有较高参考价值的预测数据,从而帮助制定有效的控制策略。微软亚洲研究院基于时空预测技术,训练了针对新冠疫情的预测模型,并于2020年下半年被美国疾控中心采纳使用。在过去的近一年中,该预测模型的表现整体优于全球其它四十几家科研机构提供的预测模型。日前,微软亚洲研究院基于此前的技术积累,正式推出了面向全行业的时空预测开源工具 FOST。

什么是时空概念?“时”是指时间序列,“空”即空间上的相互影响和联系。例如,物流行业每个站点的历史派件量是时序关系,而各中转/配送站点间又存在空间上的联系;再比如,在新冠疫情防控中,各级行政区域的每日感染病例数字,单独来看是时序关系,而彼此之间的关联则属于空间关系。

“时空”因素在各行业中的广泛存在,使时空预测成为众多行业进行科学决策、优化效率的关键。近日,微软亚洲研究院推出了面向全行业、具有高度通用性与易用性的时空预测开源工具 FOST(Forecasting Open Source Tool)。存在相关需求的企业和机构可以基于这一便捷易用的工具生成高效的时空预测解决方案。

  • GitHub 链接:​​​​​https://github.com/microsoft/FOST

共性抽象:时空预测开源工具FOST

近年来在与行业伙伴的紧密合作中,微软亚洲研究院的研究员们发现,时空预测需求普遍存在于物流、电信、医疗、交通等许多行业中。然而,当前大部分的时空预测还只是停留在研究阶段,真正应用时,大家只是相互借鉴思路,想要解决实际问题还需要各自从头开始一点点摸索,并没有一个简单、易上手的通用工具。

基于与多家企业在时空预测上的合作研究,微软亚洲研究院的研究员们抽象出了行业共性问题,将多年的技术和经验积累进行转化,推出了具有极高行业通用性的时空预测工具 FOST。


FOST 架构图

要使时空预测工具兼顾通用性和可用性,需解决三个常见问题:第一是数据的质量问题,这就需要降低数据噪音,减小信息缺失的影响;第二是时序上要能对趋势、周期、突发等各类维度具有良好的包容性;第三则是在空间维度上打破以往预测模型只能单点预测的局限性,能够在空间结构中准确预测并利用关联影响。

为此,微软亚洲研究院为时空预测工具 FOST 集成了三大功能模块,来应对多种复杂时空条件下的预测:

  • 数据处理:数据降噪,提升数据质量
    在 FOST 中,数据的收集由用户自主完成,这既保证了能够基于多样的场景数据训练出不同的业务场景模型,又保证了用户数据的隐私安全。之后,FOST 会针对存在噪音等问题的质量低下的数据进行清洗,提升数据质量,确保模型训练的准确度。
  • 时序解码:轻量级时序神经网络
    在时序预测上,微软亚洲研究院采用了轻量级深度时序神经网络。
    深度时序神经网络主要用来捕捉实际业务场景中的复杂历史规律。以物流行业为例,可能数据显示某几个站点在夏季派件量比平时多,那么是否就可以推测出下个夏天派件量同样会上涨呢?实际的关联关系通常并不是这么简单就可以推断出来的。深度时序网络的作用就是找出其中的复杂关联和细节规律。
    但深度时序神经网络往往面临训练速度慢,对于噪声敏感的问题。同时在数据量不充足的情况下,容易过拟合训练数据。因此,微软亚洲研究院在深度时序神经网络的基础上通过对时序数据降维,使结构轻量化,从而加速训练效率并稳定预测结果。
  • 空间解码:图神经网络构建层次图
    在空间层上,微软亚洲研究院采用了图神经网络,通过节点间的空间联系,来建模信号变化在空间上的相互影响和关联。例如在疫情数据预测中,一个地区的疫情结果会受到其他区域,尤其是相邻地区的影响,所以预测时也不能忽略空间上的关联。对此,微软亚洲研究院利用图神经网络,在预测疫情发展信息时,也将其他省市的信息参考进来,进一步提升预测的精度。引入图卷积网络后,无论是针对县区的细粒度预测,还是省市级别的粗粒度预测,结果的准确性都大大提升。

微软亚洲研究院副院长刘铁岩表示,“FOST 不是一个自上而下的研究产物,也并不是一开始就有明确计划要进行研发的,而是经过与产业界的深度接触后,我们发现了很多行业在时空预测方面存在的共性需求,包括问题挑战、解决方案等多个层面。因此,我们决定将共性问题抽象出来做成一个通用的开源工具,帮助更多企业借助先进的人工智能技术节省精力、成本,提升运营及创新效率。”

凭借高通用性,应对众多行业时空预测需求

在与时间、空间概念密切相关的行业中,时空预测工具 FOST 如何运作并发挥作用?

依然以较为典型的物流行业为例。如果物流企业希望通过 FOST 对某个大站点的次日派件量进行预测,首先,企业需要在底层的深度时序神经网络模块中输入近一段时期的时间序列数据,包括这个站点的每日总出库量和总收件量,及以该站点为终点或中转站的派件量,之后模型的时序模块会先学习历史数据中的特征,并表示为隐空间中的一组向量。

接下来则需要进一步叠加相邻站点的时序规律信息进行空间上的信息聚合。一个例子是站点与其相邻站点之间往往存在这样的关系——当相邻站点快递件数增加时,就会将一部分快件发送给该站点。在这种情况下,当在时序上预测出该站点次日派件量为200件,同时又看到空间层上相邻站点次日快递件数预计会急剧增加时,就可以预估出该站点次日的派件量可能将远超200件,这样就将站点空间上的关联关系也融入到了模型中。

上述仅是物流行业的例子。很多其他行业场景,如网络基站流量预测、交通流量预测、电力输送预测,与物流行业同样存在共通的时空概念,时空预测工具 FOST 在这些行业上的作用原理也基本类似。

不过要注意的是,对于关联性越大的节点,在预测时就越要优先考虑他们的关联关系,否则如果将所有关联信息都进行无差别计算,那计算量将会巨大到难以承受。比如原本就已经有数千个地点,如果还要将所有地点间的关系都考虑进来,这样的计算量对服务器的要求会非常高,是一般企业所无法承担的一笔开销。对此,微软亚洲研究院也做了很多优化,包括在图随机采样时会优先考虑强关联的信息,从而提高整个预测工具的运行效率。

此外,在某些行业中,空间概念未必仅停留在地理空间层面。例如,在医疗行业的糖尿病患者病情预测中,同一类糖尿病的不同患者,就可视作多个不同空间。一个病人的病情发展规律可以作为历史参考,帮助预测出其他患者的病情发展趋势。

微软亚洲研究院的时空预测开源工具给各行业用户提供了一个简单易用的深度学习“利器”。通过使用 FOST,用户不仅可以有效提升业务场景预测的准确率,还可以避免从头开发类似平台的重复工作。未来,微软亚洲研究院将在当前版本的基础上,持续优化时空预测工具上模型的准确性和训练效率,助力更多企业和机构通过构建时空预测能力创造更大的价值。

这篇关于微软亚洲研究院推出时空预测开源工具FOST,应对各行业共性预测需求的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/791556

相关文章

基于Python实现简易视频剪辑工具

《基于Python实现简易视频剪辑工具》这篇文章主要为大家详细介绍了如何用Python打造一个功能完备的简易视频剪辑工具,包括视频文件导入与格式转换,基础剪辑操作,音频处理等功能,感兴趣的小伙伴可以了... 目录一、技术选型与环境搭建二、核心功能模块实现1. 视频基础操作2. 音频处理3. 特效与转场三、高

基于Python开发一个图像水印批量添加工具

《基于Python开发一个图像水印批量添加工具》在当今数字化内容爆炸式增长的时代,图像版权保护已成为创作者和企业的核心需求,本方案将详细介绍一个基于PythonPIL库的工业级图像水印解决方案,有需要... 目录一、系统架构设计1.1 整体处理流程1.2 类结构设计(扩展版本)二、核心算法深入解析2.1 自

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

sqlite3 命令行工具使用指南

《sqlite3命令行工具使用指南》本文系统介绍sqlite3CLI的启动、数据库操作、元数据查询、数据导入导出及输出格式化命令,涵盖文件管理、备份恢复、性能统计等实用功能,并说明命令分类、SQL语... 目录一、启动与退出二、数据库与文件操作三、元数据查询四、数据操作与导入导出五、查询输出格式化六、实用功

基于Python开发Windows屏幕控制工具

《基于Python开发Windows屏幕控制工具》在数字化办公时代,屏幕管理已成为提升工作效率和保护眼睛健康的重要环节,本文将分享一个基于Python和PySide6开发的Windows屏幕控制工具,... 目录概述功能亮点界面展示实现步骤详解1. 环境准备2. 亮度控制模块3. 息屏功能实现4. 息屏时间

SQLite3命令行工具最佳实践指南

《SQLite3命令行工具最佳实践指南》SQLite3是轻量级嵌入式数据库,无需服务器支持,具备ACID事务与跨平台特性,适用于小型项目和学习,sqlite3.exe作为命令行工具,支持SQL执行、数... 目录1. SQLite3简介和特点2. sqlite3.exe使用概述2.1 sqlite3.exe