R语言【rgbif】——如何从GBIF网站上获取大量数据?

2024-02-27 16:28

本文主要是介绍R语言【rgbif】——如何从GBIF网站上获取大量数据?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Package rgbif version 3.7.9


Description

GBIF提供了两种获取分布数据的方法:通过/occurrence/search路径(参见occ_search()),或者通过/occurrence/download(参见下面的许多函数)。

occ_search()更适合较小的数据,而occ_download*()函数更适合较大的数据请求。


Settings

您将使用occ_download()启动下载。您需要从您的GBIF配置文件中提供该功能设置:您的用户名、密码和电子邮件。使用该功能需要设置这三项。您可以通过以下三种方式之一指定它们:

  • 将它们作为参数传递给 occ_download 

  • 使用R选项:在当前R会话中使用options()函数作为选项,或者在.Rprofile文件中设置它们,之后它们将被自动读入

  • 使用环境变量:在当前R会话中使用Sys.setenv()函数作为环境变量,或者在. Renviron /.bash_profile或类似的文件中设置它们,之后它们将自动读入


Beware

你不能执行那么多下载,所以要明智地计划。请参阅下面的速率限制。


Rate limiting

如果你试图启动太多的下载,你会收到420 "Enhance Your Calm"回应。如果所有GBIF用户的总数少于100个,那么一次可以运行3个。如果有更多,那么每个用户只能被限制为1个。这些数字可能会有变化。


Functions

occ_download():开始下载

occ_download_prep():准备下载请求

occ_download_queue():在队列中启动多个下载

occ_download_cached():检查GBIF帐户中已经下载的文件

occ_download_wait():重新运行occ download meta(),直到准备好

occ_download_meta():获取单次下载的元数据进度

occ_download_list():列出你的下载

occ_download_cancel():取消一个下载

occ_download_cancel_staged():取消状态为RUNNING或PREPARING的作业

occ_download_get():检索下载

occ_download_import():从本地文件系统导入下载文件

occ_download_datasets():列出可供下载的数据集

occ_download_datasets_activity():列出数据集的下载活动


Query length

GBIF对下载查询的限制为12,000个字符。这意味着你可以有一个相当长的查询,但在某些时候,它可能会导致GBIF方面的错误,你将不得不把你的查询分成几个。


Download status

以下状态可以在任何下载中找到:

  • PREPARING:刚刚由用户提交并等待处理(通常只有几秒钟)
  • RUNNING:创建过程(通常需要1-15分钟)
  • FAILED:发生了意想不到的事情
  • KILLED:用户决定在作业处于准备或运行阶段时中止作业
  • SUCCEEDED:已创建下载并通知用户
  • FILE_EARSED:根据保留策略删除下载,参见https://www.gbif.org/faq?question=for-how-long-will-does-gbif-store-downloads

这篇关于R语言【rgbif】——如何从GBIF网站上获取大量数据?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/752987

相关文章

C语言中%zu的用法解读

《C语言中%zu的用法解读》size_t是无符号整数类型,用于表示对象大小或内存操作结果,%zu是C99标准中专为size_t设计的printf占位符,避免因类型不匹配导致错误,使用%u或%d可能引发... 目录size_t 类型与 %zu 占位符%zu 的用途替代占位符的风险兼容性说明其他相关占位符验证示

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

Python获取浏览器Cookies的四种方式小结

《Python获取浏览器Cookies的四种方式小结》在进行Web应用程序测试和开发时,获取浏览器Cookies是一项重要任务,本文我们介绍四种用Python获取浏览器Cookies的方式,具有一定的... 目录什么是 Cookie?1.使用Selenium库获取浏览器Cookies2.使用浏览器开发者工具

Java获取当前时间String类型和Date类型方式

《Java获取当前时间String类型和Date类型方式》:本文主要介绍Java获取当前时间String类型和Date类型方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录Java获取当前时间String和Date类型String类型和Date类型输出结果总结Java获取

C语言进阶(预处理命令详解)

《C语言进阶(预处理命令详解)》文章讲解了宏定义规范、头文件包含方式及条件编译应用,强调带参宏需加括号避免计算错误,头文件应声明函数原型以便主函数调用,条件编译通过宏定义控制代码编译,适用于测试与模块... 目录1.宏定义1.1不带参宏1.2带参宏2.头文件的包含2.1头文件中的内容2.2工程结构3.条件编

Go语言并发之通知退出机制的实现

《Go语言并发之通知退出机制的实现》本文主要介绍了Go语言并发之通知退出机制的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录1、通知退出机制1.1 进程/main函数退出1.2 通过channel退出1.3 通过cont

C#监听txt文档获取新数据方式

《C#监听txt文档获取新数据方式》文章介绍通过监听txt文件获取最新数据,并实现开机自启动、禁用窗口关闭按钮、阻止Ctrl+C中断及防止程序退出等功能,代码整合于主函数中,供参考学习... 目录前言一、监听txt文档增加数据二、其他功能1. 设置开机自启动2. 禁止控制台窗口关闭按钮3. 阻止Ctrl +

java如何实现高并发场景下三级缓存的数据一致性

《java如何实现高并发场景下三级缓存的数据一致性》这篇文章主要为大家详细介绍了java如何实现高并发场景下三级缓存的数据一致性,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 下面代码是一个使用Java和Redisson实现的三级缓存服务,主要功能包括:1.缓存结构:本地缓存:使

Go语言编译环境设置教程

《Go语言编译环境设置教程》Go语言支持高并发(goroutine)、自动垃圾回收,编译为跨平台二进制文件,云原生兼容且社区活跃,开发便捷,内置测试与vet工具辅助检测错误,依赖模块化管理,提升开发效... 目录Go语言优势下载 Go  配置编译环境配置 GOPROXYIDE 设置(VS Code)一些基本