R语言 并行处理

2024-03-16 20:48
文章标签 语言 并行处理

本文主要是介绍R语言 并行处理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


layout: post
title: R语言 并行处理
description: "R Rstudio parallel foreach doparallel doMC dplyr "
category: [R]
tags : [ parallel ,foreach, doMC]
duoshuo: true

最新更新参考:http://cangfengzhe.github.io/

具体的不懂,只记录实现

parallel package

R自带的包,可以实现并行处理。

library(parallel)
detectCores(logical = F) #获得实际核数
cl <- makeCluster(getOption("cl.cores", 4))  # 设置并行核数为4
clusterExport(cl=cl, varlist=c("text.var", "ntv", "gc.rate", "pos")) # 导入全局环境中的数据
clusterEvalQ(cl, require(lme4)) # 导入使用的包
# 开始计算
parSapply(cl, ...)
parLapply(cl, ...)

foreach

Revolution R 提供的包,需要选择doParallel包(windows, Linux, Mac OSX 均可) 或者 doMC包(只适用于Linux,Mac OSX)作为后台

doParallel

library(foreach)
library(doParallel)
cl <- makeCluster(2)  # 设置并行核数
registerDoParallel(cl) # 注册并行
foreach(i=1:3) %dopar% sqrt(i) # 开始计算

不知何故,在Mac OSX 下采用doParallel速度特别慢, 比不用并行还慢,于是又尝试了doMC

doMC

library(foreach)
library(doMC)
registerDoMC(2) # 设置并行核数, 并注册并行
foreach(i=1:3) %dopar% sqrt(i) # 开始计算

可以通过下面命令,查看选择的后台包

getDoParRegistered()
getDoParWorkers()
getDoParName()

plyr中的并行

plyr中的并行程序采用foreach作为并行包, 所以在plyr中使用并行需完成上面提到的步骤。
以foreach,doMC包,ldply函数为例

library(foreach)
library(doMC)
registerDoMC(2) # 设置并行核数, 并注册并行
ldply(.data, .fun = NULL, ..., .progress = "none", .inform = FALSE,.parallel = T, .paropts = list(.export = c('your_data'), .packages=c('your_package') ), .id = NA)# .parallel = T 开启并行# .paropts = list(.export, .packages) 这是一个list, 里面的.export(导入用到的数据), .package(导入需要的包)都是foreach::foreach()中的参数,可以??foreach 查看具体细节

这篇关于R语言 并行处理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/816675

相关文章

Go语言中make和new的区别及说明

《Go语言中make和new的区别及说明》:本文主要介绍Go语言中make和new的区别及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1 概述2 new 函数2.1 功能2.2 语法2.3 初始化案例3 make 函数3.1 功能3.2 语法3.3 初始化

Go语言中nil判断的注意事项(最新推荐)

《Go语言中nil判断的注意事项(最新推荐)》本文给大家介绍Go语言中nil判断的注意事项,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1.接口变量的特殊行为2.nil的合法类型3.nil值的实用行为4.自定义类型与nil5.反射判断nil6.函数返回的

Go语言数据库编程GORM 的基本使用详解

《Go语言数据库编程GORM的基本使用详解》GORM是Go语言流行的ORM框架,封装database/sql,支持自动迁移、关联、事务等,提供CRUD、条件查询、钩子函数、日志等功能,简化数据库操作... 目录一、安装与初始化1. 安装 GORM 及数据库驱动2. 建立数据库连接二、定义模型结构体三、自动迁

Go语言代码格式化的技巧分享

《Go语言代码格式化的技巧分享》在Go语言的开发过程中,代码格式化是一个看似细微却至关重要的环节,良好的代码格式化不仅能提升代码的可读性,还能促进团队协作,减少因代码风格差异引发的问题,Go在代码格式... 目录一、Go 语言代码格式化的重要性二、Go 语言代码格式化工具:gofmt 与 go fmt(一)

Python并行处理实战之如何使用ProcessPoolExecutor加速计算

《Python并行处理实战之如何使用ProcessPoolExecutor加速计算》Python提供了多种并行处理的方式,其中concurrent.futures模块的ProcessPoolExecu... 目录简介完整代码示例代码解释1. 导入必要的模块2. 定义处理函数3. 主函数4. 生成数字列表5.

Go语言中泄漏缓冲区的问题解决

《Go语言中泄漏缓冲区的问题解决》缓冲区是一种常见的数据结构,常被用于在不同的并发单元之间传递数据,然而,若缓冲区使用不当,就可能引发泄漏缓冲区问题,本文就来介绍一下问题的解决,感兴趣的可以了解一下... 目录引言泄漏缓冲区的基本概念代码示例:泄漏缓冲区的产生项目场景:Web 服务器中的请求缓冲场景描述代码

Go语言如何判断两张图片的相似度

《Go语言如何判断两张图片的相似度》这篇文章主要为大家详细介绍了Go语言如何中实现判断两张图片的相似度的两种方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 在介绍技术细节前,我们先来看看图片对比在哪些场景下可以用得到:图片去重:自动删除重复图片,为存储空间"瘦身"。想象你是一个

Go语言中Recover机制的使用

《Go语言中Recover机制的使用》Go语言的recover机制通过defer函数捕获panic,实现异常恢复与程序稳定性,具有一定的参考价值,感兴趣的可以了解一下... 目录引言Recover 的基本概念基本代码示例简单的 Recover 示例嵌套函数中的 Recover项目场景中的应用Web 服务器中

Go语言中使用JWT进行身份验证的几种方式

《Go语言中使用JWT进行身份验证的几种方式》本文主要介绍了Go语言中使用JWT进行身份验证的几种方式,包括dgrijalva/jwt-go、golang-jwt/jwt、lestrrat-go/jw... 目录简介1. github.com/dgrijalva/jwt-go安装:使用示例:解释:2. gi

Go 语言中的 Struct Tag 的用法详解

《Go语言中的StructTag的用法详解》在Go语言中,结构体字段标签(StructTag)是一种用于给字段添加元信息(metadata)的机制,常用于序列化(如JSON、XML)、ORM映... 目录一、结构体标签的基本语法二、json:"token"的具体含义三、常见的标签格式变体四、使用示例五、使用