批量下载ISCCP D2的hdf格式数据

本文主要是介绍批量下载ISCCP D2的hdf格式数据，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

ISCCP数据集介绍可见：国际卫星云气候计划ISCCP
ISCCP官网：International Satellite Cloud Climatology
Project 利用ISCCP
D2资料分析近20年全球不同云类云量变化的变化及其对气候可能的影响：论文链接
利用D2数据对云分析的各种图（来自官网）：cloud Data Analysis to Understand Climate
ISCCP的GPC数据下载链接：GPC格式
ISCCP的hdf数据下载链接：hdf格式

Requirements

linux系统下
conda环境
python3
要求安装好requests库

批量下载前的准备

1.配置好python环境和requests库

conda install requests

2.Bash的身份验证

cd ~
touch .netrc
echo "machine urs.earthdata.nasa.gov login $USERNAME password $PASSWORD" > .netrc
chmod 0600 .netrc
touch .urs_cookies

hdf下载的python脚本

由于1983-1993年的文件名为3hrlymon_198306,1994之和的文件名为ISCCP.D2.0.GLOBAL.1994.02.99.9999.GPC.hdf或者ISCCP.D2.1.GLOBAL.1994.02.99.9999.GPC.hdf或者ISCCP.D2.2.GLOBAL.1994.02.99.9999.GPC.hdf这种类型的名字，下载的时候要自己甄别，修改url。
下载完成后的文件全部用ISCCP.D2.0.GLOBAL.1994.02.99.9999.GPC.hdf这种类型的文件名字存储好。

from requests import Session
session = Session()
session.auth = ('username', 'password')
for year in range(1983,1994):for mon in range(1,13):url='https://asdc.larc.nasa.gov/data/ISCCP/D2/'+str(year)+'/'+'{0:02d}/'.format(mon)+'d2_3hrlymon_'+str(year)+'{0:02d}'.format(mon)file_name='/mnt/d/research_work/cloudkernel/cloud-radiative-kernels-master/data/temp/'+'ISCCP.D2.0.GLOBAL.'+str(year)+'.'+'{0:02d}'.format(mon)+'.99.9999.GPC.hdf'print(url)print(file_name)_redirect = session.get(url)_response = session.get(_redirect.url)with open(file_name, 'wb') as file:file.write(_response._content)
for year in range(1995,2000):for mon in range(1,13):url='https://asdc.larc.nasa.gov/data/ISCCP/D2/'+str(year)+'/'+'{0:02d}/'.format(mon)+'ISCCP.D2.1.GLOBAL.'+str(year)+'.'+'{0:02d}'.format(mon)+'.99.9999.GPC.hdf'file_name='/mnt/d/research_work/cloudkernel/cloud-radiative-kernels-master/data/temp/'+'ISCCP.D2.0.GLOBAL.'+str(year)+'.'+'{0:02d}'.format(mon)+'.99.9999.GPC.hdf'print(file_name)_redirect = session.get(url)_response = session.get(_redirect.url)with open(file_name, 'wb') as file:file.write(_response._content)