Google Earth Engine (GEE) 实现对MODIS产品批量质量控制

2024-04-12 17:58

本文主要是介绍Google Earth Engine (GEE) 实现对MODIS产品批量质量控制,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

最近处在学位论文初稿完成和申博面试之间的空档期,所以想学点新东西。GEE火了很久了,一直没有真正使用过,还是坚持下载数据到本地,然后用Python处理。主要是怕一旦接触GEE,就会花费很多心思在上面。再者,我本身是做算法的,不仅仅是数据分析,需要使用本地数据来应用算法。现在觉得下载到本地然后处理数据有很多不确定性,不如直接在GEE上完成预处理然后导出,可以省多很多精力给算法研究本身。所以,今后主要关注于使用GEE进行数据预处理和导出的相关实现,看了一下午官方文档和一些资料,发现GEE对于新手还是很友好的。如果有编程基础,很快就能入门。

言归正传,https://spatialthoughts.com/2021/08/19/qa-bands-bitmasks-gee/实现了利用QC影像对单幅image质量控制。本文将以MODIS地表温度产品MOD11A1为例,实现对一个时间段内的imageCollection进行批量质量控制。内容涉及到GEE中多参数嵌套map的原理和实现。

提取指定位置qc二进制码函数

对于qc码不再赘述,上面的链接包括我之前的博客都有介绍。MOD11A1的qc码共4对,8位,每一对包含不同方面的产品质量。下面这个函数就负责提取指定位置的qc码的十进制数字,来实现对产品不同方面的质量控制。

// Helper function to extract the values from specific bits
// The input parameter can be a ee.Number() or ee.Image()
// Code adapted from https://gis.stackexchange.com/a/349401/5160
// the decmial to binary: 0-00, 1-01, 2-10, 3-11, 4-100
var bitwiseExtract = function(input, fromBit, toBit) {var maskSize = ee.Number(1).add(toBit).subtract(fromBit);var mask = ee.Number(1).leftShift(maskSize).subtract(1);return input.rightShift(fromBit).bitwiseAnd(mask);
};

对单幅image进行质量控制

想要实现对整个image进行质量控制。需要包含两个步骤,提取4对质量控制码的十进制数字并建立掩膜;将掩膜应用于image
下面的代码来自于前言中的链接,运行的时候别忘了把上面的提取指定位置qc二进制码函数粘贴进来。

var modisLST = ee.ImageCollection("MODIS/006/MOD11A1")
var lsib = ee.FeatureCollection("USDOS/LSIB_SIMPLE/2017")
var australia = lsib.filter(ee.Filter.eq('country_na', 'Australia'))
var geometry = australia.geometry()
var terra = modisLST.filter(ee.Filter.date('2001-01-01', '2010-01-01')).select('LST_Day_1km','QC_Day');// Get a single image for testing
var image = ee.Image(terra.first())
var lstDay = image.select('LST_Day_1km')
var qcDay = image.select('QC_Day')
// Let's extract all pixels from the input image where
// Bits 0-1 <= 1 (LST produced of both good and other quality)
// Bits 2-3 = 0 (Good data quality)
// Bits 4-5 Ignore, any value is ok
// Bits 6-7 = 0 (Average LST error ≤ 1K)
var qaMask = bitwiseExtract(qcDay, 0, 1).lte(1)
var dataQualityMask = bitwiseExtract(qcDay, 2, 3).eq(0)
var lstErrorMask = bitwiseExtract(qcDay, 6, 7).eq(0)
var mask = qaMask.and(dataQualityMask).and(lstErrorMask)
var lstDayMasked = lstDay.updateMask(mask)  
var visParams = {min:13000, max:16000, palette: ['green', 'yellow', 'red']}
Map.addLayer(lstDay.clip(geometry), visParams, 'Original LST Image');
Map.addLayer(lstDayMasked.clip(geometry), visParams, 'LST Masked');

对imageCollection质量控制的嵌套函数

上面实现了对单个image的qc影像提取的功能,想要实现对整个imageCollection进行质量控制。需要将对单幅image进行质量控制的过程封装成函数,然后应用map函数将其应用于imageCollection中每一幅image
这里的难点在于,需要质量控制的波段和qc波段的名称不一致,需要向map函数中传递两个参数来指定imageCollection中的波段,所以要用到嵌套函数。下面是函数的代码,我写了比较详细的英文注释来解释嵌套函数原理。这里再用中文解释一下,外部函数负责将波段名称传递到内部函数,内部函数包含了我们真正想要执行的功能,并返回处理好的image,外部函数还负责返回内部函数。

// the principle is that
// external function play the role to transform parameters, such as the qcDayLayer and lstDayLayer
// external function also play the role to return the internal function, such as the lstMasked
// after execute the external function, 
// the internal function will executed the same as the normal function
// if you want achieve the same goal, please put the final results that you want to the internal function,
// and return it 
// the external function only play the role to transform parameters to the internal function
var qcControlForMod11a1 = function(qcDayLayer, lstDayLayer){var lstMasked = function(image){var qcDay = image.select(qcDayLayer);var lstDay = image.select(lstDayLayer);var qaMask = bitwiseExtract(qcDay, 0, 1).lte(1);var dataQualityMask = bitwiseExtract(qcDay, 2, 3).eq(0);var lstErrorMask = bitwiseExtract(qcDay, 6, 7).eq(0);var mask = qaMask.and(dataQualityMask).and(lstErrorMask);return lstDay.updateMask(mask);};return lstMasked; // this is very important!!!
};

下面这一句是imageCollection执行qc控制的语句,mod11a1是MOD11A1的imageCollection

var mod11a1WithQc = mod11a1.map(qcControlForMod11a1('QC_Day', 'LST_Day_1km'));

qcControlForMod11a1('QC_Day', 'LST_Day_1km')负责将qc和白天地表温度波段的名称传入了qcControlForMod11a1函数,qcControlForMod11a1接收到这两个参数后,会返回lstMasked。而lstMasked是一个函数,所以接下来的过程就和普通map函数执行的过程一致了,即对imageCollection中每一幅image执行lstMasked,然后返回经过掩膜后的image

完整代码

// Helper function to extract the values from specific bits
// The input parameter can be a ee.Number() or ee.Image()
// Code adapted from https://gis.stackexchange.com/a/349401/5160
// the decmial to binary: 0-00, 1-01, 2-10, 3-11, 4-100
var bitwiseExtract = function(input, fromBit, toBit) {var maskSize = ee.Number(1).add(toBit).subtract(fromBit);var mask = ee.Number(1).leftShift(maskSize).subtract(1);return input.rightShift(fromBit).bitwiseAnd(mask);
};// the principle is that
// external function play the role to transform parameters, such as the qcDayLayer and lstDayLayer
// external function also play the role to return the internal function, such as the lstMasked
// after execute the external function, 
// the internal function will executed the same as the normal function
// if you want achieve the same goal, please put the final results that you want to the internal function,
// and return it 
// the external function only play the role to transform parameters to the internal function
var qcControlForMod11a1 = function(qcDayLayer, lstDayLayer){var lstMasked = function(image){var qcDay = image.select(qcDayLayer);var lstDay = image.select(lstDayLayer);var qaMask = bitwiseExtract(qcDay, 0, 1).lte(1);var dataQualityMask = bitwiseExtract(qcDay, 2, 3).eq(0);var lstErrorMask = bitwiseExtract(qcDay, 6, 7).eq(0);var mask = qaMask.and(dataQualityMask).and(lstErrorMask);return lstDay.updateMask(mask);};return lstMasked; // this is very important!!!
};var imageCollection = ee.ImageCollection("MODIS/006/MOD11A1")var lsib = ee.FeatureCollection("USDOS/LSIB_SIMPLE/2017");
var china = lsib.filter(ee.Filter.eq('country_na', 'China'));
var geometry = china.geometry();var mod11a1 = imageCollection.filterDate('2021-01-01', '2021-01-03').select('LST_Day_1km', 'QC_Day');
print(mod11a1);var mod11a1WithQc = mod11a1.map(qcControlForMod11a1('QC_Day', 'LST_Day_1km'));var vis = {min: 12500,max: 15500,palette: ['0602ff', '235cb1', '307ef3', '269db1', '30c8e2', '32d3ef', '3ae237','b5e22e', 'd6e21f', 'fff705', 'ffd611', 'ffb613', 'ff8b13', 'ff6e08','ff500d', 'ff0000', 'de0101', 'c21301'],
};Map.addLayer(mod11a1.select('LST_Day_1km').first().clip(geometry), vis, 'Original_1');Map.addLayer(mod11a1WithQc.select('LST_Day_1km').first().clip(geometry), vis, 'After QC_1');Map.addLayer(ee.Image(mod11a1.select('LST_Day_1km').toList(mod11a1.size()).get(1)).clip(geometry), vis, 'Original_2');Map.addLayer(ee.Image(mod11a1WithQc.select('LST_Day_1km').toList(mod11a1.size()).get(1)).clip(geometry), vis, 'After QC_2');

应用结果

可以看到01和02日的image都成功实现了质量控制,后续就可以导出数据。
之后会再更新一些如何导出WGS84地理坐标系下指定空间分辨率影像的教程,有需要的同学可以先关注O(∩_∩)O。
在这里插入图片描述在这里插入图片描述

这篇关于Google Earth Engine (GEE) 实现对MODIS产品批量质量控制的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/897845

相关文章

Python实现精准提取 PDF中的文本,表格与图片

《Python实现精准提取PDF中的文本,表格与图片》在实际的系统开发中,处理PDF文件不仅限于读取整页文本,还有提取文档中的表格数据,图片或特定区域的内容,下面我们来看看如何使用Python实... 目录安装 python 库提取 PDF 文本内容:获取整页文本与指定区域内容获取页面上的所有文本内容获取

基于Python实现一个Windows Tree命令工具

《基于Python实现一个WindowsTree命令工具》今天想要在Windows平台的CMD命令终端窗口中使用像Linux下的tree命令,打印一下目录结构层级树,然而还真有tree命令,但是发现... 目录引言实现代码使用说明可用选项示例用法功能特点添加到环境变量方法一:创建批处理文件并添加到PATH1

Java使用HttpClient实现图片下载与本地保存功能

《Java使用HttpClient实现图片下载与本地保存功能》在当今数字化时代,网络资源的获取与处理已成为软件开发中的常见需求,其中,图片作为网络上最常见的资源之一,其下载与保存功能在许多应用场景中都... 目录引言一、Apache HttpClient简介二、技术栈与环境准备三、实现图片下载与保存功能1.

canal实现mysql数据同步的详细过程

《canal实现mysql数据同步的详细过程》:本文主要介绍canal实现mysql数据同步的详细过程,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的... 目录1、canal下载2、mysql同步用户创建和授权3、canal admin安装和启动4、canal

Nexus安装和启动的实现教程

《Nexus安装和启动的实现教程》:本文主要介绍Nexus安装和启动的实现教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Nexus下载二、Nexus安装和启动三、关闭Nexus总结一、Nexus下载官方下载链接:DownloadWindows系统根

SpringBoot集成LiteFlow实现轻量级工作流引擎的详细过程

《SpringBoot集成LiteFlow实现轻量级工作流引擎的详细过程》LiteFlow是一款专注于逻辑驱动流程编排的轻量级框架,它以组件化方式快速构建和执行业务流程,有效解耦复杂业务逻辑,下面给大... 目录一、基础概念1.1 组件(Component)1.2 规则(Rule)1.3 上下文(Conte

MySQL 横向衍生表(Lateral Derived Tables)的实现

《MySQL横向衍生表(LateralDerivedTables)的实现》横向衍生表适用于在需要通过子查询获取中间结果集的场景,相对于普通衍生表,横向衍生表可以引用在其之前出现过的表名,本文就来... 目录一、横向衍生表用法示例1.1 用法示例1.2 使用建议前面我们介绍过mysql中的衍生表(From子句

Mybatis的分页实现方式

《Mybatis的分页实现方式》MyBatis的分页实现方式主要有以下几种,每种方式适用于不同的场景,且在性能、灵活性和代码侵入性上有所差异,对Mybatis的分页实现方式感兴趣的朋友一起看看吧... 目录​1. 原生 SQL 分页(物理分页)​​2. RowBounds 分页(逻辑分页)​​3. Page

Python基于微信OCR引擎实现高效图片文字识别

《Python基于微信OCR引擎实现高效图片文字识别》这篇文章主要为大家详细介绍了一款基于微信OCR引擎的图片文字识别桌面应用开发全过程,可以实现从图片拖拽识别到文字提取,感兴趣的小伙伴可以跟随小编一... 目录一、项目概述1.1 开发背景1.2 技术选型1.3 核心优势二、功能详解2.1 核心功能模块2.

MYSQL查询结果实现发送给客户端

《MYSQL查询结果实现发送给客户端》:本文主要介绍MYSQL查询结果实现发送给客户端方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql取数据和发数据的流程(边读边发)Sending to clientSending DataLRU(Least Rec