Kinect for windows 开发入门 七:景深数据获取和使用 上

2024-06-12 18:32

本文主要是介绍Kinect for windows 开发入门 七:景深数据获取和使用 上,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

背景知识

1.      景深数据通过Kinect红外传感器(红外发射器和摄像头)获取。

2.       红外摄像机的视场是金字塔形状的。离摄像机远的物体比近的物体拥有更大的视场横截面积。这意味着影像的高度和宽度,比如640X480和摄像机视场的物理位置并不一一对应。但是每个像素的深度值是和视场中物体离摄像机的距离是对应的。

3.      Kinect中深度值最大为4096mm0值通常表示深度值不能确定,一般应该将0值过滤掉。微软建议在开发中使用1220mm~3810mm范围内的值。在进行其他深度图像处理之前,应该使用阈值方法过滤深度数据至1220mm-3810mm这一范围内。下图显示了Kinect Sensor的感知范围,其中的default rangeXbox360Kinect for Windows都适用,而near range仅对后者适用:

4.       深度帧数据中,每个像素占16位,这样BytesPerPixel属性,即每一个像素占2个字节。每一个像素的深度值只占用了16个位中的13个位。如图:

获取每一个像素的距离很容易,但是要直接使用还需要做一些位操作。可能大家在实际编程中很少情况会用到位运算。如上图所示,深度值存储在第315位中,要获取能够直接使用的深度数据需要向右移位,将游戏者索引(Player Index)位移除。后面将会介绍游戏者索引位的重要性。下面的代码简要描述了如何获取像素的深度值。代码中pixelData变量就是从深度帧数据中获取的short数组。PixelIndex基于待计算像素的位置计算出来的。SDKDepthImageFrame类中定义了一个常量PlayerIndexBitmaskWidth,它定义了要获取深度数据值需要向右移动的位数。在编写代码时应该使用这一常量而不是硬编码,因为未来随着软硬件水平的提高,Kinect可能会增加能够同时识别人数的个数,从而改变PlayerIndexBitmaskWidth常量的值。

Int32 pixelIndex = (Int32)(p.X + ((Int32)p.Y *frame.Width));

Int32 depth = this.depthPixelDate[pixelIndex]>> DepthImageFrame.PlayerIndexBitmaskWidth;

5.       色彩的PixeldataByte[]存储,而景深则是用Short[]存储。

6.       示例中演示了如何获取某一点的深度数据,也演示了简单的深度数据处理,如:取反,灰度增强,彩色渲染

 

示例代码

1.      完整代码请到资源块下载

2.  获取景深影像:

        privatevoid kinectSensor_FrameReady(object sender, DepthImageFrameReadyEventArgs e)

        {

            // Clean the last depth framebefore fetching the next frame.

            if (lastDepthFrame != null)

            {

                lastDepthFrame.Dispose();

                lastDepthFrame = null;

            }

 

            lastDepthFrame =e.OpenDepthImageFrame();

 

            if (null != lastDepthFrame)

            {

                // Different with color data,it's not byte[] but short[]

                lastPixelData = newshort[lastDepthFrame.PixelDataLength];

               lastDepthFrame.CopyPixelDataTo(lastPixelData);

                EditDepth_Reverted(lastPixelData,lastDepthFrame);

               EditDepth_Enhance(lastPixelData, lastDepthFrame);

               EditDepth_RandomColor(lastPixelData, lastDepthFrame);

                this.imageBitmap.WritePixels(this.imageBitmapRect,lastPixelData, this.imageStride, 0);

            }

        }

3.       简单的图像处理:

 

        privatevoid EditDepth_Reverted(short[] pixelData, DepthImageFrame frame)

        {

            short[] revertPixelData = newshort[frame.Width * frame.Height];

            int depth = 0;

            for (int index = 0; index <pixelData.Length; index++)

            {

                depth = (int)(pixelData[index] >> DepthImageFrame.PlayerIndexBitmaskWidth);

                revertPixelData[index] = (short)~pixelData[index];

            }

 

            RevertImageElement.Source = BitmapSource.Create(frame.Width,frame.Height, 96, 96, PixelFormats.Gray16, null, revertPixelData, frame.Width * frame.BytesPerPixel);

        }

 

        privatevoid EditDepth_Enhance(short[] pixelData, DepthImageFrame frame)

        {

            // 4 bytes per pixel

            byte[] enhancedPixelData = newbyte[frame.Width * frame.Height *4];

            int depth = 0;

            int gray = 0;

            for (int index = 0; index <pixelData.Length; index++)

            {

                depth = (int)(pixelData[index] >> DepthImageFrame.PlayerIndexBitmaskWidth);

                // 0xFFF = 4095, show the gray (0~255) according to depth (0 ~ 4095)

                gray = 255 * depth / 0xFFF;

                // R==G==B

                enhancedPixelData[index * 4] =(byte)gray;

                enhancedPixelData[index * 4 +1] = (byte)gray;

                enhancedPixelData[index * 4 +2] = (byte)gray;

            }

 

            EnhanceImageElement.Source = BitmapSource.Create(frame.Width,frame.Height, 96, 96, PixelFormats.Bgr32, null, enhancedPixelData, frame.Width * 4);

        }

 

        privatevoid EditDepth_RandomColor(short[] pixelData, DepthImageFrame frame)

        {

            // 4 bytes per pixel

            byte[] enhancedPixelData = newbyte[frame.Width * frame.Height *4];

            int depth = 0;

            int gray = 0;

            for (int index = 0; index <pixelData.Length; index++)

            {

                depth = (int)(pixelData[index] >> DepthImageFrame.PlayerIndexBitmaskWidth);

                // 0xFFF = 4095, show thegray (0~255) according to depth (0 ~ 4095)

                gray = 767 * depth / 0xFFF;

                if (gray <= 255)

                {

                    enhancedPixelData[index *4] = (byte)gray;

                    enhancedPixelData[index * 4+ 1] = (byte)0;

                    enhancedPixelData[index * 4+ 2] = (byte)0;

                }

                elseif (gray <= 511)

                {

                    enhancedPixelData[index *4] = (byte)255;

                    enhancedPixelData[index * 4+ 1] = (byte)(gray - 256);

                    enhancedPixelData[index * 4+ 2] = (byte)0;

                }

                else

                {

                    enhancedPixelData[index *4] = (byte)255;

                    enhancedPixelData[index * 4 + 1] = (byte)255;

                    enhancedPixelData[index * 4+ 2] = (byte)(gray - 512);

                }

            }

 

            RandomImageElement.Source = BitmapSource.Create(frame.Width,frame.Height, 96, 96, PixelFormats.Bgr32, null, enhancedPixelData, frame.Width * 4);

        }

 

效果演示

范围外的是-1,太近了是0,中间的可以正常显示距离

从椅子腿来看,增强后还是可以显示更多细节的:

这篇关于Kinect for windows 开发入门 七:景深数据获取和使用 上的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1054998

相关文章

Spring IoC 容器的使用详解(最新整理)

《SpringIoC容器的使用详解(最新整理)》文章介绍了Spring框架中的应用分层思想与IoC容器原理,通过分层解耦业务逻辑、数据访问等模块,IoC容器利用@Component注解管理Bean... 目录1. 应用分层2. IoC 的介绍3. IoC 容器的使用3.1. bean 的存储3.2. 方法注

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

Python内置函数之classmethod函数使用详解

《Python内置函数之classmethod函数使用详解》:本文主要介绍Python内置函数之classmethod函数使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 类方法定义与基本语法2. 类方法 vs 实例方法 vs 静态方法3. 核心特性与用法(1编程客

从入门到精通MySQL联合查询

《从入门到精通MySQL联合查询》:本文主要介绍从入门到精通MySQL联合查询,本文通过实例代码给大家介绍的非常详细,需要的朋友可以参考下... 目录摘要1. 多表联合查询时mysql内部原理2. 内连接3. 外连接4. 自连接5. 子查询6. 合并查询7. 插入查询结果摘要前面我们学习了数据库设计时要满

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传:从崩溃边缘抢救进度二、多线程加速:榨干网络带宽三、速度控制:做网络的好邻居四、终端交互

Python中注释使用方法举例详解

《Python中注释使用方法举例详解》在Python编程语言中注释是必不可少的一部分,它有助于提高代码的可读性和维护性,:本文主要介绍Python中注释使用方法的相关资料,需要的朋友可以参考下... 目录一、前言二、什么是注释?示例:三、单行注释语法:以 China编程# 开头,后面的内容为注释内容示例:示例:四

从入门到精通C++11 <chrono> 库特性

《从入门到精通C++11<chrono>库特性》chrono库是C++11中一个非常强大和实用的库,它为时间处理提供了丰富的功能和类型安全的接口,通过本文的介绍,我们了解了chrono库的基本概念... 目录一、引言1.1 为什么需要<chrono>库1.2<chrono>库的基本概念二、时间段(Durat

Go语言数据库编程GORM 的基本使用详解

《Go语言数据库编程GORM的基本使用详解》GORM是Go语言流行的ORM框架,封装database/sql,支持自动迁移、关联、事务等,提供CRUD、条件查询、钩子函数、日志等功能,简化数据库操作... 目录一、安装与初始化1. 安装 GORM 及数据库驱动2. 建立数据库连接二、定义模型结构体三、自动迁

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查