Kinect for windows 开发入门 七:景深数据获取和使用 上

2024-06-12 18:32

本文主要是介绍Kinect for windows 开发入门 七:景深数据获取和使用 上,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

背景知识

1.      景深数据通过Kinect红外传感器(红外发射器和摄像头)获取。

2.       红外摄像机的视场是金字塔形状的。离摄像机远的物体比近的物体拥有更大的视场横截面积。这意味着影像的高度和宽度,比如640X480和摄像机视场的物理位置并不一一对应。但是每个像素的深度值是和视场中物体离摄像机的距离是对应的。

3.      Kinect中深度值最大为4096mm0值通常表示深度值不能确定,一般应该将0值过滤掉。微软建议在开发中使用1220mm~3810mm范围内的值。在进行其他深度图像处理之前,应该使用阈值方法过滤深度数据至1220mm-3810mm这一范围内。下图显示了Kinect Sensor的感知范围,其中的default rangeXbox360Kinect for Windows都适用,而near range仅对后者适用:

4.       深度帧数据中,每个像素占16位,这样BytesPerPixel属性,即每一个像素占2个字节。每一个像素的深度值只占用了16个位中的13个位。如图:

获取每一个像素的距离很容易,但是要直接使用还需要做一些位操作。可能大家在实际编程中很少情况会用到位运算。如上图所示,深度值存储在第315位中,要获取能够直接使用的深度数据需要向右移位,将游戏者索引(Player Index)位移除。后面将会介绍游戏者索引位的重要性。下面的代码简要描述了如何获取像素的深度值。代码中pixelData变量就是从深度帧数据中获取的short数组。PixelIndex基于待计算像素的位置计算出来的。SDKDepthImageFrame类中定义了一个常量PlayerIndexBitmaskWidth,它定义了要获取深度数据值需要向右移动的位数。在编写代码时应该使用这一常量而不是硬编码,因为未来随着软硬件水平的提高,Kinect可能会增加能够同时识别人数的个数,从而改变PlayerIndexBitmaskWidth常量的值。

Int32 pixelIndex = (Int32)(p.X + ((Int32)p.Y *frame.Width));

Int32 depth = this.depthPixelDate[pixelIndex]>> DepthImageFrame.PlayerIndexBitmaskWidth;

5.       色彩的PixeldataByte[]存储,而景深则是用Short[]存储。

6.       示例中演示了如何获取某一点的深度数据,也演示了简单的深度数据处理,如:取反,灰度增强,彩色渲染

 

示例代码

1.      完整代码请到资源块下载

2.  获取景深影像:

        privatevoid kinectSensor_FrameReady(object sender, DepthImageFrameReadyEventArgs e)

        {

            // Clean the last depth framebefore fetching the next frame.

            if (lastDepthFrame != null)

            {

                lastDepthFrame.Dispose();

                lastDepthFrame = null;

            }

 

            lastDepthFrame =e.OpenDepthImageFrame();

 

            if (null != lastDepthFrame)

            {

                // Different with color data,it's not byte[] but short[]

                lastPixelData = newshort[lastDepthFrame.PixelDataLength];

               lastDepthFrame.CopyPixelDataTo(lastPixelData);

                EditDepth_Reverted(lastPixelData,lastDepthFrame);

               EditDepth_Enhance(lastPixelData, lastDepthFrame);

               EditDepth_RandomColor(lastPixelData, lastDepthFrame);

                this.imageBitmap.WritePixels(this.imageBitmapRect,lastPixelData, this.imageStride, 0);

            }

        }

3.       简单的图像处理:

 

        privatevoid EditDepth_Reverted(short[] pixelData, DepthImageFrame frame)

        {

            short[] revertPixelData = newshort[frame.Width * frame.Height];

            int depth = 0;

            for (int index = 0; index <pixelData.Length; index++)

            {

                depth = (int)(pixelData[index] >> DepthImageFrame.PlayerIndexBitmaskWidth);

                revertPixelData[index] = (short)~pixelData[index];

            }

 

            RevertImageElement.Source = BitmapSource.Create(frame.Width,frame.Height, 96, 96, PixelFormats.Gray16, null, revertPixelData, frame.Width * frame.BytesPerPixel);

        }

 

        privatevoid EditDepth_Enhance(short[] pixelData, DepthImageFrame frame)

        {

            // 4 bytes per pixel

            byte[] enhancedPixelData = newbyte[frame.Width * frame.Height *4];

            int depth = 0;

            int gray = 0;

            for (int index = 0; index <pixelData.Length; index++)

            {

                depth = (int)(pixelData[index] >> DepthImageFrame.PlayerIndexBitmaskWidth);

                // 0xFFF = 4095, show the gray (0~255) according to depth (0 ~ 4095)

                gray = 255 * depth / 0xFFF;

                // R==G==B

                enhancedPixelData[index * 4] =(byte)gray;

                enhancedPixelData[index * 4 +1] = (byte)gray;

                enhancedPixelData[index * 4 +2] = (byte)gray;

            }

 

            EnhanceImageElement.Source = BitmapSource.Create(frame.Width,frame.Height, 96, 96, PixelFormats.Bgr32, null, enhancedPixelData, frame.Width * 4);

        }

 

        privatevoid EditDepth_RandomColor(short[] pixelData, DepthImageFrame frame)

        {

            // 4 bytes per pixel

            byte[] enhancedPixelData = newbyte[frame.Width * frame.Height *4];

            int depth = 0;

            int gray = 0;

            for (int index = 0; index <pixelData.Length; index++)

            {

                depth = (int)(pixelData[index] >> DepthImageFrame.PlayerIndexBitmaskWidth);

                // 0xFFF = 4095, show thegray (0~255) according to depth (0 ~ 4095)

                gray = 767 * depth / 0xFFF;

                if (gray <= 255)

                {

                    enhancedPixelData[index *4] = (byte)gray;

                    enhancedPixelData[index * 4+ 1] = (byte)0;

                    enhancedPixelData[index * 4+ 2] = (byte)0;

                }

                elseif (gray <= 511)

                {

                    enhancedPixelData[index *4] = (byte)255;

                    enhancedPixelData[index * 4+ 1] = (byte)(gray - 256);

                    enhancedPixelData[index * 4+ 2] = (byte)0;

                }

                else

                {

                    enhancedPixelData[index *4] = (byte)255;

                    enhancedPixelData[index * 4 + 1] = (byte)255;

                    enhancedPixelData[index * 4+ 2] = (byte)(gray - 512);

                }

            }

 

            RandomImageElement.Source = BitmapSource.Create(frame.Width,frame.Height, 96, 96, PixelFormats.Bgr32, null, enhancedPixelData, frame.Width * 4);

        }

 

效果演示

范围外的是-1,太近了是0,中间的可以正常显示距离

从椅子腿来看,增强后还是可以显示更多细节的:

这篇关于Kinect for windows 开发入门 七:景深数据获取和使用 上的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1054998

相关文章

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案:通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建

PHP轻松处理千万行数据的方法详解

《PHP轻松处理千万行数据的方法详解》说到处理大数据集,PHP通常不是第一个想到的语言,但如果你曾经需要处理数百万行数据而不让服务器崩溃或内存耗尽,你就会知道PHP用对了工具有多强大,下面小编就... 目录问题的本质php 中的数据流处理:为什么必不可少生成器:内存高效的迭代方式流量控制:避免系统过载一次性

基于 Cursor 开发 Spring Boot 项目详细攻略

《基于Cursor开发SpringBoot项目详细攻略》Cursor是集成GPT4、Claude3.5等LLM的VSCode类AI编程工具,支持SpringBoot项目开发全流程,涵盖环境配... 目录cursor是什么?基于 Cursor 开发 Spring Boot 项目完整指南1. 环境准备2. 创建

Python使用FastAPI实现大文件分片上传与断点续传功能

《Python使用FastAPI实现大文件分片上传与断点续传功能》大文件直传常遇到超时、网络抖动失败、失败后只能重传的问题,分片上传+断点续传可以把大文件拆成若干小块逐个上传,并在中断后从已完成分片继... 目录一、接口设计二、服务端实现(FastAPI)2.1 运行环境2.2 目录结构建议2.3 serv

C#实现千万数据秒级导入的代码

《C#实现千万数据秒级导入的代码》在实际开发中excel导入很常见,现代社会中很容易遇到大数据处理业务,所以本文我就给大家分享一下千万数据秒级导入怎么实现,文中有详细的代码示例供大家参考,需要的朋友可... 目录前言一、数据存储二、处理逻辑优化前代码处理逻辑优化后的代码总结前言在实际开发中excel导入很

Spring Security简介、使用与最佳实践

《SpringSecurity简介、使用与最佳实践》SpringSecurity是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架,本文给大家介绍SpringSec... 目录一、如何理解 Spring Security?—— 核心思想二、如何在 Java 项目中使用?——

springboot中使用okhttp3的小结

《springboot中使用okhttp3的小结》OkHttp3是一个JavaHTTP客户端,可以处理各种请求类型,比如GET、POST、PUT等,并且支持高效的HTTP连接池、请求和响应缓存、以及异... 在 Spring Boot 项目中使用 OkHttp3 进行 HTTP 请求是一个高效且流行的方式。

python获取指定名字的程序的文件路径的两种方法

《python获取指定名字的程序的文件路径的两种方法》本文主要介绍了python获取指定名字的程序的文件路径的两种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要... 最近在做项目,需要用到给定一个程序名字就可以自动获取到这个程序在Windows系统下的绝对路径,以下

Java使用Javassist动态生成HelloWorld类

《Java使用Javassist动态生成HelloWorld类》Javassist是一个非常强大的字节码操作和定义库,它允许开发者在运行时创建新的类或者修改现有的类,本文将简单介绍如何使用Javass... 目录1. Javassist简介2. 环境准备3. 动态生成HelloWorld类3.1 创建CtC

使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

《使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解》本文详细介绍了如何使用Python通过ncmdump工具批量将.ncm音频转换为.mp3的步骤,包括安装、配置ffmpeg环... 目录1. 前言2. 安装 ncmdump3. 实现 .ncm 转 .mp34. 执行过程5. 执行结