一名热爱体感技术的
业余专业开发人员

Kinect桥接OpenCV代码简介Kinect Bridge With OpenCV

Kinect桥接OpenCV代码简介Kinect Bridge With OpenCV

驱动版本:Kinect for Windows SDK v1.7

项目名称:KinectBridgeWithOpenCVBasics-D2D

编程语言:C++

程序配置和运行

安装程序后,在文件夹KinectBridgeWithOpenCVBasics-D2D中看到KinectBridgeWithOpenCVBasics-D2D.docx这个文档。文档中只说了如何配置OpenCV环境变量等等之类的,使用OpenCV的孩纸一眼就明白了。这里我还是使用自己常用的方法配置。(如果没有配置过OpenCV的,请去opencv.org.cn去学习如何配置,初学者往往需要1个小时到1天才能学会,熟练后5分钟)【你也可以按照微软说的方法进行配置,微软的方法虽然麻烦,但是一劳永逸!】

 

我是把OpenCV2.4.4安装在F盘的Softs文件夹下。使用VS2010进行配置。

在属性页中—>VC++目录:

包含目录:

F:SoftsOpenCV244opencvbuildinclude

$(KINECTSDK10_DIR)inc

库目录:

F:SoftsOpenCV244opencvbuildx86vc10lib

$(KINECTSDK10_DIR)libx86

源目录:

F:SoftsOpenCV244opencvmodulescoresrc

F:SoftsOpenCV244opencvmodulesimgprocsrc

F:SoftsOpenCV244opencvmoduleshighguisrc

在属性页中—>链接器:

附加依赖项:

opencv_core244d.lib

opencv_imgproc244d.lib

opencv_highgui244d.lib

Kinect10.lib

comctl32.lib

 

全部配置完毕后,编译F7,再执行Ctrl+F5。一点没有问题(如果有问题是你的配置问题,不要留言,请去OpenCV论坛求救),得到以下运行图像(头像被我用画笔刷掉了):

程序简要解读

FrameRateTracker类

用于计算视频帧率,使用clock()函数,每秒钟会调整一次帧率显示结果。

KinectHelper类

这个类的定义和实现都放在头文件中了。主要作用就是调用Kinect SDK中的函数,对Kinect进行初始化(打开Kinect和各种数据流,更新彩色、深度图像数据帧和骨骼数据帧),使用事件对象进行同步。数据被存放在m_pColorBuffer,m_pDepthBuffer,m_skeletonFrame数组中。

OpenCVHelper类

用于对图像进行滤波(高斯模糊GaussianBlur,腐蚀erode,膨胀dilate,canndy边缘检测),把骨骼数据滑到彩色图像和深度图像中(line和circle方法)。

OpenCVFrameHelper类

KinectHelper的子类,把数据存放到OpenCV的Mat矩阵结构中(方法pImage->ptr<Vec4b>(y))。

=================================================================

MainWindow类

主程序。使用互斥锁(CreateMutex)进行同步(他们以前的程序不进行同步),CreateMutex()函数可用来创建一个有名或无名的互斥量对象。

HANDLE CreateMutex(

LPSECURITY_ATTRIBUTES lpMutexAttributes, // 指向安全属性的指针

BOOL bInitialOwner, // 初始化互斥对象的所有者

LPCTSTR lpName // 指向互斥对象名的指针);

 

返回值

Long,如执行成功,就返回互斥体对象的句柄;零表示出错。会设置GetLastError。即使返回的是一个有效句柄,但倘若指定的名字已经存在,GetLastError也会设为ERROR_ALREADY_EXISTS

 

参数表   参数     类型及说明

lpMutexAttributes SECURITY_ATTRIBUTES,指定一个SECURITY_ATTRIBUTES结构,或传递零值(将参数声明为ByVal As Long,并传递零值),

表示使用不允许继承的默认描述符。

 

bInitialOwner BOOL,如创建进程希望立即拥有互斥体,则设为TRUE。一个互斥体同时只能由一个线程拥有。是FALSE,表示刚刚创建的这个Mutex不属于任何线程

也就是没有任何线程拥有他,一个Mutex在没有任何线程拥有他的时候,他是处于激发态的, 所以处于有信号状态。

 

lpName String,指定互斥体对象的名字。用vbNullString创建一个未命名的互斥体对象。如已经存在拥有这个名字的一个事件,则打开现有的已命名互斥体。这个名字可能不与现有的事件、信号机、可等待计时器或文件映射相符该名称可以有一个”Global” 或”Local” 前缀,明确地建立在全局或会话命名空间的对象。剩余的名称可以包含任何字符,除反斜杠字符()。

 

生成方法:

m_hColorResolutionMutex = CreateMutex(NULL, FALSE, NULL);

微软创建的所有的互斥锁参数都一样。表明,1使用不允许继承的默认描述符,2刚刚创建的这个Mutex不属于任何线程,3互斥体对象没有名字。

调用方法:

WaitForSingleObject(m_hColorResolutionMutex, INFINITE);

m_colorResolution = NUI_IMAGE_RESOLUTION_640x480;

ReleaseMutex(m_hColorResolutionMutex);

从使用方法看,和临界区的方法一模一样。之所以使用这些同步方法(互斥锁,临界区)是因为有些变量(或称为资源)会同时在多个线程中使用,为了避免资源使用冲突,使得多个线程排队使用这个变量。凡是在多个线程中同时使用的变量,都需要为它们设定一个同步方法(如果变量太多,最好把它组合成一个变量结构)。

 

 

线程开始(Run函数中):

m_hProcessThread = CreateThread(NULL, 0, ProcessThread, this, 0, NULL);

线程结束事件:

m_hProcessStopEvent = CreateEvent(NULL, FALSE, FALSE, NULL);

 

主线程ProcessThread中使用while无限循环

四个事件对象(426行)

HANDLE hEvents[4] = {m_hProcessStopEvent(退出), 彩色, 深度, 骨骼};

等待某个内核对象被触发(一共四个)

int eventId = WaitForMultipleObjects(numEvents, hEvents, FALSE, 100);

之后就针对不同情况进行处理。除了对退出(eventId==0)进行判断,其它的都直接对所有数据进行更新,而不针对eventId的大小(1,2,3)而分别处理。这算是改进吧,其它的C++程序都改成这样子的了,应该算变得简单了。但这样会导致每次只有1个函数是实际运行的,另外二个是不运行的。可以把我之前Kinect人脸跟踪Kinect Face Tracking SDK文章中的if
(WAIT_OBJECT_0 == WaitForSingleObject(m_hNextDepthFrameEvent, 0))都去掉,程序一样可以运行,但是会提示数据没有捕获到(三个数据不是同时都能获取的,得排队)。

 

在MainWindow中还可以看到OpenCV的Mat如何被使用的:

1.原始数据BYTE–>存放到m_pColorBuffer中(m_frameHelper.UpdateColorFrame())

2.m_pColorBuffer构建成m_colorMat结构(m_frameHelper.GetColorImage(&m_colorMat)),3.对m_colorMat进行各种滤波方法(m_openCVHelper.ApplyColorFilter(&m_colorMat))

4.最后把滤波后的画出来(UpdateBitmap(&m_colorMat, &m_hColorBitmap, &m_bmiColor);底层又调用了SetDIBits(m_hdc, *phBitmap, 0, height, pImg->ptr(), pBmi, DIB_RGB_COLORS);)

5.最最后还需要刷新屏幕区域(InvalidateRect(m_hWndMain, NULL, false);)

 

由于使用windows api创建窗体,这个程序显得很臃肿,一共3000行代码(包含注释和空行)。但依旧有很多可以学习的地方,特别是他们写代码都很精美。这个程序仅仅是把数据传到OpenCV的结构中,并使用OpenCV的基本函数进行一些图像处理,最后再显示出来,一年多前写的文章代码实现的就是这个原理。

如果你一直使用windows api显示窗口,那么很容入门。如果不是,那么需要很多时间学习它(我一直用简单的MFC作窗口)。微软给的例子很强健,很稳定,考虑了许多情况。但如果想要自己实现更好的软件,还是建议使用MFC吧。

可以直接在我前些天的文章Kinect人脸跟踪Kinect Face Tracking SDK中做一些修改,即可得到OpenCV显示的图像。也不知道有多少人使用MFC,如果人多的话,可以花时间写一个简单范例出来,更不知道Qt(VS2010中开发)是否可以进行显示。