一名热爱体感技术的
业余专业开发人员

KinectV2绿屏技术

因为微软本身的绿屏很简单,边缘十分粗糙,因此学弟项目需要优化kinectV2绿屏技术(也就是背景移除),今天我下午窝在宿舍,就配置很久没用过的opencv尝试了下实现这个算法,如何进行优化。配置opencv时差点没配置成功,原来把路径填错地方了,说真的那几个引用目录、包含目录什么的真的很容易混淆啊。

opencv-config-include

在实现kinect2绿屏技术也就是green screen时,我总结出几点,告诉大家避免入坑:

1.直接使用MapDepthFrameToColorSpace函数对深度数据投影到彩色空间会很卡。可以通过bodyindex判断哪些点需要单独处理,调用MapDepthPointsToColorSpace方法(最少可以对一个坐标投影)对所需要的坐标投影即可。

2.投影后的得到的坐标很可能是无效的,可以通过isnan判断是否有效,对无效的数据最好不要处理,忽略掉。其他投影函数也会得到无效的坐标,这点要注意。

3.当然由于无效数据肯定会有,并且有时投影可能从小的投到大的必然存在孔洞,这时就需要填补这些孔洞,并且尽可能圆滑边缘。

由于这个算法还在优化中,并且将作为产品,代码就不能提供给大家了。如果有需要购买算法(C++源码,目前正在移植到emgucv上,还不清楚emgucv效率如何),可以和我联系(网站右上角–>本站–>关于我,可以找到我的联系方式)。

下面是一些我计算过程和结算结果的图,大家可以看看,以下图片都是纯算法保存的结果,不含人工处理(如果人工ps下那还搞毛算法。。。):

投影后的无字天书图:

20160507174258

对点点图进行填充,我也不知道这图为啥会有一种三维效果,囧,我没用到三维信息啊:

20160507175540

首先看微软的效果(微软的图本来是bmp,我这里另存为jpg,肉眼看上去是一致的哈),注意边缘像素:

KinectScreenshot-CoordinateMapping-12-05-11

我弄了两种算法,这是算法一的结果(图是1920*1080的,可以右键保存下来看细节),仔细比较边缘确实好很多。方法一的处理方式确实有点复杂,其中还涉及到一些算法优化,不然达不到很高的实时性:

method1 -hide

这是方法二,放大图片仔细观察后,你可以看到方法二锯齿很大,因为方法二的处理是对微软方法流程上的一些优化得到,因此锯齿会大,但效果依旧比微软原始的好:

green-screen-2

除了绿屏技术,这次顺便也做了边缘检测,这是一种算法的效果。可见检测出很多边缘,真正使用时我们还需要判断下哪个边缘是比较大的,排除掉其他边缘的噪声(也就是图中非红色的边缘):

after method1 contors