因为视频中的人脸是变化的,系统会有延时,怎么样对脸部实时检测与跟踪,还有系统性能,各方面都有影响。 首先电脑先要检测到人脸区域,即川剧脸谱要叠加的区域,先检测到,再实现叠加。 难点1、如何实现实时的人脸叠加 难点2、如何实时实现人脸跟踪 难点3、如何实现三维的效果 难点4、如何实现表情跟踪与叠加 1、首先要找到适合我们的快速的人脸检测算法,即要速度,又要检测率上去。 2、上述实现之后就是找到适合我们的实时的人脸跟踪算法,因为是细微的人脸表情的跟踪,所以在算法上要考虑到精细度,如果采用的深度摄像头,那采集到的数据是三维的,精细度越高,数据量越大,估计得用到数据挖掘中的一些算法,以提高它的效率。 3、最后一步是叠加,粗略的叠加网上都找得到,关键是我们要做到融合,也就是真实的与虚拟的之间加上去的时候尽量看不到痕迹,让他们的距离尽量地小,越细致的内容,则需要细致的工作,但是数据都得大,在现有的电脑CPU的情况下,如何实现也是个难题,只能用一些数学方法,去权衡。看到时候用不用GPU。呵呵。 FaceShift Faceshift 面部表情捕捉工具,可以几乎无延时地把你的表面表情实时反馈到3D 模型中