3dmm算法全称

3DMM是一种人脸形状和外观的统计模型, 全称是3D Morphable Face Model, 即可变性人脸模型. 首先利用高精度一起扫描多组人脸3D数据, 并进行对齐. 之后利用PCA从这些三维形状和颜色数据中得到更低维的子空间.可变性体现在可以在这些PCA子空间进行组合变形, 将一个人脸的特性转移到另外一个人脸, 或者生成新的人脸.P(S,ρ):R

3N

→R

2N

其中S

bold{S}S代表人脸形状, ρ

rhoρ代表相机参数.模型坐标系统到三维相机坐标系统

v c = [ x c , y c , z c ] T = R v + t

bold{v}_c = [x_c, y_c, z_c]^T =

bold{R}

bold{v} +

bold{t}vc=[xc,yc,zc]T=Rv+tR

bold{R}R代表3 *3的旋转矩阵, t

bold{t}t代表三维平移向量

应用相机投影到二维空间

v ′ = π ( ρ i n t r , v c )

bold{v}' =

pi(

rho_{intr},

bold{v}_c)v′=π(ρintr,vc)其中ρ i n t r

rho_{intr}ρintr代表相机的内参.

例如对于可缩放的正交投影, 内参只有一个缩放因子s ss, 这样相机的所有参数就是

ρ = [ s , R , t x , t y ]

rho = [s,

bold{R}, t_x, t_y]ρ=[s,R,tx,ty]

我们在姿态估计的时候, 需要恢复这些参数.