Deepfake Detection之Face Xray

Method and Motivation：

通过fake face 与真实face background混合的blending 阶段来进行检验。模糊嵌入存在边界Inconsistent

BI Dataset:

Training data is generated from real images. Dataset is the set of blended images that we constructed from real images. We denote such dataset with BI.

计算 convex hull of the face landmarks. 主要方法是对face mask 进行blur, 将其反转后利用公式：

$$B_{i,j} = 4 \dot M_{i,j} \dot (1-M_{i,j})$$

就可以得到面部的轮廓mask.

Face Forgery Detection

1. 使用FCN网络(HRNet)进行mask的预测。
2. 简单二分类网络基于mask进行预测。

损失函数都为cross entropy loss.

实验

数据集：

1. BI数据集
2. FF++
3. DFD
4. DFDC
5. Celeb-DF
   每一个数据集的xray mask都可以通过fake frame 与 real frame对比然后converting to grayscale followed by normalization.

实验一：

使用FF++不同的fake generation method作为训练集，然后在4个method以及FF++的test set进行测试。发现虽然XceptionNet可以达到很好的结果(在train set和test set的domain相同情况下)但是其generalization 很差。但是如果在BI上训练，其泛化能力显著提升。

实验二：

Test on Unseen Datasets, 文章主要使用了DFD, DFDC, Celeb-DF三个数据集。基于FF++或BI进行训练

实验三：