power_kaikaige 2022-08-09 05:53 采纳率: 50%
浏览 32
已结题

计算机视觉人脸反欺骗领域,指导并完成折射图reflection map的详细生成步骤

计算机视觉人脸反欺骗领域,指导并完成折射图reflection map的详细生成步骤
BASN中提供的生成步骤:大致意思就是先生成折射图,为了避免与背景过拟合,在利用深度图作为二分掩码图,与生成的折射图做内积操作,然后提取折射图上的脸部区域,最后将值归一化[0,1]

img


尽管在BASN一文中,作者给出了其具体的实现方法,我也按照作者指定的“Single image reflection separation with perceptual losses.”一文中已训练好的框架进行折射图的生成,但生成的折射图与BASN一文中所展示的相比,在颜色上有很多偏差!
BASN中提供的折射图样本:

img


我在caisia数据集上生成的样本:
原始RGB:

img


生成的对应的Reflection map:

img


在OULU数据集上生成的样本:
原始RGB:

img


生成的reflection map:

img


同时,为了效仿CASIA,只保留面部区域,我用深度图与原始RGB做内积,得到不包含背景信息的RGB,用它来生成对应的折射图:
原始RGB:

img


生成的Reflection map:

img

从以上生成的折射图来看,只有在CASIA上生成的比较完美,但oulu上的,不管是否去掉RGB的背景信息,生成的折射图与BASN提供的相比都不是很理想;
还有BASN中提到的归一化,我当时在折射图生成之后,用BASN提到的方法对折射图进行归一化处理,但归一化后的折射图确是黑乎乎的,让我很是不解!
希望同行的老兄,有在oulu数据集上成功生成reflection map经验的,能够给予指导,在此十分感谢!

展开全部

  • 写回答

1条回答 默认 最新

  • 爱晚乏客游 2022-08-09 09:23
    关注

    我没做过这个,但是看起来应该是需要背景的才对。你用

    img


    能得到作者一样的结果吗?
    另外,看起来和背景也是有关系的,是不是你去掉背景之后缺少了某些特征的问题?

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
    power_kaikaige 2022-08-10 11:54

    您好,非常感谢您的回答,我按照您的提议,这次考虑到背景信息,不对原始图像进行任何裁剪,这次我拿casia数据集中的样本进行测试。
    第三个图片是作者提供的折射图:

    img


    这是我裁剪后的具有背景信息的原始RGB图像:

    img


    这是生成的折射图:

    img


    通过与作者提供的标准的折射图相比较而言,这次生成的折射图的面部区域偏黑,且与作者提供的相比差距较大

    回复
    爱晚乏客游 回复 power_kaikaige 2022-08-11 01:10

    你这个后面还有个步骤呢?和mask的内积呢?

    回复
    power_kaikaige 回复 爱晚乏客游 2022-08-11 03:43

    你好,这个内积操作是利用深度图来做二分掩码,通过内积操作,进而对折射图进行面部提取,此时的折射图是已经提前生成好了,如果咱们这样做的话,没什么太大的意义吧。生成的折射图本身就不是很理想,再进行面部提取,那它不还是这个样子嘛!再次感谢您的回答

    img

    回复
    展开全部5条评论
编辑
预览

报告相同问题?

问题事件

  • 系统已结题 8月22日
  • 已采纳回答 8月15日
  • 创建了问题 8月9日
手机看
程序员都在用的中文IT技术交流社区

程序员都在用的中文IT技术交流社区

专业的中文 IT 技术社区,与千万技术人共成长

专业的中文 IT 技术社区,与千万技术人共成长

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

客服 返回
顶部