2023 年,哪些 AI/CV/NLP 问题值得博士新生研究?

关注者
274
被浏览
98,295

10 个回答

CV领域推荐一下 图像合成 (image composition) 方向。图像合成是指把一张图片的前景剪切下来,粘贴到另外一张背景图片上,得到一 张合成 图。然而,通过剪切复制得到的合成图可能会有诸多问题,影响合成图的真实性。 图像合成技术 旨在解决合成图中前景和背景之间的外观不一致性、几何不一致性、语义不一致性,提升合成图的质量。图像合成可以拆分成几个子任务,每个子任务解决一个子问题。我们实验室围绕图像合成与 视频合成 已经开展了一系列研究工作。接下来对图像合成可以做的方向做个简单的梳理,如下图所示。

图像和谐化 (image harmonization)旨在解决前景和背景颜色光照的不一致性。当背景图片是艺术风格图片时,图像和谐化的变种叫做 风格图像和谐化 (painterly/style image harmonization)。作为图像和谐化的对抗性任务, 不和谐区域检测 (inharmonious region localization)旨在检测图像中的不和谐区域。

物体阴影生成(object shadow generation)旨在为前景物体生成合理的阴影。

物体放置 (object placement)旨在为前景物体预测合理的位置、大小、透视角度。作为物体放置的对抗性任务,违背上下文 物体检测 (out-of-context object detection)旨在检测图像中位置、大小不合理的物体。

图像合成相关的论文、代码、模型可参考下面的链接。

还有一个在线demo可供玩耍,have fun!

图像合成的每个子任务都可以拓展到视频合成,额外考虑时序平滑性。图像合成也可以拓展到3D, 把3D物体放到3D场景中,结合NeRF技术。也可以利用AI技术自动生成内容(AIGC)的模型辅助图像合成任务。欢迎关注图像合成及其延伸任务。