|
|
2023 年，哪些 AI/CV/NLP 问题值得博士新生研究？
关注者
274
被浏览
98,295
10 个回答
CS博士在读 | CV&ML
博士新生，应该多想想四五年后自己的职业路径，再来审视什么问题值得研究。
如果你去立志做学术大牛，那么少跟风热点，远离刷榜方向，多看不同领域的新理论、新方法、新问题，多思考如何定义有价值的新问题，挖掘方法背后的机器学习理论。总之，以问题、模型为中心思考选题，做第一个挖坑人。
如果你希望进大厂拿高薪，那么紧跟工业热点，远离各种fancy模型、toy数据集的文章，多思考大规模数据的特征建模、视觉语言大模型微调、模型轻量化与加速等业界更实用的方向。总之，以数据为中心思考选题，做最后一个填坑人。
CV领域推荐一下 图像合成 (image composition) 方向。图像合成是指把一张图片的前景剪切下来，粘贴到另外一张背景图片上，得到一 张合成 图。然而，通过剪切复制得到的合成图可能会有诸多问题，影响合成图的真实性。 图像合成技术 旨在解决合成图中前景和背景之间的外观不一致性、几何不一致性、语义不一致性，提升合成图的质量。图像合成可以拆分成几个子任务，每个子任务解决一个子问题。我们实验室围绕图像合成与 视频合成 已经开展了一系列研究工作。接下来对图像合成可以做的方向做个简单的梳理，如下图所示。
图像和谐化 (image harmonization)旨在解决前景和背景颜色光照的不一致性。当背景图片是艺术风格图片时，图像和谐化的变种叫做 风格图像和谐化 (painterly/style image harmonization)。作为图像和谐化的对抗性任务， 不和谐区域检测 (inharmonious region localization)旨在检测图像中的不和谐区域。
物体阴影生成(object shadow generation)旨在为前景物体生成合理的阴影。
物体放置 (object placement)旨在为前景物体预测合理的位置、大小、透视角度。作为物体放置的对抗性任务，违背上下文 物体检测 (out-of-context object detection)旨在检测图像中位置、大小不合理的物体。
图像合成相关的论文、代码、模型可参考下面的链接。
还有一个在线demo可供玩耍，have fun!
图像合成的每个子任务都可以拓展到视频合成，额外考虑时序平滑性。图像合成也可以拓展到3D, 把3D物体放到3D场景中，结合NeRF技术。也可以利用AI技术自动生成内容(AIGC)的模型辅助图像合成任务。欢迎关注图像合成及其延伸任务。