基于数据驱动技术的新计算方法使得将简单的2D草图转换为逼真的3D形状成为可能，几乎不需要用户输入。
来自香港大学，微软和不列颠哥伦比亚大学的全球计算机科学家团队开发了一种新颖的框架，将CNN或卷积神经网络技术与几何推理方法相结合，以更快，更快速地计算草图及其相应的3D形状。直观地比现有方法。
“我们的工具可以被艺术家用来快速轻松地绘制自由形状，可以作为基础形状，并使用先进的建模软件进一步完善，”负责这项工作的微软亚洲研究院研究员郝潘说。“新手用户也可以使用它作为一种可访问的工具，为他们的3D创作和虚拟世界制作时尚的内容。”
这种新方法建立在团队之前基于草图的3D建模工作的基础上 - BendSketch：通过2D草图建模自由曲面* - 一种纯粹基于几何的方法，需要带注释的草图输入。添加Pan，“我们希望开发一种智能的方法 - 在需要尽可能少的用户输入和自动完成所有需要的推理的意义上，以及通用 - 这样我们就不必培训新的机器学习每个特定对象类别的模型。“
潘的合作者李长健和王文平在香港大学;微软亚洲研究院的杨柳和辛彤;不列颠哥伦比亚大学的Alla Sheffer将于12月4日至12月7日在东京的SIGGRAPH Asia 2018展出。年度会议展示了计算机图形学和互动技术领域最受尊敬的技术和创意成员，并展示了科学，艺术，游戏和动画等领域的前沿研究。
轻松地将稀疏，不完美的2D草图自动转换为强大的3D形状是一项挑战。研究人员在这项工作中所面临的主要挑战是“草图”和“3D”模型阶段之间存在的重大信息差异。这是艺术家在表面图纸上填充诸如凸起，弯曲，折痕，山谷，脊等特征以创建3D设计的地方。对于他们的论文中演示的每个草图，该方法使用CNN来预测3D表面贴片。
研究人员的CNN接受了大型数据集的培训，这些数据集是通过使用非真实感线条渲染(或NPR)自动模仿自由形状的人体素描来渲染各种3D形状的草图而生成的 - 形状，包括泰迪熊，鸟类的形状或者例如鱼。研究人员验证了他们的新方法，将其与现有方法进行了比较并评估了其性能。结果表明，他们的方法提供了一种新的方式，以用户友好和更健壮的方式从2D草图生成3D建模。
他们的论文中包含的一个例子涉及使用新方法测试的新手用户。用户对素描或3D建模知之甚少。他们获得了关于新方法的20分钟训练演示。然后他们被要求制作三种不同复杂程度的目标形状 - 鸟类，泰迪熊和海豚。用户设法完成任务，总共只需5分钟到20分钟。正如文章中所指出的那样，新手参与者发现使用研究人员的工具可以很容易地制作草图，而且有些人还想更多地探索草图。
在未来的工作中，研究人员打算探索其算法的几种可能性和扩展。例如，目前他们的方法每次通过在视图中绘制草图来模拟表面贴片，但是通过在单个视图中绘制前后贴片的草图来建模完整的形状将是有益的。他们还希望增强该工具，以便他可以处理多尺度建模，从而可以轻松地勾勒出大尺寸的形状和精细的细节。
