网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了

 天顺注册招商   2021-01-06 07:52   40 人阅读  0 条评论

天顺平台总代【总代QQ223345】

原标题:网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了

杨净 发自 凹非寺

量子位 报道 | 公众号 QbitAI

小时候,有没有玩过一个叫做立体图游戏。

就是那种给你一张二维图,天顺平台总代【总代QQ223345】让你看图背后有啥东西。

比如,像这张图。

网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了  第1张

这其实是一张六角星。

在比如这张。

网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了  第2张

其实是一个女人在画口红。

好吧!真·眼睛看瞎还看不出是什么东西。

网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了  第3张

展开全文

现在,这样一个人都看不懂的图,AI可以看懂了。

网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了  第4张

还可以是动图的那种。

网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了  第5张

AI是如何做到的?先来一睹为快吧。

自动立体图的生成原理

训练AI之前,先得了解一下自动立体图的生成原理。

网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了  第6张

自动立体图其实与普通立体图差不多,只是它们是在没有3D眼镜的情况下观看的。

3D眼镜从略微不同的角度向左眼和右眼呈现同一物体的二维图像,使我们能够通过双目差异重建原始物体。

当以适当的视线观看时,自动立体图也是如此,双眼差异存在于重复2D图案的相邻部分。重复图案之间的距离决定了立体影像的远近。

网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了  第7张

按照这样的原理,给定一个3D图像和一个条纹图案,就可以生产自动立体图了。

首先,将条纹平铺到充满整个输出图像。然后,扫描输出图像中的每一个像素,并根据所需的距离按照水平轴移动。

判断出重复2D图案之间的距离,正是此次AI训练的关键。

AI是如何做到的?

简单概述,本次训练方法主要包括三个基本模块。

网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了  第8张

1、图形渲染器GR,从三维物体模型中渲染深度图像。

给定一组3D物体模型(如3D网格),引入一个图形渲染器GR。

2、自动立体生成器GA

对深度进行编码并合成自动立体图。

3、解码网络,恢复深度

近年来,深度CNN被广泛应用于像素预测任务中,本文则是将网络被训练为学习从像素到差距的映射。但在这种情况下,大多数图像区域将失去空间对应关系。

为了解决这个问题,本文提出了 “差异卷积”的方法。

基本思想是计算出每一个特征图中的特征向量与其水平邻域,并将其值保存到相应的特征通道中。

就像这样。

网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了  第9张

为了加快计算速度,可先将特征图沿其水平轴进行圆周移动,然后用其输入进行元素减法。

与标准卷积层相比,差异卷积不会引入任何额外的参数。

本次解码网络结合了两种流行的网络架构,resnet18和unet。在这两种网络的输入端插入了一个差异卷积层和ReLU层,在差异卷积层中,研究团队将最大移位距离设置为输入图像高度的1/4。

随后,研究人员在ShapeNetCore训练解码网络——一个大型3D形状数据集,涵盖了55个常见的对象类别,其中有超过 50000个独特的3D模型,并随机将数据集拆分为一个训练集(90%)和一个测试集(10%)。

此外,团队还在线收集了718张2D纹理图 (585张用于训练,133张用于测试),用于自动立体图的生成。

网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了  第10张

在解码精度的定量比较中,本文提供的方法展现出了很好的结果。

网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了  第11张

北航校友又一新作

本次项目来自密歇根大学、网易伏羲AI实验室、北航共同完成。

网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了  第12张

其中第一作者是 邹征夏,目前在密歇根大学做博士后研究,他曾于2013年和2018年分别获得北航学士和博士学位。

研究方向是计算机视觉及其在遥感,自动驾驶汽车和视频游戏中的应用。

网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了  第13张

在北航学习期间,他曾获北航优秀博士论文奖,北航十佳博士研究生、北京市优秀毕业生,师从史振威教授。

前不久,他打造的 SkyAR,打造电影级别的「天空之城」,在AI圈儿里引起了不小的轰动。

网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了  第14张

还有 美术生都膜拜的AI,分分钟将照片变成艺术画。

网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了  第15张

One More Thing

最后,分享一个小Tips。

首先,放松眼睛肌肉。

然后,让左眼看到左上方的点、右眼看到右上方的点。

最后,慢慢调整视角。

当你能在图像的顶部看到三个点后,再慢慢地调整眼睛焦距,你将会看到图像里面的 3D物体

来试试手吧!

网易北航搞了个奇怪研究:多数人类看不懂的立体图,AI现在看懂了  第16张

So,这张图是啥? (手动狗头)

论文地址:

https://arxiv.org/pdf/2012.15692.pdf

项目地址:

https://jiupinjia.github.io/neuralmagiceye/

GitHub网址:

https://github.com/jiupinjia/neural-magic-eye

参考链接:

http://www-personal.umich.edu/~zzhengxi/

https://levir.buaa.edu.cn/news_events_cn.htm

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

加入AI社群,与优秀的人同行

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~

本文地址:https://lkwed.com/post/5374.html
版权声明:本文为原创文章,版权归 天顺注册招商 所有,欢迎分享本文,转载请保留出处!

 发表评论


表情

还没有留言,还不快点抢沙发?