侠盗猎车网 游戏新闻 英特尔居然也来搞GTA5美化MOD了……?

英特尔居然也来搞GTA5美化MOD了……?

最近有玩家做了这么一张梗图:PS2平台有三款《侠盗猎车手》(GTA),而 GTA5居然硬是扛起了三代 PlayStation 平台……

  

  恶搞没恶意,搞搞别生气。这张梗图能够传播,也是因为 GTA5 实在是电子游戏领域的常青树:自从2013年在 PS3/Xbox360 平台发布,包括单机和在线模式 DLC 的总销量已经突破1.4亿份……

这边开发公司R星迟迟不发新作,那边电脑游戏平台的CPU/显卡硬件和显示技术已经更新了好几代。因此,GTA5 美化 MOD 也成为了玩家热衷的修改方向。从真实汽车模型,到更大范围的地图和视觉效果修改,多种多样的 MOD 显著增强了 GTA5 的生命力,让这款已经快要10岁的游戏仍能令玩家感到新意。

开发 MOD 的大多是国外大神,因为涉及到违反用户协议的灰色地带,MOD 开发工作通常是个人非营利性质的。不过最近,我们非常诧异地发现:竟然英特尔也在“官方”开发 GTA5 美化 MOD!

↑ 可能略微有点标题党……实际情况是:英特尔实验室耗时多年研发了 EPE (Enhancing Photorealisim Enhancement),一项基于深度学习卷积神经网络的合成图像逼真性算法。它能够逐帧优化 GTA5 输出的原始画面,配合多种第三方街景数据库,生成不同风格的拟真游戏画面。

最近英特尔实验室 (Intel Labs) 发布了一篇论文,介绍了他们在深度学习图像逼真度提升方面的最新进展。而他们的实验过程,采用的就是 GTA5 的图像。英特尔的研究员设计了一套多模块的卷积神经网络架构,对 GTA5 和第三方城市街景图像库的数据进行学习。

  

  玩家大神制作的 MOD,主要依靠事先调换图形素材、更新渲染引擎、增加光追支持等;而英特尔的思路是:直接用未修改的游戏的原始视频和数据输出,输入到深度学习系统里,实时演算出优化后的图像。

论文作者 Vladlen Koltun 介绍这套系统的工作方式:它可以接入到游戏上,你可以把它理解为 GTA5 的图像后处理系统。

  

  

  动图:

  

  

  论文作者之一的 Koltun,是英特尔智慧系统部门的首席科学家。他在欧洲图形学大会 Eurographics 2021 上透露,EPE 算法在英特尔实验室费时两年时间研发,效果此前从未在外部公开过。

“(EPE)属于那种需要长时间投入,几个月内都不会产出结果,研究时长以年为单位的那种研究,”Koltun 表示,“在(图像合成逼真性)的问题上,想要做出一点能拿得出手的结果并不难,找几张效果好的照片,放到论文里就完了;但要发明一种真的能用的方案 (something that really, really works),是非常艰难的。”

(这工作确实辛苦,但至少论文作者有理由上班时间摸鱼打 GTA5 了 )

  

  接下来让我们深入了解一下,英特尔实验室的这套 “GTA5 美化 MOD”的具体工作方式。

老“游戏”,新“玩法”

GTA5 已经是一款快10年的老游戏了,但无论是在单机还是在线模式中,玩家总能发明出各种有趣或稀奇古怪的新玩法……

同样,画面美化 MOD 也是一个伴随 GTA5 存在了很多年的领域了,“民间”的技术方向也就那么几种。而这次,英特尔实验室用了新“玩法”,在画面逼真性上实现了前所未有的突破。

EPE 算法的训练原理如下图:

  

  简单来说,EPE 整合了三个独立的神经网络,处理三种不同的数据源:GTA5 自带渲染引擎输出的 buffer 缓冲数据,游戏直出画面,以及第三方街景数据库的图像。

1)GTA5 游戏自带的渲染引擎,能够输出一组名为 G-buffer 的数据,其中包括画面中物体的种类、和玩家视角摄像头之间的距离、表面材质、光滑程度、反照率、光照数据等等。

  

  这些数据,输入到一套卷积神经网络数据流当中,提取出各类数据的遮罩图,用于训练神经网络;然后经过一系列专门设计的残差模块,输出不同规模的张量特征数据。

  

  2)借助前一步的训练结果,训练一个图像增强神经网络,然后把游戏直出画面,输入这个神经网络里,得到增强后的图像:

  

  3)真正的图像翻译工作发生在这一步:游戏直出画面、增强图像,和第三方街景数据库的相似图像,一起输入到一个感知辨别器(神经网络),经过一系列计算,生成感知特征图、标签图,以及相关的插值等数据,最终“翻译”合成为一张图。

这一部分也采用了对抗模型的设计,经过持续的训练,最终输出的图片能够准确还原游戏直出画面当中的物体构成,并且完美转移外部数据库图像的风格。

比如,下图为英特尔实验室用 GTA5 和 Cityscapes 数据库结合生成的画面风格。由于 Cityscapes 的图像数据大多来自于德国,具有独特的画面风格,所以你可以看出来,“美化”出来的结果似乎偏绿,有些阴冷;

  

  并且,由于德国植被更加茂盛,你可以看到 GTA5 里圣安地列斯(原型为洛杉矶)光秃、干燥、偏黄的山丘,渲染出了浓密的绿色植被。

技术创新

根据硅星人的理解,这篇论文提出的图像翻译方法有几个创新之处。

正如前述,传统的 GTA5 美化 MOD 的实现思路,都需要对游戏文件进行重度修改,有可能造成文件损坏,而且很难在多人在线模式下使用,以及也涉及违反游戏使用协议的灰色地带。

而 EPE 的思路不同之处,在于它直接在游戏输出画面的基础上进行美化,不涉及游戏文件修改,也就不违反使用协议。(当然前面也提到,在训练过程中它确实也需要”监听“游戏系统运行时渲染引擎输出的数据。

当然,EPE 也不是第一个采用深度学习思路进行 GTA5 画面优化的技术。

在此之前,UC Berkeley 和 Adobe 研究院共同开发的 CUT (Contrastive Unpaired Translation) ,以及南洋理工大学、UCB、商汤共同开发的 TSIT (Two-Stream Image-to-image Translation) ——这两个算法都是此前世界领先的图像翻译算法。

  

  

  但至少在 GTA5 上,这两个算法都存在严重的图像失真情况。比如,CUT 在渲染尺寸较小、和周遭环境相对独立的物体(比如树木、告示牌、行人等)时会出现重影,而且时序稳定性不佳;

  

  而 TSIT 算法渲染的结果,会在画面上部的天空区域中出现严重失真,增加一些不存在的植被,

  

  英特尔实验室的科学家认为,这些算法失真的情况,可能是由训练时采用的第三方数据库所导致的。比如摄像头的角度太低导致远景中的树木占满屏幕上部。如下图所示,在 Cityscapes 数据库的很多照片里,植被的区域很大,而通常 GTA5 画面中的植被很小。

  

  

  甚至在 Cityscapes 数据库中,由于数据采集车上有一个奔驰车标,其它算法在渲染的时候也会误以为这个车标也是道路特征的一部分:

  

  在训练 EPE 的时候,英特尔的团队故意缩小了神经网络的视野范围,让它可以聚焦于画面中特定的物体。EPE 在 GTA5 图像逐帧美化的真实度、时序稳定性等方面达到了目前最先进的水平,显著优于 CUT、TSIT 等基于深度学习的图像到图像翻译算法:

因为算法的设计,它还有一点“即插即用”的感觉,可以接入各种各样的外部数据库,实现不同风格的美化结果。

比如 Mapillary Vistas,是一个来自全世界各地的街景图像数据库,风格更加多样,色彩更鲜明。这种风格也可以通过 EPE 算法翻译到 GTA5 的画面里,效果更加接印象中圣安地列斯的样子:

  

  下图左边为游戏直出画面,右边为采用 Mapillary Vistas 作为目标风格的美化结果,可以看出画面色彩饱和度有很大提升;为了降低游戏渲染压力而在远景加入的迷雾,也得到了优化。

  

  网友评价:什么?这居然不是真的?

5月11日,英特尔实验室把 EPE 的介绍视频发到了 YouTube上。只用了半个月,这个视频的观看量已经超过了270万……

大部分网友评价都是从非专业角度出发的,但都对团队演示的渲染结果表示震惊……

网友 Fat Tabby 留言:如果你给我看这个视频并且跟我说是行车记录仪拍出来的,我应该会相信你。

网友 G Luong 表示:这才是真正的图像拟真。其它所有的画面美化 MOD 其实只是增加反射,并且让每一条路都变得很潮湿而已。

也有好几位眼尖的玩家发现,如果按照 Cityscapes 的风格进行美化,出来的画面风格其实倒是跟 GTA4(设定在 Liberty City,以纽约为原型,风格较为阴暗)。

网友 OK DOK 表示,怪不得当初 GTA4 出来的时候,人们都惊讶于一款游戏居然能如此”真实“。

网友 Cosine 说的很对:没有那么炫酷的反射,没有过饱和的颜色和超高的亮度,才是最”真实“的游戏。

说来有趣,英特尔跟 GTA5 已经是老朋友了——当然,指的不是游戏,而是研究层面。

早在2016年,英特尔实验室和德国达姆施塔特工业大学就在尝试用 GTA5 做自动驾驶方面的研究。当时自动驾驶已经成为新的技术趋势,但出于现实成本等因素,不是所有人都能获得大量真实道路的视觉数据用于研究。

所以英特尔和该大学组建了团队,试图从 GTA5 等游戏中提取接近于真实道路情况的数据,帮助自动驾驶技术训练。他们当时还发布了一篇论文 Playing for Data: Ground Truth from Computer Games——

当年的那个团队里,就有今天这篇 EPE 论文里的 Vladlen Koltun。

  

  所以今天我们可以说,这位英特尔智能系统部门的首席科学家,也是 GTA5 美化 MOD 领域的大神了!

你们说,Koltun 会不会也跟大家一样,焦急等待着R星发布 GTA6 呢?

当然,如果 GTA6 也能用上类似的深度学习图像拟真技术的话,硅星人还是愿意再等一等的……

——转念一想,你们觉得 GTA6 还不发布,会不会真的是因为R星用了某种超级前沿的技术,目前的主机性能——即使是 PS5——都还无法实现?

本文来自网络,本站仅作分享交流,非商业赢利为目的。如有侵权,请及时联系我们删除!https://xiadaolieche.com/5024.html

R星最真实的《GTA:三部曲》其实你已经玩过了,坚持了8年

返回顶部