更新：应某人要求，更新一个拿SDR的BD1080p，深度学习的4k谍影重重5开头10分钟片段。
链接：https://pan.baidu.com/s/1NfGJ75tmvQvEMJspUrFgHw 密码：vc6e
官方也发了所谓的4k hdr版本，可对比BD、BD->4k，官方4k哪个好。官方混合各种精度的拍摄。
ARRIRAW (2.8K) (source format) (some scenes)
Canon Cinema RAW (4K) (source format) (some shots)
CineForm RAW (2K) (source format) (some shots)
Redcode RAW (6K) (source format) (some shots)
ps. 还是放一下下面的偶像大师4k版吧。https://www.youtube.com/watch?v=TgO-6ePKpjE
-------------
现在老黄都已经把dnss做进游戏了，是时候把我16年神经网络做的一个示例发出来了。ai的找规律能力和修补能力超乎想象。
以前试着拿hdmi采集卡，实录的ps4的1080p60fps视频，用神经网络放大成4k的版本。ps4渲染没有aa，我也没做任何aa视频后处理，你们可以对比一下纯放大效果。
原视频不是我录的，所以我只放了前面一段出来。一共是两段，前半段左边是原1080p，右边是神经网络放大；后半段的左边是现在标准放大算法，右边还是神经网络放大。
有兴趣可以去看实际表现，链接：https://pan.baidu.com/s/1Fi5y6iKX6sDb5xlvHJ3KjQ 密码：9d35
评论
谁敢低估~
老黄敢卖这个价格，就是因为有深度学习运算撑腰，耕耘这么多年，终于可以收割了
认识的搞这个的，基本都是跟矿工一样抢显卡，实实在在创造生产力的东西
评论
那么问题来了，经过深度学习之后的 I 社游戏会有多恐怖？
评论
那是因为动画插出来瑕疵少，waifu2x本来就是压制组很喜欢用的东西了
游戏我觉得悬
评论
你这个场景不算复杂光照，也简单，背景还基本静止，你插个谍影重重的手持摄影+买拷贝式帕金森长焦镜头+高速剪辑的场面试试，衔接处肯定出问题
评论
杰森.伯恩
评论
感觉你这个就是“视频锐化”都没有原来的味道了
评论
对，就谍影重重5一开头那段雅典大战，效果铁定没这个好
评论
其实waifu2x是最基础的gan，现在已经改进很多了。目前最好的gan在特定数据集上跟去码差不多。
评论
本来认为是什么游戏视频对比的。。。
进来一看。。。噢。。。是偶像大师。。。。。。765赛高。。。
什么时候把AI学习能力放到游戏里。。。这样单机游戏就更有意思了。
评论
这是实际3d模型的游戏渲染，不是动画。
评论
这个渲染，区别最大的部分不是背景，而且人物细节。
评论
1080p就是这样的，你看左边都糊成什么了
评论
虽然不熟悉神经网路的处理图片的具体算法，不过应该就是利用训练数据来快速识别图中的各个物件的边缘，并且锐化处理吧。
当然边缘识别的算法就算不用神经网络应该也有很多了，可能效率不同。。
评论
这个用的waifu2x只是通用数据训练出的低复杂度模型。现在8102年了，加上aa的专用游戏模型肯定会更好。
评论
所以你可以试试谍影重重5的开头部分雅典那段戏，把1080p的片源插到4k，看看效果，这个应该更接近古墓丽影之类的游戏。可以比较以下1080p插值版本和4k版本在细节上的区别，以及有没有bug
评论
不光是锐化，无脑全图锐化会有明显的光晕问题。作为ai，你得知道什么地方锐化，什么地方降噪，什么地方平滑。
lanczos相比bicubic，也是偏锐化的放大算法，但是效果能一样么？
评论
动画风格，大块的相似色彩
要是插个战地什么的效果就不好说了
评论
我不知道哪里能有这段的无损录像，否则我可以帮你试一下。
分辨率差值不可能出现bug，就像传统放大算法不会有bug，最多效果和传统算法区别不够明显。
评论
这就是我想说的，这种游戏非常接近买拷贝和谍影重重那种帕金森式拍摄技术，纯烤插出来效果未必好，而且会有bug。
但dlss不同，dlss可以访问高清材质的，等于有先验知识了。
评论
真有兴趣，自己录一段1080p，用madvr开ngu看看效果。ngu是特别轻量级的神经网络算法。
评论
这是个电影，各种字幕组下的应该不少吧，找个码率最高的1080p呗。。。
评论
这个100%提示就是说按1080P的材质和画质跑游戏，然后放大到4K，用AI去算法抗锯齿
然后这个伪4K帧数和原4K比较性能翻倍，逻辑没错吧
得看实际效果和支持力度如何了
~~~~
拼死不漏3D MARK成绩是怕露出挤牙膏的真相，理论测试就不发
另外这到底算不算创新历史评判吧
评论
并不是
实际上究竟神经网络在干啥开发人员并不清楚
他们只是给神经网络一个低分图片，让神经网络自己随便脑补一下，然后再把同图片的高分版本给神经网络看，让它自己找区别改进；然后再这么来一次又一次。然后神经网络自己就能直接把低分图脑补成和高分几乎没区别的样子了。
至于它怎么脑补的，究竟知不知道什么事“边缘”，开发人员其实并不清楚。
评论
dlss的效果，肯定会比我这个好啊
更复杂更高效的网络，更合适的训练数据
评论
那些训练数据本身，最终还是能用数学的算法来解释的
评论
所以你也提到了，更合适的训练数据，那么首先就是训练集的bias问题，一个游戏得有配套的单独一个模型。。。
评论
测试数据和训练数据越类似，测试数据表现越好。但如果训练数据足够多样性，那么模型也不会差到哪里去。
一个模型的大小一般不会超过10m，相比游戏简直可以忽略。
评论
自从google完胜围棋世界冠军以后，就已经没人敢低估深度学习的能力了。
评论
啥时候能深度学习去马赛克？
ngu就是画面脏脏的，看动画还行，看电影效果不太好
nnedi3好不少
评论
ngu就是画面脏脏的，看动画还行，看电影效果不太好
nnedi3好不少
评论
脏多半是因为原视频随机噪点太重，可以以牺牲细节的代价额外开降噪算法。ngu sharp是无倾向性的放大算法，不会随意去掉细节。
评论
最终得到的是人脑无法理解复杂拟合算法
评论
玩游戏要命的是延迟，不管能不能实时跑满60fps，只要延迟高到10ms级别，这个东西就彻底没用了。
比如电视机的补帧技术从最早的去隔行一路发展过来早就已经很实用了，为什么不用这个处理30fps的游戏？如果你能忍受全程不跟手的操作的话也没什么不可以
评论
微博上有个哥们，用1080ti sli 训练深度学习检测相机对焦准确性。来计算相机的追焦成功率
评论
楼主的对比图好像很失败啊。。。过度锐化
像光影魔术手一样
宁可小屏幕看1:1也不能这么搞啊
评论
如果把TensorCore甚至RTCore去掉，换成普通的流处理器暴力堆规模，以算力直接应对4K的性能需求是不是更好呢？
NV的架构又不是GCN，前端不行堆不上去。
评论
waifu2x放大神器已经很久了...
评论
哈哈哈，这个出来绝对支持一波
评论
NV利润已经爆炸了，现在任务是拿投资者的钱扩大市场规模。还是pascal那一套的话就还是那些消费者。而加入新功能会吸引新客户。
评论
这也太难为人了
评论
以后是不是AI下马了？
评论
光堆核心规格没用，再堆50%FP32当然没问题但是这个时候的显存带宽已经支撑不起来了除非用上HBM2显存后者把对应产品的位宽增加50%但这成本可就更高了，三星宰起人来可不会手软。
评论
光堆核心规格没用，把RT跟TC单元去掉再堆50%CUDA核心当然没问题但是这个时候的显存带宽已经支撑不起来了除非用上HBM2显存或者把对应产品的位宽增加50%但这成本可就更高了，三星宰起人来可不会手软。
评论
以后一张n卡一张a卡，a卡插帧，n卡插值
评论
不错，都是攻
评论
看完视频再说
评论
是骡子是马，拉出来溜溜就知道了
评论
啊，转帖姬的签名又变了。
评论
NGU NNEDI3 LANCZOS 这些就是普通算法了 和基于神经网络原理不一样
不过最麻烦还是适配问题 毕竟现在视频压制如果要放大 每个片子这些参数都要调半天
评论
ngu就是一个轻量级神经网络算法，作者自己在doom9上说过。
评论
哦 那大概是模型中参数用到了神经网络的东西 我么有仔细研读过
评论
我跑了10分钟的开头，更新主帖了，你可以看看效果哈
评论
https://www.youtube.com/watch?v=TgO-6ePKpjE
你可以去看一下完整4k分辨率的效果
评论
能不能放b站或者百毒盘。。。
评论
哈哈，现在是A卡色彩好，N卡画面清晰啊。
评论
已看，深度学校4K插值效果太赞了，所有游戏如果能应用，吓人。
评论
支持一下。不过游戏里面没这么好效果，毕竟这个相当于offline预选染，游戏里面是online即时渲染。
评论
主要是原档160mbps码率，几乎没法软解，除非硬解，软解得8核。
waifu2x现在在1080ti级别上，放大1080p到4k是 4fps 的性能。稍微精简一下模型的计算规模，我觉得tensor确实可能做到实时4k60fps。
评论
有可能，但可能性不大，要看老黄怎么搞算法了。首先如果用400T的int4 tensor core来算，有精度损失，其次不像直接插值已经光栅化好了的影像，rtx还要等待前面低解析度的shading完成后再进行dlss插值。所以算帧间延迟的时候必须要加上前面的整个渲染流程（包含光线追踪），最后给dlss插值的时间大概只占整个流程的很少一部分。
评论
主要是功耗吧。。。CUDA功耗和tensor功耗怎么分。。。CUDA把250W用满了，tensor是不是就歇菜。。。
评论
这点最可惜，tensor core和cuda核心没法并行。。所以dlss插值的时候，cuda核是歇着的（以流水线的角度上看，cuda核的任务也完成了，围观tensor core做postprocessing）。
如果可以并行，rtx效率还可以提升一个档次。
评论
再贴一次这个图，里面包含了各个部件运行的timing。
评论
偷偷告诉你，这个偶像大师3d场景，ps4其实渲染的是1080p 120fps，然后两帧重叠成一帧输出的60fp。你如果半速应该能看出，几乎每一帧都是自带残影。深度学习照样毫无压力的还原。
评论
我感觉，即使能够并行postprocessing，估计这样会大幅度提高流水线的复杂度吧？
评论
我现在能想到的是一边着色一边插值。功耗问题肯定很严重，缓存体系上cuda核和tensor core要有直通的shared memory。
评论
这个确实。waifu2x的作者说过，拿resnet来实现同样计算量的模型，效果并没有提升。2倍放大估计resnet不一定好太多。
https://github.com/nagadomi/waif ... uecomment-253989766
提升了50%计算量，效果稍微好了一些。
https://github.com/nagadomi/waif ... pendix/benchmark.md
评论
感觉不太容易。前一帧在插值的同时，计算下一帧。。。想想都可怕
评论
。。原来waifu2x不是gan。。。
评论
不过你确定gan的输入敏感特性，真的能用来还原视频么。。。
评论
视频我不清楚，但游戏是很适合的， 毕竟游戏自身就可以输出高分辨率和低分辨率的图像，然后对抗生成，效果应该很好。
评论
游戏应该是最适合waifu2x这种算法，因为每一帧都是无损的。
但是gan这种网络类型，前后两帧输入稍微有点区别，输出纹理就变了吧。反之基于mse的，至少输出结果变化和输入变化基本是线性关系。如果每帧纹理都在变的话，这视频就全是noise了。
评论
srgan效果还可以啊。
d1c8de8bc6954a50b1a474d688aba494.jpeg (184.41 KB, 下载次数: 1)
评论
我没实际试过gan。但按照我的理解，如果头巾的地方，图像稍微变了一点，srgan的结果应该会大变。
QQ截图20180824224656.png (158.05 KB, 下载次数: 1)
评论
出现这种情况都是gan中判别器网络不够深，用vgg16的结构试试就不会了。而且训练初期会变化是正常的。
评论
这文章叫啥，我去看看。
评论
那我就不太清楚了。因为之前也有个搞这方面还弄压制的人反驳我gan不实用。后面我也意识到这点，不过我还是怀疑gan的稳定性。
评论
另外插视频还有上下文参考，插游戏只有上文没下文。所以还有一种插法，基于recurrent network的。https://arxiv.org/pdf/1801.04590.pdf
Frame-Recurrent
评论
不是。。这图就是srcnn自己的文章啊。后面是我对gan的理解
评论
基于mse的srcnn是现在最可靠最稳定的算法，输出只依赖于当前这张图片，而且输出非常稳定。任何基于帧间预测的，现在问题都很大。
评论
15年的文章了。现在肯定有更好的。
评论
刚才我说错了，是twitter那个srresnet里面提到gan效果好的原理。
https://arxiv.org/abs/1609.04802
评论
明显srgan好些，不过srcnn比较成熟而且还提供了代码，应该用的多一些。
srgan是17年cvpr的文章，我看过有人做的例子效果惊人啊。而且也是做的视频的。
评论
srresnet的网络结果确实好，waifu2x后面也有一个resnet实现。但我还是还以gan的学习方式太过激进了。有视频那篇的paper么？
评论
不是paper，就是一个硕士生按照srgan做的例子。那效果不开玩笑的说就是去码，但肯定是用了比较极端的训练方法。 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收
·日本留学生活 求个大阪合租
·日本留学生活 自家房招租求
·日本留学生活 东京地区出9成新lv钱包
·日本育儿教育 孩子从国内过来如何学习日语
·日本育儿教育 明年四月横滨招月嫂
·日本育儿教育 请问咋让娃突破识字关？感谢分享中文共读和学习经验的妈妈
·中文新闻 东区明星迈克尔·格列柯，53 岁，将在第一次出生两年后第二次
·中文新闻 《爱情岛》明星卡米拉·瑟洛和杰米·朱维特在透露即将迎来第三