FreeBSD网站上传了两个很有意思的PDF, 难得一窥全球Streaming Media的领导者Netflix(以下简称NF)如何配置网络其OCA建设, 这里摘取部分阅读
OCA全称Open Connect Appliances, 是NF为了最终客户而弄起来的CDN网络
2019-11-06_151713.png (145.15 KB, 下载次数: 0)
https://people.freebsd.org/~gallatin/talks/
第一个文档主要讲解了NF Software kTLS & Hardware TLS Offload, 也就是软件内核TLS和硬件内核TLS的负载分流, TLS=传输层安全性协议
2019-11-05_133908.png (69.72 KB, 下载次数: 0)
2019-11-05_133944.png (122.64 KB, 下载次数: 0)
可以看到kTLS极大地提升了带宽, NIC网卡提供的硬件kTLS相比软件kTLS大幅降低了CPU负载, 这和存储界的NVMe-oF是同个道理
2019-11-05_134130.png (85.82 KB, 下载次数: 0)
2019-11-05_134204.png (89.08 KB, 下载次数: 0)
支持这类的网卡有Mellanox最新推出的ConnectX-6 Dx, PCIe 4.0 x16, 单口200GbE或者双口2*100GbE
2019-11-05_154206.png (140.27 KB, 下载次数: 0)
第二个文档详细说明了NF在构建FreeBSD堆栈网络时采用的NUMA Siloing, 可以大致翻译为NUMA隔离
2016年NF已经做到单台服务器提供100Gbps的加密视频流, 那么该如何做到单台200Gbps?
2019-11-05_134824.png (261.22 KB, 下载次数: 0)
NF视频流服务器工作负载, 基于FreeBSD和NGINX
2019-11-05_134840.png (255.85 KB, 下载次数: 0)
100Gbps的机器配置, CPU采用了老一代Xeon Broadwell-EP和新一代Xeon Skylake-SP/Cascade Lake-SP
2019-11-05_135107.png (376.63 KB, 下载次数: 0)
为了达到200Gbps, 最简单的方法当然是再加一个服务器, 比如双路Xeon Silver 4216 2*16C=32C (2.1G基频/2.7G全核/3.2G单核Non-AVX)
2019-11-05_135302.png (454 KB, 下载次数: 0)
或者采用片上四路的EPYC Naples 7551 32C (2.0G基频/2.55G全核/3.0G单核)和新一代EPYC Rome 7502P 32C (2.5G基频/2.95G全核/3.35G单核)
2019-11-05_135443.png (463.74 KB, 下载次数: 0)
上面200Gbps原型机的性能汇总, CPU负载80%, Intel 130Gbps/QPI负载40%, AMD 85Gbps/IF负载未知(FreeBSD/Linux下都无测试工具)
2019-11-05_135507.png (336.77 KB, 下载次数: 0)
200Gbps服务器的数据流图示和需求, 差不多100GB/s内存带宽和64条PCIe 3.0
2019-11-05_135531.png (519.96 KB, 下载次数: 0)
多路最大的问题是NUMA Fabric的带宽限制, 2条UPI和3条UPI分别为40GB/s和60GB/s, IF带宽在40GB/s左右
2019-11-05_140215.png (307.89 KB, 下载次数: 0)
策略方面很简单 - 将数据大头置于NUMA Fabric之外
2019-11-05_140232.png (206.01 KB, 下载次数: 0)
双路Xeon最差情况, 4次NUMA跨越
2019-11-05_140443.png (543.18 KB, 下载次数: 0)
双路Xeon最好情况, 很显然就是全部在同一路
2019-11-05_140537.png (517.15 KB, 下载次数: 0)
两个解决方案, 以磁盘为中心的隔离和以网络为中心的隔离
2019-11-05_140856.png (300.78 KB, 下载次数: 0)
采用NUMA Siloing后, 双路Xeon最差情况减少到只有1次NUMA跨越
2019-11-05_141553.png (614.03 KB, 下载次数: 0)
两个NUMA Nodes的Xeon平均只有0.5次NUMA跨越, 50%的磁盘读取横跨NUMA, UPI上12.5GB/s
四个NUMA Nodes的EPYC平均只有0.75次NUMA跨越, 75%的磁盘读取横跨NUMA, IF上18.75GB/s
2019-11-05_141654.png (487.78 KB, 下载次数: 0)
双路Xeon 4216带宽从105Gbps增加到191Gbps, UPI占用从40%降低到13%
EPYC 7502P带宽从68Gbps增加到194Gbps
2019-11-05_141725.png (226.4 KB, 下载次数: 0)
前后对比
2019-11-05_141745.png (107.93 KB, 下载次数: 0)
2019-11-05_141810.png (113.98 KB, 下载次数: 0)
2019-11-05_141835.png (111.58 KB, 下载次数: 0)
原始数据图表
2019-11-05_142053.png (382.97 KB, 下载次数: 0)
2019-11-05_142109.png (424.97 KB, 下载次数: 0)
2019-11-05_142243.png (370.24 KB, 下载次数: 0)
2019-11-05_155553.png (425.94 KB, 下载次数: 0)
2019-11-05_142306.png (376.6 KB, 下载次数: 0)
2019-11-05_142320.png (558.75 KB, 下载次数: 0)
PS: 刚上线的Apple TV+画质可以说秒了所有流媒体, 外网验证平均码率25~30Mbps/峰值41Mbps(UHD BD的一半), 相比较NF峰值码率只有16Mbps
see_bitrate.jpg (185.21 KB, 下载次数: 0)
elephantqueen_bitrate.jpg (155.66 KB, 下载次数: 0)
可见以后随着同时在线用户量的增加, Apple将要承受的服务器压力是非常大的, 好在Apple和Google一样最不差的就是钱和服务器
评论
淘宝也不差钱，可惜不打算换
评论
有钱又有技术系列。曹公的帖子总是给我无从下手的感觉。或许这就是无懈可击的土豪技术贴的真正魅力之所在吧。奶丝，再次膜拜。
评论
搞技术的，基本可以看懂！谢谢分享~又从您这儿学习了~~~手动亲亲
评论
netflix现在已经没有自己的硬件和机房了，从7年多前开始逐渐淘汰掉自己的固定资产及机房且全部转移到AWS上，现在的netflix可以看作是AWS的实例，同理还有instagram。作为一家流媒体公司已经将核心业务集中在内容和版权上，网络不是他们的专长，直接外包了。AWS全世界都有机房，跨全球的CDN才是流媒体业务的根本所在，硬件部分不太重要，以后VR需要的数据处理量更大，那时候会有边境加速业务，所以贝佐斯是很有眼光的，个人财富超越比尔盖茨不是没道理
评论
本来就应该这样, 术业有专攻, NF搞好内容就行了, 基建让那些云服务器大咖弄
评论
apple tv+ 25~30Mbps/峰值41Mbps 卧槽。。。
槽尼玛，国内这些个辣鸡视频网站还好意思收费，还搞这么多广告，年年发财报还都亏损。都应该全死
评论
J叔家里就有台比Netflix服务器还好的机子，膜拜一下
评论
不用和Apple TV+比了, NF/2160p/16Mbps压缩清晰度已经甩国内所谓的4K几条街
评论
EPYC2 支持配置“虚拟NUMA”，还支持 LLC 为基础做 NUMA，农企的开发者网站上有调教指导。
NUMA 对性能的影响确实很大，这方面能调好真不容易，超多核情况下缓存一致性一不小心就踩坑。
我自己写的 WEB 服务器，在双路 E5-2667 v2 下能测到 1100w QPS，但是做了一些简单计数，瞬间就降到 600w QPS，原因就是缓存一致性保证大大拖累了性能。这方面“深入理解并行编程”这本书值得一学。
评论
就想知道，APPLE TV+，是不是跟NF一样BAN IP
评论
掀桌子的方法就是从通信协议上保证Cache coherency，例如CCIX，华为在这方面走在前面，特别是在深度学习处理器上的应用
评论
和Disney+完全相反管的很松, 最有可能跳错的手机上1号我挂梯子轻松观看, 家里路由全局就不用说了, 另据首长说国内IP可以直接看, 我没有试
评论
正在用浏览器试呢
不过，认证都通过了
为什么苹果让我来回登录，就登不进去，还不报错
评论
PC不太清楚可能不行, 需要ATV 4K或iOS设备打开TV App观看, Mac上应该有的吧
评论
是不是我id是国内的闹的
必须换出去
评论
是的, 换成美区ID就可以了
评论
霍霍~
成功了
我看看吃我多少
评论
不行哦~~~
就算免费，先要校验信用卡，卡不是美国的被拒了
评论
如果能在协议设计层面避开缓存一致性开销当然最好了。
不行的话程序设计层面就需要考虑这个，分割粒度、所有权归属、延后处理等办法就都出来了。
kTLS是个好东西，但一直没试验过。另外基于 Intel 的生态又对网络 I/O 极为重视的话，应该会去考虑 DPDK 吧…… 不过好像没看到 Netflix 在上面的资料里提到。
评论
首长好像都不需要验证啊, 明天帮你问问, 我是Apple Music Student用户, 1号就自动解锁显示已经Subscribed
如果要包月的话现在两种办法, 本来就要Music那就TB购买验证Music Student的邮箱, 这样每月$5可以同时拥有Music和Apple TV+
另外就是在美亚或Apple.com购买ATV 4K/iPhone/iPad等设备, 免费送一年的Apple TV+, 设备到手后登陆任何ID(非国区)激活即可
评论
AWS估计也买的是metal而不是虚拟机
评论
支持
评论
我切ID去美国的时候，卡那块懒得弄，就直接填写的没有以后~
然后点击看，就跟我要卡
只能看预告片了
微信图片_20191106012536.jpg (112.48 KB, 下载次数: 0)
因为也不是油管，简单看资源管理器吧
直接干到63M，然后稳定到40M，然后，预告片啊，瞬间就下完了
评论
还是在PC上操作的? 手机上试了吗
评论
PC浏览器，看了一下微信提示，是走的GOOGLE要扣1刀预授权，然后没成功
我一会儿用PAD试一下去，躺了
J大，晚安
评论
北京联通不用梯子atv和iPad直连可以看正片不卡，iPhone用4G看了一集也不卡，但好像码率不高，都不用梯子，港区id登录的
评论
云和vps最大区别就是对于用户消除了硬件概念。以instagram为例，它是从一开始就部署在aws上的，可能刚开始只是个虚拟机实例，但是随着用户增长，它开始用裸金属，后来无限扩大，对于instagram他只是要求aws给出更大的硬盘 带宽 IO和cpu负载，它不在乎你从虚拟机上迁移到裸金属上还是使用整个大型机柜。AWS等云服务公司的技术就是告诉用户你可以无限扩大你的实例，并且不需要重新部署，而且可以多地备份容灾，负载均衡到全世界用户可以访问，包括DD CC防攻击，只要你钱到位即可。此时对于用户只有一个硬件需求的概念，不再关注究竟是xeon还是epyc，只看疗效，比如IO 并发之类，至于AWS怎么做的？多路NVME SSD Raid是pci-e 3.0还是4.0，它都不关心。所以云服务商是要有技术的，不是拿几台服务器和租个线路直接KVM搞个虚拟化做oneman IDC那么简单，我不完全清除AWS的技术方案。像netflix这种大公司，amazon肯定都是给的定制化解决方案，有专员服务，和普通人用AWS的管理后台两码事。
评论
在线流媒体主要是带宽啊。。。
评论
据说换个别的区的apple id就能换区了
其实也不能全怪他们，国内的网络不是一般的贵
评论
理论上是这样，实际上没有想象中那么美好。aws一样有各种上限、瓶颈。弹性、无限扩大实例（并不是无限扩大，最大的就只有它物理机器本身的大小）只是在小规模的时候适用。云计算商自然有技术，但技术是技术不是魔法，该有的瓶颈问题一样会有。你用EBS它也有上限，然后你就大概猜出aws用的什么ssd了。用EFS也有上限，然后你大概可以猜出aws用的什么SAN。EC2，RDS这些都一样
你用他的现成的服务就会发现，好多配置啥的aws就是怎么自己省事怎么来。我觉得Netflix这种肯定要用metal然后自己来，而且对性能要求越高的场合，由云计算商提供的层级越底层。优势嘛自然是省了建立和管理数据中心的钱和时间
评论
优势主要是0固定资产，做财务报表的时候非常好看，大公司都这样。我司租的惠普电脑3年的租金购买一台的，但ICT就是要租不要买
评论
3年够买一台已经很便宜了。aws的主机我看几个月就能回本
评论
comcast的60Mbps商用宽带我看了下，每月700多刀
评论
NF在AWS消费的大头是EC2 https://aws.amazon.com/solutions/case-studies/netflix/
这里有NF EC2部署的详细演讲 https://www.youtube.com/watch?v=89fYOo1V2pA
评论
其实最主要是他家网络，全球范围内的CDN。硬件没多少钱，所以算价格的时候cpu/硬盘什么远远没有流量贵，像gcp/azure/aws万一不留意被D了，海景房就没了
个人用户gcp可以免费撸300刀的年费，azure有教育版，不过随时翻车，aws的教育码满大街都是，而且还不翻车，我用的就是他家的lightsail套cloudflare，基本不要钱
像netflix这种有4k hdr片源的在线播加上那么多片子，这流量费天文数字，当然他家肯定有折扣
评论
主要云厂商里面就剩阿里云不上农企服务器了
评论
看了但感觉这里面的EC2做不了新闻正文里的事情啊。毕竟x24 i3的EC2也只有100Gbps的网络，这已经是非metal最大的机器了
评论
看了下Netflix的技术栈，J叔发的这篇可能指的是Netflix的OCA
https://medium.com/netflix-techblog/serving-100-gbps-from-an-open-connect-appliance-cdb51dda3b99
https://openconnect.netflix.com/zh_cn/
部署指南
https://openconnect.netflix.com/deploymentguide.pdf
CDN这块不只用AWS
https://cloudscene.com/service-provider/netflix
评论
就是内容不同
评论
我测试，用浏览器，TV这个页面是打不开的
r路由，规则好久没更新了，最后我把地址白名单了，才能打开
评论
没错就是OCA CDN这块, 在AWS等Cloud数据存储和最终客户之间的桥梁, 桥梁越宽瓶颈越小, NF亲自从全球互联骨干网把控
评论
国内流媒体码率低的锅主要应该还是在运营商那里。
运营商的企业宽带卖的太太太贵了，都不用说千兆万兆，就是最普通的100M企业宽带，一年拿下来价格也是几十万RMB。
流量成本国内比海外高太多，相比较一下，服务器硬件成本才没几个钱。
评论
用iPhone或ipad里的视频直接就可以打开
评论
网飞的清晰度没法自己设置啊，我感觉，用PS4看，比EDGE要清晰呢、、、
评论
虽然全英文的看不懂，但突然想到的是土豪在自己的别墅中拿一个房间，搭一个家里的私有云，只要全上顶级设置，那效果刚刚的！
评论
Chrome上可以强制1080p, ATV 4K当然最好了
评论
不光码率低，还都喜欢用清晰480p，超清720p，蓝光1080p，蓝光4M、10M等等自造称呼来误导
大部分用户对品质也没有需求，恶性循环
国内做的比较好的看起来暂时只有哔哩哔哩了，点播虽然很一般只有1080p/6Mbps
不过前段时间直播码率无限制了，配合NVIDIA之前的NVENC OBS Guide，效果还可以
bilibili.jpg (48.97 KB, 下载次数: 0)
用的应该是金山云，金山也比(zi)较(ben)耿(jia)直(shou)了(duan)，先告(zuo)诉(cheng)不(kui)赚(sun)钱(le)
kingsoft.JPG (133.76 KB, 下载次数: 0)
评论
花了30秒钟终于读懂最后一句话, 脑壳疼
评论
额~~~~
我不~~~~~
真的好烦啊
哈哈哈哈
评论
J大，要习惯这种行文，不然会老的
评论
这 OCA 就是 Netflix 自己的硬件啊，全是定制调教好的。有规模的网络运营商可以申请使用，让运营商把CDN部署到最边缘，绝对是效益最大化了。 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收
·日本留学生活 求个大阪合租
·日本留学生活 自家房招租求
·日本留学生活 东京地区出9成新lv钱包
·日本育儿教育 孩子从国内过来如何学习日语
·日本育儿教育 明年四月横滨招月嫂
·日本育儿教育 请问咋让娃突破识字关？感谢分享中文共读和学习经验的妈妈
·中文新闻 东区明星迈克尔·格列柯，53 岁，将在第一次出生两年后第二次
·中文新闻 《爱情岛》明星卡米拉·瑟洛和杰米·朱维特在透露即将迎来第三