https://www.tomshardware.com/new ... ng-inference-record,37885.html
AMD and Xilinx partnered to create high-performance inference systems for data centers that Xilinx this week claimed breaks the world record for inference performance. The new systems include Xilinx’s new machine learning accelerator cards, called Alveo, which promise real-time machine learning inference, as well as video processing, genomics and data analytics.
A New Inference World Record
AMD and Xilinx created a new system for data centers that includes a 32-core EPYC 7551 CPU and eight Alveo U250 accelerator cards. The cards will be powered by Xilinx’s ML Suite, which also supports ML software frameworks, such as TensorFlow.
The two companies said that their system reached an inference throughput of 30,000 images per second on the GoogLeNet convolutional neural networks. Such high inference performance is seemingly being requested these days by companies that need to analyze massive amounts of data.
After joining Xilinx CEO Victor Peng onstage at a Xilinx event showcasing this, Mark Papermaster, AMD CTO and senior vice president of technology and engineering, said that new workloads can take advantage of the whole system and not just the CPU.
Xilinx Alveo Accelerator FPGA
Xilinx introduced two new FPGA cards (Alveo U200 and U250), which for the first time are optimized to “accelerate” real-time machine learning inference. The focus here seems to be “real-time” inference because the Alveo cards promise three times lower latency than GPUs with four times the throughput for low-latency applications.
The Alveo cards also promise 20x the performance of a CPU for inference tasks, reaching up to 90x the performance for database searches. They start at $8,995 each, and Xilinx said that it’s now working with OEMs, including Dell EMC, Fujitsu, Hewlett Packard Enterprise and IBM, to qualify them for data centers.
jPrkzqeD2RwLOWfb.jpg (83.88 KB, 下载次数: 0)
9qZNc9RGRLmBfDjl.jpg (115.33 KB, 下载次数: 0)
u200-hero-p.jpg (155.88 KB, 下载次数: 0)
评论
AMD和Xilinx合作为数据中心创建高性能的推理系统，Xilinx本周宣称，该系统打破了推理性能的世界纪录。新系统包括Xilinx的新机器学习加速卡，称为Alveo，它保证实时机器学习推理，以及视频处理、基因组学和数据分析。
一种新的推理世界记录
AMD和Xilinx为数据中心创建了一个新系统，该系统包括一个32核的EPYC 7551CPU和8个Alveo U250加速卡。这些卡将由Xilinx的ML套件供电，它也支持ML软件框架，如TensorFlow。
两家公司表示，他们的系统在GoogLeNet卷积神经网络上达到了每秒30000张图像的推理吞吐量。这些高推理性能似乎是由需要分析大量数据的公司近来提出的。
在参加Xilinx CEO Victor Peng在Xilinx的展示活动后，AMD首席技术官Mark Papermaster、技术和工程高级副总裁说，新的工作负载可以利用整个系统，而不仅仅是CPU。
Xilinx肺泡促进剂FPGA
Xilinx引入了两个新的FPGA卡（Alveo U200和U250），它们第一次被优化用于“加速”实时机器学习推理。这里的重点似乎是“实时”推断，因为Alveo卡承诺的延迟比GPU低三倍，而GPU的吞吐量是低延迟应用程序的四倍。
Alveo卡还保证20倍于用于推理任务的CPU的性能，达到用于数据库搜索的性能的90倍。它们起价为每台8995美元，Xilinx说它现在正在与OEMs合作，包括戴尔EMC、富士通、惠普企业和IBM，以获得数据中心的资格。
评论
费尽心思挖点Vega20的消息进来一看又白瞎了
评论
快了快了
评论
所以重点是那个FPGA卡吧?
评论
amd yes！！！
评论
这是int8推理性能，老黄来个int4推理把它秒了。
评论
单路8卡x16通道，EPYC最极限的状态达到了
评论
没有那么多pcie哪可能那么多卡呢
评论
EPYC其实就是PCI-E交换机，没有什么本质作用。。。。
评论
互爆咯，int4, int2都行，没啥难度的
评论
FPGA的好处是需要多少乘多少的直接自己构建吧，一头进去一头出来，中间不要跑内存。
而其他方案，如果阵列不匹配，需要几个阵列模拟一个大阵列免不了把中间数据暂存内存，结果延迟要大得多。
评论
现在挖矿都是fpga了，machine learning也在跟进
评论
老黄现在的卡就有8倍int4。再往下int2、binary推理已经不具备普遍适用性了，大多用在手机里面。 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01
·日本留学生活 求个大阪合租
·日本留学生活 自家房招租求
·日本留学生活 东京地区出9成新lv钱包
·日本育儿教育 孩子从国内过来如何学习日语
·日本育儿教育 明年四月横滨招月嫂
·日本育儿教育 请问咋让娃突破识字关？感谢分享中文共读和学习经验的妈妈
·中文新闻 东区明星迈克尔·格列柯，53 岁，将在第一次出生两年后第二次
·中文新闻 《爱情岛》明星卡米拉·瑟洛和杰米·朱维特在透露即将迎来第三