您好,欢迎光临军工E站![免费注册]

客服中心 : 400-612-5507
服务时间 : 9:00-18:00

当前位置: 首页 > 芯闻中心 > 技术专题

军工资讯

Xilinx AI 加速+阿里云 FaaS:开启云端 AI 推断巨大机遇

       中国是全球最大的在线零售市场,而阿里巴巴则是中国最大的电子商务公司。作为阿里巴巴集团旗下的云计算和数据智能部门,阿里云为国际客户的在线业务及阿里巴巴集团自身的电子商务生态系统提供综合全面的成套全球云计算服务。在公有云服务提供商市场上,阿里云的市场份额位居亚太地区首位。

       阿里云的业务之一是为众多第三方厂商处理海量产品图像。由于一些图像内含有未付费广告等多余文本信息,给付费广告业务造成不利影响,因此,为了确保电子商务网站提供一致的体验,需要以 AI 推断对每天数千万幅图像中嵌入的有害文本或多余文本进行检测,随之而来的是巨大的 AI 推断计算工作负载以及高昂的运营成本。
 
       借助 ML 框架在赛灵思 FPGA 上直接加速 Yolo-v2
       阿里巴巴过去使用 GPU 运行 Yolo-v2 Tiny(数据类型为 Float32),通过这种方法掌握每日千万级的图像内容。由于该架构未经充分优化,GPU 只能实现有限的每秒查询次数 (QPS) 吞吐量,导致用电成本高、服务器空间占用大。为了降低运营费用,阿里巴巴寻求比 GPU 成本更低的解决方案来检测有害或多余的文本信息。
 
        依托于赛灵思 16nm Virtex UltraScale+™ FPGA 的高度自适应架构,阿里云 FaaS 团队在 Int16 上运行 Yolo-v2 Tiny 模型,在媲美 GPU 精度的前提下实现一流的 QPS 性能。单片赛灵思 UltraScale+ FPGA 每秒能处理数百幅图片,与最初的 GPU 实现方案相比性能提高 3.5 倍。在 FaaS 的启发下,虽然GPU通过完成类似优化也可以达到类似性能,但赛灵思解决方案的单幅图像成本更低。除此之外,赛灵思 Vitis AI 在加快开发速度方面也有着上佳表现。
 
        Vitis AI 支持开发者在无需编写任何 RTL 代码的情况下,优化 DNN 模型并将预训练的 DNN 模型部署到赛灵思 FPGA 中。其运行时及外壳程序让开发者无需成为 FPGA 专家就能够充分从赛灵思硬件加速中获益。
 
           阿里巴巴云和智能FPGA异构计算负责人张振祥负责领导该项目并成功在 F3 实例上实施了 AI 加速。
地址:深圳湾科技生态园二区9栋513维创魔坊D09     客服热线:400-612-5507(9:00-18:00)
© 粤ICP备14100628号-1  深圳迈尔易互联网技术有限公司