恒山派
DoNews7月3日消息,在办公场景中,文档类型图像被广泛使用,比如证件、发票、合同、保险单、扫描书籍、拍摄的表格等,这类图像包含了大量的纯文本息,还包含有表格、图片、印章、手写、公式等复杂的版面布局和结构息。
早前这些息均采用人工来处理,需要耗费大量人力,很大程度上阻碍了企业的办公效率 。其图像文档识别与内容理解业务就是为了解决此类用户痛点。
自 2017 年以来的不断耕耘,金山办公在图像文档识别与理解领域已达到了国内领先水平。其主要使用了 CV(Computer Vision)与 VIE(Visual Information Extraction 视觉息抽取) 等相关深度学习技术,例如通过 CV 技术识别发票和 PDF 大纲并获取其中的数据关系,其日请求次数已达上亿次。
图像识别与理解是一个很复杂的过程,一个任务的 pipeline 用到的深度学习模型多达 20+ 个,且日请求量级较大(上亿级别)需要大量的计算资源。当业务落地时,团队主要面临以下两个挑战任务的绝对耗时不能过长,以及成本问题。
为了解决上诉的两个挑战,金山办公采用了英伟达 T4 Tensor Core GPU 进行推理、英伟达 TensorRT 8.2.4 进行模型加速、英伟达 Triton 推理服务器 22.04 在 K8S 上进行模型部署与编排。
长链路(多达 20+ 个模型的 pipeline)意味着长耗时,若基于 CPU 推理的话,pipeline 耗时会长达 15 秒左右,通过 GPU 推理和 TensorRT 加速,成功将耗时降低到了 2.4 秒左右。
模型部署的时候,常见的做法是推理与业务代码(前后处理)放在一个进程空间里,每个模型需要在每个进程中加载一次,由于显存的限制,很多时候难以得到较高的单卡 GPU 使用率。
就算采用了进程池的方式提高了单卡的 GPU 利用率,也会因 CPU 的限制,出现机器整体的 GPU 利用率不高。而在引入了 Triton 推理服务器进行推理部署后,将推理与业务代码解耦,初步实现将 GPU 资源池化调度。最终在同等业务规模情况下,部署成本节省了 23%。
金山办公图像文档识别与理解业务,通过采用英伟达 T4 Tensor Core GPU 及 TensorRT加速,相比于 CPU 其 pipeline 耗时共下降 84%;而采用英伟达 Triton 推理服务器部署,其部署成本节省了 23% 。
分享:
请输入验证信息:
你的加群请求已发送,请等候群主/管理员验证。
数据来自赢家江恩软件>>
虚位以待
暂无
0人关注了该股票
长期未登录发言
吧主违规操作
色情、反动
其他
*投诉理由
答:开发办公软件;销售自行研发的软详情>>
答:金山办公上市时间为:2019-11-18详情>>
答:金山办公公司 2024-03-31 财务报详情>>
答:金山办公的概念股是:云办公、信详情>>
答:(一)公司发展战略 1、发展详情>>
Facebook概念今日小幅上涨0.93%,Facebook概念下个股情况
快手概念逆势走强,概念龙头股汤姆猫涨幅20.05%领涨
今日云游戏概念大幅下跌3.13%,*ST鹏博、*ST美盛跌停
当天语音技术概念早盘高开收出上下影小阳线
恒山派
金山办公与英伟达团队合作,加速WPS AI服务
DoNews7月3日消息,在办公场景中,文档类型图像被广泛使用,比如证件、发票、合同、保险单、扫描书籍、拍摄的表格等,这类图像包含了大量的纯文本息,还包含有表格、图片、印章、手写、公式等复杂的版面布局和结构息。
早前这些息均采用人工来处理,需要耗费大量人力,很大程度上阻碍了企业的办公效率 。其图像文档识别与内容理解业务就是为了解决此类用户痛点。
自 2017 年以来的不断耕耘,金山办公在图像文档识别与理解领域已达到了国内领先水平。其主要使用了 CV(Computer Vision)与 VIE(Visual Information Extraction 视觉息抽取) 等相关深度学习技术,例如通过 CV 技术识别发票和 PDF 大纲并获取其中的数据关系,其日请求次数已达上亿次。
图像识别与理解是一个很复杂的过程,一个任务的 pipeline 用到的深度学习模型多达 20+ 个,且日请求量级较大(上亿级别)需要大量的计算资源。当业务落地时,团队主要面临以下两个挑战任务的绝对耗时不能过长,以及成本问题。
为了解决上诉的两个挑战,金山办公采用了英伟达 T4 Tensor Core GPU 进行推理、英伟达 TensorRT 8.2.4 进行模型加速、英伟达 Triton 推理服务器 22.04 在 K8S 上进行模型部署与编排。
长链路(多达 20+ 个模型的 pipeline)意味着长耗时,若基于 CPU 推理的话,pipeline 耗时会长达 15 秒左右,通过 GPU 推理和 TensorRT 加速,成功将耗时降低到了 2.4 秒左右。
模型部署的时候,常见的做法是推理与业务代码(前后处理)放在一个进程空间里,每个模型需要在每个进程中加载一次,由于显存的限制,很多时候难以得到较高的单卡 GPU 使用率。
就算采用了进程池的方式提高了单卡的 GPU 利用率,也会因 CPU 的限制,出现机器整体的 GPU 利用率不高。而在引入了 Triton 推理服务器进行推理部署后,将推理与业务代码解耦,初步实现将 GPU 资源池化调度。最终在同等业务规模情况下,部署成本节省了 23%。
金山办公图像文档识别与理解业务,通过采用英伟达 T4 Tensor Core GPU 及 TensorRT加速,相比于 CPU 其 pipeline 耗时共下降 84%;而采用英伟达 Triton 推理服务器部署,其部署成本节省了 23% 。
分享:
相关帖子