|
亚马逊运用 NVIDIA TensorRT-LLM 和 GPU 将全新 AI 工具的推理速度加强一倍，帮忙卖家更快创建和优化商品详情页。
很难想象有哪个行业比在线零售业竞争更激烈、节奏更快。
卖家必须创建富有吸引力且饱含海量信息的商品详情页。这些详细介绍必要引人入胜、夺人眼球且深入人心。
亚马逊正在亚马逊弹性计算云（Amazon EC2）上运用 NVIDIA Tensor Core GPU 赋能一个生成式 AI 工具，从而在现代零售业发展中找到这种平衡。
亚马逊全新的生成式 AI 功能能够帮忙卖家无缝生成引人注目的标题、要点、描述和制品属性。
起始时，亚马逊会识别有待改进的商品详情页，并且利用生成式 AI 自动生成高质量的内容。而后卖家能够按照自己的必须完善这些内容，亦能够直接将自动生成的内容提交至亚马逊目录。
这里之前，卖家必须花费海量的时间和精力创建仔细的商品详情页，而此刻，这种简化的流程使她们有更加多的时间专注于其他的任务。
NVIDIA TensorRT-LLM 软件现已在 GitHub 上线，用户能够经过为生产级 AI 供给企业级安全、支持和靠谱性的 NVIDIA AI Enterprise 拜访该软件。
TensorRT-LLM 开源软件使 AI 推理变得更快速、更智能。它可与大语言模型协同工作，例如亚马逊为以上功能构建的模型便是在海量文本上训练而成的。
它还支持多 GPU 和多节点推理、动态批处理、分页关注以及拥有 FP8 精度的 Hopper Transformer Engine，所有这些都能改善延迟和提有效率，为卖家带来更好的体验。
经过运用 TensorRT-LLM 和 NVIDIA GPU，亚马逊为卖家供给的生成式 AI 工具在成本和所需 GPU 方面的推理效率加强了 2倍，比初期无运用 TensorRT-LLM 时相比则降低了3 倍的推理延迟。
效率的加强使其更加环保，而降低了 3 倍的延迟则使亚马逊目录生成式 AI 功能的反应更快速。
这些生成式 AI 的功能能够为卖家节省时间，让她们能够更容易地供给更丰富的信息。例如： 能够为无线鼠标创建一个内容丰富的详情页，其中信息包括人体工程学设计、电池寿命长、光标设置可调且兼容各样设备；还能够生成制品属性，如颜色、尺寸、重量和材料。
这些细节能够帮忙客户做出明智的决策并减少退货的出现。
借助生成式 AI，亚马逊的卖家能够快速、容易地创建更具吸引力的商品详情页，同期加强能效，从而接触到更加多客户，更快地发展业务。
从今天起起始运用 TensorRT-LLM 并经过 NVIDIA AI Enterprise 得到企业级支持，请拜访：https://developer.nvidia.com/blog/optimizing-inference-on-llms-with-tensorrt-llm-now-publicly-available/
GTC 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行，线上大会亦将同期开放。扫描下方海报二维码，立即注册 GTC 大会。
| 
发表于 2024-8-12 10:32:13