TensorRT Edge-LLM

TensorRT Edge-LLM是NVIDIA发布的高性能C++推理运行时，专为自动驾驶和机器人等任务关键场景设计，支持MoE（混合专家）模型在边缘设备上的高效推理。它是NVIDIA在边缘推理领域的重要软件产品，为Physical AI应用提供本地推理能力。