AI推理模型介绍

OpenVINO, ONNX Runtime, TensorRT, Paddle Inference, Paddle lite

使用PadleOCR涉及到推理模型

OpenVINO (支持Paddle/ONNX两种格式模型, 仅支持CPU上推理)
ONNX Runtime (支持Paddle/ONNX两种格式模型， 支持CPU/GPU）
TensorRT (支持Paddle/ONNX两种格式模型，仅支持GPU上推理)
Paddle Inference(支持Paddle格式模型， 支持CPU/GPU)
Paddle lite 移动端AI

OpenVINO
OpenVINO推理简介 - 知乎 (zhihu.com)
Get Started — OpenVINO™ documentation — Version(latest)

ONNX Runtime
ONNXRuntime整体概览 - 知乎 (zhihu.com)
推理模型部署(一)：ONNX runtime 实践 - 知乎 (zhihu.com)

TensorRT
NVIDIA TensorRT | NVIDIA Developer
TensorRT详细入门指北，如果你还不了解TensorRT，过来看看吧！ - 知乎 (zhihu.com)

Paddle Inference
Paddle Inference 简介-PaddlePaddle深度学习平台
服务器部署 — Paddle Inference-使用文档-PaddlePaddle深度学习平台

Paddle lite
Paddle Lite是飞桨基于Paddle Mobile全新升级推出的端侧推理引擎，在多硬件、多平台以及硬件混合调度的支持上更加完备，为包括手机在内的端侧场景的AI应用提供高效轻量的推理能力，有效解决手机算力和内存限制等问题，致力于推动AI应用更广泛的落地
Paddle Lite_飞桨-源于产业实践的开源深度学习平台 (paddlepaddle.org.cn)