naomili0924

inference_driven_model_compiler

naomili0924

暂无描述

AI 简介

这是一个面向Hugging Face Transformers模型的ONNX导出工具,通过实际推理过程动态捕获张量形状,自动推断动态维度,无需手动编写架构专属的OnnxConfig。核心特点是基于真实输入执行前向传播进行运行时形状追踪,完全兼容未修改的optimum与optimum-onnx生态,仅通过扩展PYTHONPATH即可无缝集成至标准optimum-cli命令中。适用于需快速导出各类Transformer模型(含Encoder、Decoder及带KV缓存的生成模型)为ONNX格式的部署场景,尤其适合模型结构复杂或缺乏官方ONNX配置支持的情况。

Python
MIT License
102
Stars
0
Forks
3
Watchers
2
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分37
默认分支main