[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"project-70946":3},{"id":4,"name":5,"fullName":6,"owner":7,"repo":5,"description":8,"homepage":9,"htmlUrl":10,"language":11,"languages":10,"totalLinesOfCode":10,"stars":12,"forks":13,"watchers":14,"openIssues":15,"contributorsCount":16,"subscribersCount":16,"size":16,"stars1d":17,"stars7d":18,"stars30d":19,"stars90d":16,"forks30d":16,"starsTrendScore":20,"compositeScore":21,"rankGlobal":10,"rankLanguage":10,"license":22,"archived":23,"fork":23,"defaultBranch":24,"hasWiki":25,"hasPages":23,"topics":26,"createdAt":10,"pushedAt":10,"updatedAt":46,"readmeContent":47,"aiSummary":48,"trendingCount":16,"starSnapshotCount":16,"syncStatus":17,"lastSyncTime":49,"discoverSource":50},70946,"PaddleNLP","PaddlePaddle\u002FPaddleNLP","PaddlePaddle","Easy-to-use and powerful LLM and SLM library with awesome model zoo.","https:\u002F\u002Fpaddlenlp.readthedocs.io",null,"Python",12952,3037,96,112,0,2,7,15,6,45,"Apache License 2.0",false,"develop",true,[27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45],"bert","compression","distributed-training","document-intelligence","embedding","ernie","information-extraction","llama","llm","neural-search","nlp","paddlenlp","pretrained-models","question-answering","search-engine","semantic-analysis","sentiment-analysis","transformers","uie","2026-06-12 02:02:45","**简体中文**🀄 | [English🌎](.\u002FREADME_en.md)\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Fuser-images.githubusercontent.com\u002F1371212\u002F175816733-8ec25eb0-9af3-4380-9218-27c154518258.png\" align=\"middle\"  width=\"500\" \u002F>\n\u003C\u002Fp>\n\n------------------------------------------------------------------------------------------\n\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fen\u002Flatest\u002F?badge=latest\">\u003Cimg src=\"https:\u002F\u002Freadthedocs.org\u002Fprojects\u002Fpaddlenlp\u002Fbadge\u002F?version=latest\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Freleases\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fv\u002Frelease\u002FPaddlePaddle\u002FPaddleNLP?color=ffa\">\u003C\u002Fa>\n    \u003Ca href=\"\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fpython-3.7+-aff.svg\">\u003C\u002Fa>\n    \u003Ca href=\"\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fos-linux%2C%20win%2C%20mac-pink.svg\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fgraphs\u002Fcontributors\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fcontributors\u002FPaddlePaddle\u002FPaddleNLP?color=9ea\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fcommits\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fcommit-activity\u002Fm\u002FPaddlePaddle\u002FPaddleNLP?color=3af\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fpypi.org\u002Fproject\u002Fpaddlenlp\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdm\u002Fpaddlenlp?color=9cf\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fissues\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fissues\u002FPaddlePaddle\u002FPaddleNLP?color=9cc\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fstargazers\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FPaddlePaddle\u002FPaddleNLP?color=ccf\">\u003C\u002Fa>\n    \u003Ca href=\".\u002FLICENSE\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-Apache%202-dfd.svg\">\u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003Ch4 align=\"center\">\n  \u003Ca href=#特性> 特性 \u003C\u002Fa> |\n  \u003Ca href=#模型支持> 模型支持 \u003C\u002Fa> |\n  \u003Ca href=#安装> 安装 \u003C\u002Fa> |\n  \u003Ca href=#快速开始> 快速开始 \u003C\u002Fa> |\n  \u003Ca href=#社区交流> 社区交流 \u003C\u002Fa>\n\u003C\u002Fh4>\n\n**PaddleNLP**是一款基于飞桨深度学习框架的大语言模型(LLM)开发套件，支持在多种硬件上进行高效的大模型训练、无损压缩以及高性能推理。PaddleNLP 具备**简单易用**和**性能极致**的特点，致力于助力开发者实现高效的大模型产业级应用。\n\n\u003Ca href=\"https:\u002F\u002Ftrendshift.io\u002Frepositories\u002F2246\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Ftrendshift.io\u002Fapi\u002Fbadge\u002Frepositories\u002F2246\" alt=\"PaddlePaddle%2FPaddleNLP | Trendshift\" style=\"width: 250px; height: 55px;\" width=\"250\" height=\"55\"\u002F>\u003C\u002Fa>\n\n## News 📢\n\n* **2025.04.29 PaddleNLP 现已支持 Qwen3 系列模型**: Qwen3 系列模型支持持两种思考模式，预训练约 36 万亿个 token、119 种语言和方言。包括六个 Dense 模型, Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B 和 Qwen3-0.6B。两个 MoE 模型的权重：Qwen3-235B-A22B，Qwen3-30B-A3B。\n\n* **2025.03.12 [PaddleNLP v3.0 Beta4](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Freleases\u002Ftag\u002Fv3.0.0-beta4)**：全面支持 DeepSeek V3\u002FR1\u002FR1-Distill, 及 QwQ-32B 等热门思考模型。**DeepSeek V3\u002FR1完整版支持 FP8、INT8、4-bit 量化推理，MTP 投机解码**。单机 FP8推理输出超**1000 tokens\u002Fs**; 4-bit 推理输出超**2100 tokens\u002Fs**! 发布新版推理部署镜像，热门模型[一键部署](https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fzh\u002Flatest\u002Fllm\u002Fserver\u002Fdocs\u002Fgeneral_model_inference.html)。推理部署[使用文档](https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fzh\u002Flatest\u002Fllm\u002Fdocs\u002Fpredict\u002Findex.html)全面更新，体验全面提升！自研下一代通用信息抽取模型 PP-UIE [全新发布](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fapplication\u002Finformation_extraction)，支持8K 长度信息抽取。新增大模型 Embedding 训练，支持 INF-CL 超大 batch size 训练。新增[MergeKit](https:\u002F\u002Fpaddlenlp.readthedocs.io\u002Fzh\u002Flatest\u002Fllm\u002Fdocs\u002Fmergekit.html)模型融合工具，缓解对齐代价。低资源训练全面优化，16G 小显存可以流畅训练。\n\n\n* **2025.02.10 PaddleNLP 现已支持 DeepSeek-R1系列模型，[在线使用](https:\u002F\u002Faistudio.baidu.com\u002Fprojectdetail\u002F8775758)**：依托全新的 PaddleNLP 3.0套件，DeepSeek-R1系列模型现已全面支持。凭借数据并行、数据分组切分并行、模型并行、流水线并行以及专家并行等一系列先进的分布式训练能力，结合 Paddle 框架独有的列稀疏注意力掩码表示技术——FlashMask 方法，DeepSeek-R1系列模型在训练过程中显著降低了显存消耗，同时取得了卓越的训练性能提升。\n\n\u003Cdetails>\u003Csummary> \u003Cb>点击展开\u003C\u002Fb> \u003C\u002Fsummary>\u003Cdiv>\n\n* **2025.03.17 《DeepSeek-R1满血版单机部署实测》** 🔥🔥🔥 飞桨框架3.0大模型推理部署全面升级，支持多款主流大模型，DeepSeek-R1满血版实现单机部署，吞吐提升一倍！欢迎广大用户开箱体验～现已开启有奖活动：完成 DeepSeek-R1-MTP 单机部署任务、提交高质量测评 blog，即可实时赢取奖金！💰💰💰\n报名[地址](https:\u002F\u002Fwww.wjx.top\u002Fvm\u002FOlzzmbG.aspx#)， 活动详情：https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fissues\u002F10166 ， 参考文档：https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fissues\u002F10157 。\n\n* **2025.03.06 PaddleNLP 现已支持 Qwen\u002FQwQ-32B 模型**: 其模型参数仅有 32B，但其数学推理、编程能力和通用能力可与具备 671B 参数（其中 37B 被激活）的 DeepSeek-R1 媲美。借助 PaddleNLP 3.0套件，现可实现多种并行策略[微调训练](.\u002Fllm\u002FREADME.md)、[高性能推理、低比特量化](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fqwen.md)和[服务化部署](.\u002Fllm\u002Fserver\u002FREADME.md)。\n\n* **2025.02.20 🔥🔥《PP-UIE 信息抽取智能引擎全新升级》** 强化零样本学习能力，支持极少甚至零标注数据实现高效冷启动与迁移学习，显著降低数据标注成本；具备处理长文本能力，支持 8192 个 Token 长度文档信息抽取，实现跨段落识别关键信息，形成完整理解；提供完整可定制化的训练和推理全流程，训练效率相较于 LLama-Factory 实现了1.8倍的提升。\n2月26日（周三）19：00为您深度解析全新 PP-UIE 技术方案及在部署方面的功能、优势与技巧。报名链接：https:\u002F\u002Fwww.wjx.top\u002Fvm\u002FmBKC6pb.aspx?udsid=606418\n\n* **2024.12.16 [PaddleNLP v3.0 Beta3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Freleases\u002Ftag\u002Fv3.0.0-beta3)**：大模型功能全新升级，新增了 Llama-3.2、DeepSeekV2模型，升级了 TokenizerFast，快速分词，重构了 SFTTrainer，一键开启 SFT 训练。此外，PaddleNLP 还支持了优化器状态的卸载和重载功能，实现了精细化的重新计算，训练性能提升7%。在 Unified Checkpoint 方面，进一步优化了异步保存逻辑，新增 Checkpoint 压缩功能，可节省78.5%存储空间。\n最后，在大模型推理方面，升级 Append Attention，支持了 FP8量化，支持投机解码。\n\n* **2024.12.13 📚《飞桨大模型套件 Unified Checkpoint 技术》**，加速模型存储95%，节省空间78%。支持全分布式策略调整自适应转换，提升模型训练的灵活性与可扩展性。训练-压缩-推理统一存储协议，无需手动转换提升全流程体验。Checkpoint 无损压缩结合异步保存，实现秒级存储并降低模型存储成本。适用于智能制造、指挥交通、医疗健康、金融服务等产业实际场景。12月24日（周二）19：00直播为您详细解读该技术如何优化大模型训练流程。报名链接：https:\u002F\u002Fwww.wjx.top\u002Fvm\u002FhuZkHn9.aspx?udsid=787976\n\n* **2024.11.28 📚《FlashRAG-Paddle | 基于 PaddleNLP 的高效开发与评测 RAG 框架》**，为文本更快更好构建准确嵌入表示、加速推理生成速度。PaddleNLP 支持超大 Batch 嵌入表示学习与多硬件高性能推理，涵盖 INT8\u002FINT4量化技术及多种高效注意力机制优化与 TensorCore 深度优化。内置全环节算子融合技术，使得 FlashRAG 推理性能相比 transformers 动态图提升70%以上，结合检索增强知识输出结果更加准确，带来敏捷高效的使用体验。直播时间：12月3日（周二）19：00。报名链接：https:\u002F\u002Fwww.wjx.top\u002Fvm\u002FeaBa1vA.aspx?udsid=682361\n\n* **2024.08.08 📚《飞桨产业级大语言模型开发利器 PaddleNLP 3.0 重磅发布》**，训压推全流程贯通，主流模型全覆盖。大模型自动并行，千亿模型训推全流程开箱即用。提供产业级高性能精调与对齐解决方案，压缩推理领先，多硬件适配。覆盖产业级智能助手、内容创作、知识问答、关键信息抽取等应用场景。直播时间：8月22日（周四）19：00。报名链接：https:\u002F\u002Fwww.wjx.top\u002Fvm\u002FY2f7FFY.aspx?udsid=143844\n\n* **2024.06.27 [PaddleNLP v3.0 Beta](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Freleases\u002Ftag\u002Fv3.0.0-beta0)**：拥抱大模型，体验全升级。统一大模型套件，实现国产计算芯片全流程接入；全面支持飞桨4D 并行配置、高效精调策略、高效对齐算法、高性能推理等大模型产业级应用流程；自研极致收敛的 RsLoRA+算法、自动扩缩容存储机制 Unified Checkpoint 和通用化支持的 FastFFN、FusedQKV 助力大模型训推；主流模型持续支持更新，提供高效解决方案。\n\n* **2024.04.24 [PaddleNLP v2.8](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Freleases\u002Ftag\u002Fv2.8.0)**：自研极致收敛的 RsLoRA+算法，大幅提升 PEFT 训练收敛速度以及训练效果；引入高性能生成加速到 RLHF PPO 算法，打破 PPO 训练中生成速度瓶颈，PPO 训练性能大幅领先。通用化支持 FastFFN、FusedQKV 等多个大模型训练性能优化方式，大模型训练更快、更稳定。\n\u003C\u002Fdiv>\u003C\u002Fdetails>\n\n## 特性\n\n### \u003Ca href=#多硬件训推一体> 🔧 多硬件训推一体 \u003C\u002Fa>\n\n支持英伟达 GPU、昆仑 XPU、昇腾 NPU、燧原 GCU 和海光 DCU 等多个硬件的大模型和自然语言理解模型训练和推理，套件接口支持硬件快速切换，大幅降低硬件切换研发成本。\n当前支持的自然语言理解模型：[多硬件自然语言理解模型列表](.\u002Fdocs\u002Fzh\u002Fmodel_zoo\u002Fmodel_list_multy_device.md)\n\n### \u003Ca href=#高效易用的预训练> 🚀 高效易用的预训练 \u003C\u002Fa>\n\n支持纯数据并行策略、分组参数切片的数据并行策略、张量模型并行策略和流水线模型并行策略的4D 高性能训练，Trainer 支持分布式策略配置化，降低复杂分布式组合带来的使用成本；\n[Unified Checkpoint 大模型存储工具](.\u002Fllm\u002Fdocs\u002Funified_checkpoint.md)可以使得训练断点支持机器资源动态扩缩容恢复。此外，异步保存，模型存储可加速95%，Checkpoint 压缩，可节省78.5%存储空间。\n\n### \u003Ca href=#高效精调> 🤗 高效精调 \u003C\u002Fa>\n\n精调算法深度结合零填充数据流和 [FlashMask](.\u002Fllm\u002Fdocs\u002Fflashmask.md) 高性能算子，降低训练无效数据填充和计算，大幅提升精调训练吞吐。\n\n### \u003Ca href=#无损压缩和高性能推理> 🎛️ 无损压缩和高性能推理 \u003C\u002Fa>\n\n大模型套件高性能推理模块内置动态插入和全环节算子融合策略，极大加快并行推理速度。底层实现细节封装化，实现开箱即用的高性能并行推理能力。\n\n## 文档\n更多详细文档, 请访问 [PaddleNLP Documentation](https:\u002F\u002Fpaddlenlp.readthedocs.io\u002F).\n\n------------------------------------------------------------------------------------------\n\n## 模型支持\n\n* 模型参数已支持 LLaMA 系列、Baichuan 系列、Bloom 系列、ChatGLM 系列、Gemma 系列、Mistral 系列、OPT 系列和 Qwen 系列，详细列表👉【LLM】模型参数支持列表如下：\n\n|                                                模型系列                                                 | 模型名称                                                                                                                                                                                                                                                                                                                                                                                      |\n|:-------------------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| [PP-UIE](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fapplication\u002Finformation_extraction) | paddlenlp\u002FPP-UIE-0.5B, paddlenlp\u002FPP-UIE-1.5B, paddlenlp\u002FPP-UIE-7B, paddlenlp\u002FPP-UIE-14B                                                                                                                                                                                                                                                                                                       |\n|            [LLaMA](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama)             | facebook\u002Fllama-7b, facebook\u002Fllama-13b, facebook\u002Fllama-30b, facebook\u002Fllama-65b                                                                                                                                                                                                                                                                                                                 |\n|            [Llama2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama)            | meta-llama\u002FLlama-2-7b, meta-llama\u002FLlama-2-7b-chat, meta-llama\u002FLlama-2-13b, meta-llama\u002FLlama-2-13b-chat, meta-llama\u002FLlama-2-70b, meta-llama\u002FLlama-2-70b-chat                                                                                                                                                                                                                                   |\n|            [Llama3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama)            | meta-llama\u002FMeta-Llama-3-8B, meta-llama\u002FMeta-Llama-3-8B-Instruct, meta-llama\u002FMeta-Llama-3-70B, meta-llama\u002FMeta-Llama-3-70B-Instruct                                                                                                                                                                                                                                                            |\n|           [Llama3.1](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama)           | meta-llama\u002FMeta-Llama-3.1-8B, meta-llama\u002FMeta-Llama-3.1-8B-Instruct, meta-llama\u002FMeta-Llama-3.1-70B, meta-llama\u002FMeta-Llama-3.1-70B-Instruct, meta-llama\u002FMeta-Llama-3.1-405B, meta-llama\u002FMeta-Llama-3.1-405B-Instruct, meta-llama\u002FLlama-Guard-3-8B                                                                                                                                              |\n|           [Llama3.2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama)           | meta-llama\u002FLlama-3.2-1B, meta-llama\u002FLlama-3.2-1B-Instruct, meta-llama\u002FLlama-3.2-3B, meta-llama\u002FLlama-3.2-3B-Instruct, meta-llama\u002FLlama-Guard-3-1B                                                                                                                                                                                                                                             |\n|           [Llama3.3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fllama)           | meta-llama\u002FLlama-3.3-70B-Instruct                                                                                                                                                                                                                                                                                                                                                             |\n|         [Baichuan](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fbaichuan)          | baichuan-inc\u002FBaichuan-7B, baichuan-inc\u002FBaichuan-13B-Base, baichuan-inc\u002FBaichuan-13B-Chat                                                                                                                                                                                                                                                                                                      |\n|         [Baichuan2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fbaichuan)         | baichuan-inc\u002FBaichuan2-7B-Base, baichuan-inc\u002FBaichuan2-7B-Chat, baichuan-inc\u002FBaichuan2-13B-Base, baichuan-inc\u002FBaichuan2-13B-Chat                                                                                                                                                                                                                                                              |\n|            [Bloom](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fbloom)             | bigscience\u002Fbloom-560m, bigscience\u002Fbloom-560m-bf16, bigscience\u002Fbloom-1b1, bigscience\u002Fbloom-3b, bigscience\u002Fbloom-7b1, bigscience\u002Fbloomz-560m, bigscience\u002Fbloomz-1b1, bigscience\u002Fbloomz-3b, bigscience\u002Fbloomz-7b1-mt, bigscience\u002Fbloomz-7b1-p3, bigscience\u002Fbloomz-7b1, bellegroup\u002Fbelle-7b-2m                                                                                                    |\n|          [ChatGLM](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fchatglm\u002F)          | THUDM\u002Fchatglm-6b, THUDM\u002Fchatglm-6b-v1.1                                                                                                                                                                                                                                                                                                                                                       |\n|         [ChatGLM2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fchatglm2)          | THUDM\u002Fchatglm2-6b                                                                                                                                                                                                                                                                                                                                                                             |\n|         [ChatGLM3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fchatglm2)          | THUDM\u002Fchatglm3-6b                                                                                                                                                                                                                                                                                                                                                                             |\n|       [DeepSeekV2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fblob\u002Fdevelop\u002Fllm\u002Fconfig\u002Fdeepseek-v2)       | deepseek-ai\u002FDeepSeek-V2, deepseek-ai\u002FDeepSeek-V2-Chat, deepseek-ai\u002FDeepSeek-V2-Lite, deepseek-ai\u002FDeepSeek-V2-Lite-Chat, deepseek-ai\u002FDeepSeek-Coder-V2-Base, deepseek-ai\u002FDeepSeek-Coder-V2-Instruct, deepseek-ai\u002FDeepSeek-Coder-V2-Lite-Base, deepseek-ai\u002FDeepSeek-Coder-V2-Lite-Instruct                                                                                                      |\n|       [DeepSeekV3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fblob\u002Fdevelop\u002Fllm\u002Fconfig\u002Fdeepseek-v2)       | deepseek-ai\u002FDeepSeek-V3, deepseek-ai\u002FDeepSeek-V3-Base                                                                                                                                                                                                                                                                                                                                         |\n|      [DeepSeek-R1](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Fblob\u002Fdevelop\u002Fllm\u002Fconfig\u002Fdeepseek-v2)       | deepseek-ai\u002FDeepSeek-R1, deepseek-ai\u002FDeepSeek-R1-Zero, deepseek-ai\u002FDeepSeek-R1-Distill-Llama-70B, deepseek-ai\u002FDeepSeek-R1-Distill-Llama-8B, deepseek-ai\u002FDeepSeek-R1-Distill-Qwen-14B, deepseek-ai\u002FDeepSeek-R1-Distill-Qwen-1.5B, deepseek-ai\u002FDeepSeek-R1-Distill-Qwen-32B, deepseek-ai\u002FDeepSeek-R1-Distill-Qwen-7B                                                                            |\n|            [Gemma](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fgemma)             | google\u002Fgemma-7b, google\u002Fgemma-7b-it, google\u002Fgemma-2b, google\u002Fgemma-2b-it                                                                                                                                                                                                                                                                                                                      |\n|          [Mistral](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fmistral)           | mistralai\u002FMistral-7B-Instruct-v0.3, mistralai\u002FMistral-7B-v0.1                                                                                                                                                                                                                                                                                                                                 |\n|          [Mixtral](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fmixtral)           | mistralai\u002FMixtral-8x7B-Instruct-v0.1                                                                                                                                                                                                                                                                                                                                                          |\n|              [OPT](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fopt)               | facebook\u002Fopt-125m, facebook\u002Fopt-350m, facebook\u002Fopt-1.3b, facebook\u002Fopt-2.7b, facebook\u002Fopt-6.7b, facebook\u002Fopt-13b, facebook\u002Fopt-30b, facebook\u002Fopt-66b, facebook\u002Fopt-iml-1.3b, opt-iml-max-1.3b                                                                                                                                                                                                  |\n|             [Qwen](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F)             | qwen\u002Fqwen-7b, qwen\u002Fqwen-7b-chat, qwen\u002Fqwen-14b, qwen\u002Fqwen-14b-chat, qwen\u002Fqwen-72b, qwen\u002Fqwen-72b-chat,                                                                                                                                                                                                                                                                                        |\n|           [Qwen1.5](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F)            | Qwen\u002FQwen1.5-0.5B, Qwen\u002FQwen1.5-0.5B-Chat, Qwen\u002FQwen1.5-1.8B, Qwen\u002FQwen1.5-1.8B-Chat, Qwen\u002FQwen1.5-4B, Qwen\u002FQwen1.5-4B-Chat, Qwen\u002FQwen1.5-7B, Qwen\u002FQwen1.5-7B-Chat, Qwen\u002FQwen1.5-14B, Qwen\u002FQwen1.5-14B-Chat, Qwen\u002FQwen1.5-32B, Qwen\u002FQwen1.5-32B-Chat, Qwen\u002FQwen1.5-72B, Qwen\u002FQwen1.5-72B-Chat, Qwen\u002FQwen1.5-110B, Qwen\u002FQwen1.5-110B-Chat, Qwen\u002FQwen1.5-MoE-A2.7B, Qwen\u002FQwen1.5-MoE-A2.7B-Chat |\n|            [Qwen2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F)             | Qwen\u002FQwen2-0.5B, Qwen\u002FQwen2-0.5B-Instruct, Qwen\u002FQwen2-1.5B, Qwen\u002FQwen2-1.5B-Instruct, Qwen\u002FQwen2-7B, Qwen\u002FQwen2-7B-Instruct, Qwen\u002FQwen2-72B, Qwen\u002FQwen2-72B-Instruct, Qwen\u002FQwen2-57B-A14B, Qwen\u002FQwen2-57B-A14B-Instruct                                                                                                                                                                       |\n|          [Qwen2-Math](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F)          | Qwen\u002FQwen2-Math-1.5B, Qwen\u002FQwen2-Math-1.5B-Instruct, Qwen\u002FQwen2-Math-7B, Qwen\u002FQwen2-Math-7B-Instruct, Qwen\u002FQwen2-Math-72B, Qwen\u002FQwen2-Math-72B-Instruct, Qwen\u002FQwen2-Math-RM-72B                                                                                                                                                                                                               |\n|           [Qwen2.5](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F)            | Qwen\u002FQwen2.5-0.5B, Qwen\u002FQwen2.5-0.5B-Instruct, Qwen\u002FQwen2.5-1.5B, Qwen\u002FQwen2.5-1.5B-Instruct, Qwen\u002FQwen2.5-3B, Qwen\u002FQwen2.5-3B-Instruct, Qwen\u002FQwen2.5-7B, Qwen\u002FQwen2.5-7B-Instruct, Qwen\u002FQwen2.5-7B-Instruct-1M, Qwen\u002FQwen2.5-14B, Qwen\u002FQwen2.5-14B-Instruct, Qwen\u002FQwen2.5-14B-Instruct-1M, Qwen\u002FQwen2.5-32B, Qwen\u002FQwen2.5-32B-Instruct, Qwen\u002FQwen2.5-72B, Qwen\u002FQwen2.5-72B-Instruct          |\n|         [Qwen2.5-Math](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F)         | Qwen\u002FQwen2.5-Math-1.5B, Qwen\u002FQwen2.5-Math-1.5B-Instruct, Qwen\u002FQwen2.5-Math-7B, Qwen\u002FQwen2.5-Math-7B-Instruct, Qwen\u002FQwen2.5-Math-72B, Qwen\u002FQwen2.5-Math-72B-Instruct, Qwen\u002FQwen2.5-Math-RM-72B                                                                                                                                                                                                 |\n|        [Qwen2.5-Coder](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F)         | Qwen\u002FQwen2.5-Coder-1.5B, Qwen\u002FQwen2.5-Coder-1.5B-Instruct, Qwen\u002FQwen2.5-Coder-7B, Qwen\u002FQwen2.5-Coder-7B-Instruct                                                                                                                                                                                                                                                                              |\n|           [Qwen3](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F)              | Qwen\u002FQwen3-0.6B, Qwen\u002FQwen3-1.7B, Qwen\u002FQwen3-4B, Qwen\u002FQwen3-8B, Qwen\u002FQwen3-14B, Qwen\u002FQwen3-32B, Qwen\u002FQwen3-30B-A3B, Qwen\u002FQwen3-235B-A22B, Qwen\u002FQwen3-0.6B-Base, Qwen\u002FQwen3-1.7B-Base, Qwen\u002FQwen3-4B-Base, Qwen\u002FQwen3-8B-Base, Qwen\u002FQwen3-14B-Base, Qwen\u002FQwen3-30B-A3B-Base                                                                                                                    |\n|             [QwQ](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fqwen\u002F)              | Qwen\u002FQwQ-32B, Qwen\u002FQwQ-32B-Preview                                                                                                                                                                                                                                                                                                                                                            |\n|            [Yuan2](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP\u002Ftree\u002Fdevelop\u002Fllm\u002Fconfig\u002Fyuan\u002F)             | IEITYuan\u002FYuan2-2B, IEITYuan\u002FYuan2-51B, IEITYuan\u002FYuan2-102B                                                                                                                                                                                                                                                                                                                                    |\n\n* 4D 并行和算子优化已支持 LLaMA 系列、Baichuan 系列、Bloom 系列、ChatGLM 系列、Gemma 系列、Mistral 系列、OPT 系列和 Qwen 系列，【LLM】模型4D 并行和算子支持列表如下：\n\n| 模型名称\u002F并行能力支持 | 数据并行 | 张量模型并行 |          | 参数分片并行 |        |        | 流水线并行 |\n|:---------------------:|:--------:|:------------:|:--------:|:------------:|:------:|:------:|:----------:|\n|                       |          |   基础能力   | 序列并行 |    stage1    | stage2 | stage3 |            |\n|         Llama         |    ✅     |      ✅       |    ✅     |      ✅       |   ✅    |   ✅    |     ✅      |\n|         Qwen          |    ✅     |      ✅       |    ✅     |      ✅       |   ✅    |   ✅    |     ✅      |\n|        Qwen1.5        |    ✅     |      ✅       |    ✅     |      ✅       |   ✅    |   ✅    |     ✅      |\n|         Qwen2         |    ✅     |      ✅       |    ✅     |      ✅       |   ✅    |   ✅    |     ✅      |\n|     Mixtral(moe)      |    ✅     |      ✅       |    ✅     |      ✅       |   ✅    |   ✅    |     🚧     |\n|        Mistral        |    ✅     |      ✅       |    🚧    |      ✅       |   ✅    |   ✅    |     🚧     |\n|       Baichuan        |    ✅     |      ✅       |    ✅     |      ✅       |   ✅    |   ✅    |     ✅      |\n|       Baichuan2       |    ✅     |      ✅       |    ✅     |      ✅       |   ✅    |   ✅    |     ✅      |\n|        ChatGLM        |    ✅     |      ✅       |    🚧    |      ✅       |   ✅    |   ✅    |     🚧     |\n|       ChatGLM2        |    ✅     |      🚧      |    🚧    |      ✅       |   ✅    |   ✅    |     🚧     |\n|       ChatGLM3        |    ✅     |      🚧      |    🚧    |      ✅       |   ✅    |   ✅    |     🚧     |\n|         Bloom         |    ✅     |      ✅       |    🚧    |      ✅       |   ✅    |   ✅    |     🚧     |\n|      GPT-2\u002FGPT-3      |    ✅     |      ✅       |    ✅     |      ✅       |   ✅    |   ✅    |     ✅      |\n|          OPT          |    ✅     |      ✅       |    🚧    |      ✅       |   ✅    |   ✅    |     🚧     |\n|         Gemma         |    ✅     |      ✅       |    ✅     |      ✅       |   ✅    |   ✅    |     ✅      |\n|         Yuan2         |    ✅     |      ✅       |    ✅     |      ✅       |   ✅    |   ✅    |     🚧     |\n\n* 大模型预训练、精调（包含 SFT、PEFT 技术）、对齐、量化已支持 LLaMA 系列、Baichuan 系列、Bloom 系列、ChatGLM 系列、Mistral 系列、OPT 系列和 Qwen 系列，【LLM】模型预训练、精调、对齐、量化支持列表如下：\n\n\n| Model                                      | Pretrain | SFT | LoRA | FlashMask | Prefix Tuning | DPO\u002FSimPO\u002FORPO\u002FKTO | RLHF | Mergekit | Quantization |\n|--------------------------------------------|:--------:|:---:|:----:|:---------:|:-------------:|:------------------:|:----:|:--------:|:------------:|\n| [Llama](.\u002Fllm\u002Fconfig\u002Fllama)                |    ✅     |  ✅  |  ✅   |     ✅     |       ✅       |         ✅          |  ✅   |    ✅     |      ✅       |\n| [Qwen](.\u002Fllm\u002Fconfig\u002Fqwen)                  |    ✅     |  ✅  |  ✅   |     ✅     |       ✅       |         ✅          |  🚧  |    ✅     |      🚧      |\n| [Mixtral](.\u002Fllm\u002Fconfig\u002Fmixtral)            |    ✅     |  ✅  |  ✅   |    🚧     |      🚧       |         ✅          |  🚧  |    ✅     |      🚧      |\n| [Mistral](.\u002Fllm\u002Fconfig\u002Fmistral)            |    ✅     |  ✅  |  ✅   |    🚧     |       ✅       |         ✅          |  🚧  |    ✅     |      🚧      |\n| [Baichuan\u002FBaichuan2](.\u002Fllm\u002Fconfig\u002Fllama)   |    ✅     |  ✅  |  ✅   |     ✅     |       ✅       |         ✅          |  🚧  |    ✅     |      ✅       |\n| [ChatGLM-6B](.\u002Fllm\u002Fconfig\u002Fchatglm)         |    ✅     |  ✅  |  ✅   |    🚧     |       ✅       |         🚧         |  🚧  |    ✅     |      ✅       |\n| [ChatGLM2\u002FChatGLM3](.\u002Fllm\u002Fconfig\u002Fchatglm2) |    ✅     |  ✅  |  ✅   |    🚧     |       ✅       |         ✅          |  🚧  |    ✅     |      ✅       |\n| [Bloom](.\u002Fllm\u002Fconfig\u002Fbloom)                |    ✅     |  ✅  |  ✅   |    🚧     |       ✅       |         🚧         |  🚧  |    ✅     |      ✅       |\n| [GPT-3](.\u002Fllm\u002Fconfig\u002Fgpt-3)                |    ✅     |  ✅  |  🚧  |    🚧     |      🚧       |         🚧         |  🚧  |    ✅     |      🚧      |\n| [OPT](.\u002Fllm\u002Fconfig\u002Fopt)                    |    ✅     |  ✅  |  ✅   |    🚧     |      🚧       |         🚧         |  🚧  |    ✅     |      🚧      |\n| [Gemma](.\u002Fllm\u002Fconfig\u002Fgemma)                |    ✅     |  ✅  |  ✅   |    🚧     |      🚧       |         ✅          |  🚧  |    ✅     |      🚧      |\n| [Yuan](.\u002Fllm\u002Fconfig\u002Fyuan)                  |    ✅     |  ✅  |  ✅   |    🚧     |      🚧       |         ✅          |  🚧  |    ✅     |      🚧      |\n* [大模型推理](.\u002Fllm\u002Fdocs\u002Fpredict\u002Finference.md)已支持 LLaMA 系列、Qwen 系列、DeepSeek 系列、Mistral 系列、ChatGLM 系列、Bloom 系列和 Baichuan 系列，支持 Weight Only INT8及 INT4推理，支持 WAC（权重、激活、Cache KV）进行 INT8、FP8量化的推理，【LLM】模型推理支持列表如下：\n\n|           模型名称\u002F量化类型支持            | FP16\u002FBF16 | WINT8 | WINT4 | INT8-A8W8 | FP8-A8W8 | INT8-A8W8C8 |\n|:------------------------------------------:|:---------:|:-----:|:-----:|:---------:|:--------:|:-----------:|\n|    [LLaMA](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fllama.md)    |     ✅     |   ✅   |   ✅   |     ✅     |    ✅     |      ✅      |\n|     [Qwen](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fqwen.md)     |     ✅     |   ✅   |   ✅   |     ✅     |    ✅     |      ✅      |\n| [DeepSeek](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fdeepseek.md) |     ✅     |   ✅   |   ✅   |    🚧     |    ✅     |     🚧      |\n|   [Qwen-Moe](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fqwen.md)   |     ✅     |   ✅   |   ✅   |    🚧     |    🚧    |     🚧      |\n|  [Mixtral](.\u002Fllm\u002Fdocs\u002Fpredict\u002Fmixtral.md)  |     ✅     |   ✅   |   ✅   |    🚧     |    🚧    |     🚧      |\n|                  ChatGLM                   |     ✅     |   ✅   |   ✅   |    🚧     |    🚧    |     🚧      |\n|                   Bloom                    |     ✅     |   ✅   |   ✅   |    🚧     |    🚧    |     🚧      |\n|                  BaiChuan                  |     ✅     |   ✅   |   ✅   |     ✅     |    ✅     |     🚧      |\n\n## 安装\n\n### 环境依赖\n\n* python >= 3.8\n* paddlepaddle >= 3.0.0rc1\n\n如果您尚未安装 PaddlePaddle，请参考 [飞桨官网](https:\u002F\u002Fwww.paddlepaddle.org.cn\u002F) 进行安装。\n\n### pip 安装\n\n```shell\npip install --upgrade paddlenlp==3.0.0b4\n```\n\n或者可通过以下命令安装最新 develop 分支代码：\n\n```shell\npip install --pre --upgrade paddlenlp -f https:\u002F\u002Fwww.paddlepaddle.org.cn\u002Fwhl\u002Fpaddlenlp.html\n```\n\n更多关于 PaddlePaddle 和 PaddleNLP 安装的详细教程请查看[Installation](.\u002Fdocs\u002Fzh\u002Fget_started\u002Finstallation.rst)。\n\n------------------------------------------------------------------------------------------\n\n## 快速开始\n\n### 大模型文本生成\n\nPaddleNLP 提供了方便易用的 Auto API，能够快速的加载模型和 Tokenizer。这里以使用 `Qwen\u002FQwen2-0.5B` 模型做文本生成为例：\n\n```python\nfrom paddlenlp.transformers import AutoTokenizer, AutoModelForCausalLM\ntokenizer = AutoTokenizer.from_pretrained(\"Qwen\u002FQwen2-0.5B\")\n# if using CPU, please change float16 to float32\nmodel = AutoModelForCausalLM.from_pretrained(\"Qwen\u002FQwen2-0.5B\", dtype=\"float16\")\ninput_features = tokenizer(\"你好！请自我介绍一下。\", return_tensors=\"pd\")\noutputs = model.generate(**input_features, max_new_tokens=128)\nprint(tokenizer.batch_decode(outputs[0], skip_special_tokens=True))\n# ['我是一个AI语言模型，我可以回答各种问题，包括但不限于：天气、新闻、历史、文化、科学、教育、娱乐等。请问您有什么需要了解的吗？']\n```\n\n### 大模型预训练\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP.git && cd PaddleNLP # 如已clone或下载PaddleNLP可跳过\nmkdir -p llm\u002Fdata && cd llm\u002Fdata\nwget https:\u002F\u002Fbj.bcebos.com\u002Fpaddlenlp\u002Fmodels\u002Ftransformers\u002Fllama\u002Fdata\u002Fllama_openwebtext_100k.bin\nwget https:\u002F\u002Fbj.bcebos.com\u002Fpaddlenlp\u002Fmodels\u002Ftransformers\u002Fllama\u002Fdata\u002Fllama_openwebtext_100k.idx\ncd .. # change folder to PaddleNLP\u002Fllm\n# 如需使用use_fused_rms_norm=true，需要前往slm\u002Fmodel_zoo\u002Fgpt-3\u002Fexternal_ops安装fused_ln\npython -u run_pretrain.py .\u002Fconfig\u002Fqwen\u002Fpretrain_argument_0p5b.json\n```\n\n### 大模型 SFT 精调\n\n```shell\ngit clone https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP.git && cd PaddleNLP # 如已clone或下载PaddleNLP可跳过\nmkdir -p llm\u002Fdata && cd llm\u002Fdata\nwget https:\u002F\u002Fbj.bcebos.com\u002Fpaddlenlp\u002Fdatasets\u002Fexamples\u002FAdvertiseGen.tar.gz && tar -zxvf AdvertiseGen.tar.gz\ncd .. # change folder to PaddleNLP\u002Fllm\npython -u run_finetune.py .\u002Fconfig\u002Fqwen\u002Fsft_argument_0p5b.json\n```\n\n更多大模型全流程步骤，请参考[飞桨大模型套件](.\u002Fllm)介绍。\n另外我们还提供了快速微调方式, 无需 clone 源代码：\n\n```python\nfrom paddlenlp.trl import SFTConfig, SFTTrainer\nfrom datasets import load_dataset\n\ndataset = load_dataset(\"ZHUI\u002Falpaca_demo\", split=\"train\")\n\ntraining_args = SFTConfig(output_dir=\"Qwen\u002FQwen2.5-0.5B-SFT\", device=\"gpu\")\ntrainer = SFTTrainer(\n    args=training_args,\n    model=\"Qwen\u002FQwen2.5-0.5B-Instruct\",\n    train_dataset=dataset,\n)\ntrainer.train()\n```\n\n更多 PaddleNLP 内容可参考：\n\n* [精选模型库](.\u002Fslm\u002Fmodel_zoo)，包含优质预训练模型的端到端全流程使用。\n* [多场景示例](.\u002Fslm\u002Fexamples)，了解如何使用 PaddleNLP 解决 NLP 多种技术问题，包含基础技术、系统应用与拓展应用。\n* [交互式教程](https:\u002F\u002Faistudio.baidu.com\u002Faistudio\u002Fpersonalcenter\u002Fthirdview\u002F574995)，在🆓免费算力平台 AI Studio 上快速学习 PaddleNLP。\n\n------------------------------------------------------------------------------------------\n\n## 社区交流\n\n* 微信扫描二维码并填写问卷，即可加入交流群与众多社区开发者以及官方团队深度交流.\n\n\u003Cdiv align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F3a58cc9f-69c7-4ccb-b6f5-73e966b8051a\" width=\"150\" height=\"150\" \u002F>\n\u003C\u002Fdiv>\n\n## Citation\n\n如果 PaddleNLP 对您的研究有帮助，欢迎引用\n\n```bibtex\n@misc{=paddlenlp,\n    title={PaddleNLP: An Easy-to-use and High Performance NLP Library},\n    author={PaddleNLP Contributors},\n    howpublished = {\\url{https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FPaddleNLP}},\n    year={2021}\n}\n```\n\n## Acknowledge\n\n我们借鉴了 Hugging Face 的[Transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)🤗关于预训练模型使用的优秀设计，在此对 Hugging Face 作者及其开源社区表示感谢。\n\n## License\n\nPaddleNLP 遵循[Apache-2.0开源协议](.\u002FLICENSE)。\n","PaddleNLP 是一个基于飞桨深度学习框架的易用且强大的大语言模型（LLM）和序列模型库，内置丰富的预训练模型。该项目支持多种硬件上的高效训练、无损压缩及高性能推理，具备简单易用和极致性能的特点。它支持BERT、ERNIE、LLaMA等主流模型，并提供了信息抽取、情感分析、语义搜索等功能。适用于需要快速构建NLP应用的场景，如智能客服、文档理解、搜索引擎优化等。","2026-06-11 03:35:05","high_star"]