[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"project-72556":3},{"id":4,"name":5,"fullName":6,"owner":7,"repo":5,"description":8,"homepage":9,"htmlUrl":10,"language":11,"languages":10,"totalLinesOfCode":10,"stars":12,"forks":13,"watchers":14,"openIssues":14,"contributorsCount":15,"subscribersCount":15,"size":15,"stars1d":16,"stars7d":17,"stars30d":18,"stars90d":15,"forks30d":15,"starsTrendScore":19,"compositeScore":20,"rankGlobal":10,"rankLanguage":10,"license":21,"archived":22,"fork":22,"defaultBranch":23,"hasWiki":24,"hasPages":22,"topics":25,"createdAt":10,"pushedAt":10,"updatedAt":26,"readmeContent":27,"aiSummary":28,"trendingCount":15,"starSnapshotCount":15,"syncStatus":29,"lastSyncTime":30,"discoverSource":31},72556,"cube-studio","data-infra\u002Fcube-studio","data-infra","cube studio开源云原生一站式机器学习\u002F深度学习\u002F大模型AI平台\u002FMaaS\u002Fmlops\u002F人工智能平台\u002F训推平台，算法全链路流程，多租户，算力租赁平台，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务，VGPU虚拟化，云边端协同，边缘计算，自动化标注平台，deepseek等大模型sft微调\u002F奖励模型\u002F强化学习训练，vllm\u002Follama\u002Fmindie大模型多机推理，私有知识库llmops智能体，AI模型市场，支持国产异构算力调度,昇腾\u002F寒武纪\u002F海光\u002F摩尔\u002F沐曦等，支持ib\u002Froce\u002FRDMA，信创支持","",null,"Python",2236,174,23,0,13,33,59,39,101.13,"Other",false,"main",true,[],"2026-06-12 04:01:06","# 同步更新旧仓库 [tencent\u002Fcube-studio](https:\u002F\u002Fgithub.com\u002Ftencentmusic\u002Fcube-studio)\n\n# Cube Studio\n\n[English](README_EN.md) | 简体中文\n\n### 整体架构\n\n![image](https:\u002F\u002Fgithub.com\u002Ftencentmusic\u002Fcube-studio\u002Fassets\u002F20157705\u002Fa07b1742-3413-4957-bd15-0f2b3c30f66f)\n\n\n# 帮助文档\n\nhttps:\u002F\u002Fgithub.com\u002Fdata-infra\u002Fcube-studio\u002Fwiki\n\n# 开源共建\n\n 学习、部署、体验、开源建设、商业合作 欢迎来撩。或添加微信luanpeng1234，备注\u003C开源建设>\n\n \u003Cimg border=\"0\" width=\"20%\" src=\"https:\u002F\u002Fuser-images.githubusercontent.com\u002F20157705\u002F219829986-66384e34-7ae9-4511-af67-771c9bbe91ce.jpg\" \u002F>\n \n\n# 公司\n\n![图片 1](https:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F83064556-d9c2-4adb-a796-018883ed427b)\n\n\n# 功能清单\n\ncube studio是 开源一站式云原生机器学习平台，目前主要包含\n\n|模块分组|功能模块| 功能清单 |\n|:-|:--|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n|基础能力|项目组管理| \u003Cli>AI平台需要通过项目划分，\u003Cli>支持配置相应项目组用户的权限，\u003Cli>任务\u002F服务的挂载，资源组，集群，服务代理，\u003Cli>\u003Cu>项目组内角色应用 |\n|基础能力|网络| \u003Cli>支持非80端口，\u003Cli>支持公网\u002F域名，\u003Cli>支持反向代理和内网穿透方式访问，\u003Cli>\u003Cu>支持https\u003C\u002Fu> |\n|基础能力|用户管理 角色管理\u002F权限管理| \u003Cli>管理平台用户的基本信息，组织架构，支持账号密码，rbac权限体系。\u003Cli> \u003Cu>增加修改和删除，清理等操作的历史记录\u003C\u002Fu> |\n|基础能力|计量计费功能| \u003Cu>\u003Cli>1、支持平台资源限制的分配和查看；项目组资源限制，租户资源限制、任务资源限制，项目组下个人的资源限制，包括开发资源，训练资源、推理资源等。   额度限制限制在notebook，docker构建，pipeline，超参搜索，内部服务，推理服务中的生效。限制支持单任务，并行任务总和和历史任务总和等方法\u003Cli>2、提供统一的开发、训练、推理服务资源监控，从租户、项目、任务角度分析模型资源分配及使用情况。\u003Cli> 3、支持自定义计费模式，通过计量结果自定义获取计费值\u003C\u002Fu> |\n|基础能力|SSO单点登录| \u003Cli>账号密码注册自动登录，\u003Cli>\u003Cu>支持对接公司账号体系AUTH_OID\u002FAUTH_LDAP\u002FAUTH_REMOTE_USER等登录注册方式，\u003Cli>\u003Cu>支持消息推送。 \u003Cli>\u003Cu>增加登录验证，强密码，远程用户，登录频率限制，密码密文传输等 |\n|基础能力|支持多种算力| \u003Cli>提供多种规格的资源支持不同的使用场景，cpu\u002Fgpu等 支持T4\u002FV100\u002FA100等多种卡型，\u003Cli>\u003Cu>支持arm64芯片，\u003Cli>\u003Cu>支持vgpu等模式。\u003Cli>\u003Cu>支持国产gpu，支持调度海光dcu，华为npu，寒武纪mlu，天数智芯GPU，\u003Cli>\u003Cu>支持rdma调度，mellanox。\u003Cli>\u003Cu>支持gpu禁用模型，共享模式，独占模式 |\n|基础能力|多资源组\u002F多集群| \u003Cli>支持划分多资源组，\u003Cli>支持ipvs的k8s网络模式，\u003Cli>\u003Cu>支持多k8s集群，\u003Cli>支持containerd容器运行态 |\n|基础能力|边缘集群| \u003Cli>\u003Cu>支持边缘集群模式，支持边缘节点开发，训练，推理 |\n|基础能力|serverless集群模式| \u003Cli>\u003Cu>支持腾讯云serverless集群模式，（notebook,pipeline,推理服务模块支持）\u003Cli>\u003Cu>阿里云serverless集群模式（notebook,pipeline,推理服务模块支持） |\n|基础能力|数据库存储| \u003Cli>支持外部mysql作为元数据库\u003Cli>\u003Cu>支持外部postgres作为元数据库 |\n|基础能力|机器资源管理| \u003Cli>\u003Cu>web界面控制机器调度类型，所属资源组，是否启动rdma，是否启动vgpu，可用任务场景等 |\n|基础能力|存储盘管理| \u003Cli>\u003Cu>支持web界面添加存储盘，支持项目组绑定，notebook pipeline 推理服务，直接在pod中挂载外部分布式存储。\u003Cli>\u003Cu>支持nfs，cfs，oss，nas，cos，glusterfs，cephfs，s3\u002Fminio |\n|基础能力|国际化能力| \u003Cli>\u003Cu>mlops支持配置多语言配置，目前支持中英文 |\n|数据管理|数据地图| \u003Cli>元数据库表管理，指标，维表 |\n|数据管理|数据计算| \u003Cli>sqllab交互查询，支持mysql，\u003Cu>postgresql，clickhouse，hive，presto\u003C\u002Fu>等计算引擎 |\n|数据管理|ETL编排| \u003Cli>数据ETL任务流编排，任务管理等对接公司数据中台相应计算\u002F调度引擎 |\n|数据管理|数据集管理| \u003Cli>允许用户随时上传样本集（图片、音频、文本等），\u003Cli>\u003Cu>支持sdk进行数据集对接，\u003Cli>\u003Cu>支持数据集一键探索功能 |\n|数据管理|数据标注| \u003Cli>\u003Cu>支持标注平台，图\u002F文\u002F音\u002F多模态各类型标注能力，\u003Cli>\u003Cu>对接一站式机器学习平台，支持自动化标注(需购买aihub)：\u003Cli>\u003Cu>支持目标识别，目标边界识别，目标遮罩识别，图片分类，图片描述，ocr，关键点检测。支持大模型自动化标注：文本分类，文本翻译，命名实体识别，阅读理解，问答，摘要提取。 |\n|开发环境|镜像功能| \u003Cli>镜像仓库\u002F镜像管理\u002F在线构建镜像。同时提供平台所有镜像，包括模板镜像\u002F服务镜像\u002Fnotebook镜像\u002Fgpu基础环境的构建方法和构建后镜像，\u003Cli>\u003Cu>支持dockerfile在线构建 \u003Cli>\u003Cu>支持同一仓库多个秘钥配置 |\n|开发环境|notebook| \u003Cli>支持基于开源的Jupyterlab\u002Fvscode，提供在线的交互式开发调试工具；\u003Cli>提供多种可选环境ide和开发示例，支持资源类型选择 支持大数据版本，机器学习版本，深度学习版本 \u003Cli>\u003Cu>大数据版本支持用户信息，hdfs客户端，hive客户端和spark客户端 \u003Cli>支持ssh remote与notebook对接远程开发，方便快速将本地代码提交到平台的训练环境。\u003Cli>\u003Cu>ssh隧道代理，单端口开放 \u003Cli>\u003Cu>支持matlab，Rstudio等在线ide \u003Cli>\u003Cu>支持gpu，cpu，内存，监控，支持git交互 \u003Cli>\u003Cu>支持自定义notebook镜像，便于封装公司自己的notebook \u003Cli>\u003Cu>多环境notebook，支持R语言\u002Fjulia语言\u002Fpython2.7\u002Fpython3.6\u002Fpython3.7\u002Fpython3.8\u002Fpython3.9\u002Fpython3.10环境和cube-studio专有环境 \u003Cli>\u003Cu>支持tensorboard任务可视化 \u003Cli>\u003Cu>notebook支持环境镜像保存 \u003Cli>\u003Cu>jupyter支持密码保护 \u003Cli>\u003Cu>notebook支持整卡占用，虚拟卡占用，gpu共享占用 \u003Cli>支持notebook启动自动初始化环境 |\n|模型训练|拖拉拽任务流编排调试| \u003Cli>提供拖拽式交互开发环境，支持开发者以拖拽的方式完成业务逻辑的PIPLINE； \u003Cli>支持单任务调试，\u003Cli>训练支持多种资源规格（CPU、GPU等），支持卡型的选择，超时重试等。\u003Cli>\u003Cu>任务支持独占和共享占用gpu\u003C\u002Fu>\u003C\u002Fli>\u003Cli>\u003Cu>分布式任务模板支持单任务调试用户镜像而非模板镜像\u003C\u002Fu> \u003Cli>\u003Cu>支持rdma资源占用 \u003Cli>\u003Cu>支持gpu不同厂商，不同卡型的占用 \u003Cli>\u003Cu>分布式任务模板支持gpu型号透传，rdma资源透传，拉取秘钥透传 \u003C\u002Fu>\u003Cli>pipeline调试，支持定时调度，补录，并发限制，超时，实例依赖等，\u003Cli>任务管理，\u003Cli>workflow实例管理，\u003Cli>资源监控，\u003Cli>\u003Cu>支持任务输入输出，\u003Cli>\u003Cu>任务流全局变量，\u003Cli>\u003Cu>文本\u002F图片\u002Fechart结果可视化，\u003Cli>\u003Cu>支持workflow暂停和恢复。\u003Cli>\u003Cu>支持任务流优先级 \u003Cli>\u003Cu>支持单任务和pipeline运行中任务监听端口提供运行中服务监听能力 \u003Cli>\u003Cu>任务流支持任务推荐\u003Cli>\u003Cu>定时调度支持最大保留实例数\u003Cli>\u003Cu>pipeline支持任务流优先级 |\n|模型训练|主流功能算子| 基础算子：\u003Cli>自定义镜像，\u003Cli>\u003Cu>逻辑节点，\u003C\u002Fu>\u003Cli>\u003Cu>python\u003C\u002Fu>\u003C\u002Fli> 数据同步：\u003Cli>数据集导入，\u003Cu>(支持huggingface数据集)\u003C\u002Fu>\u003Cli>datax，\u003Cu>datax-import\u003C\u002Fu>\u003C\u002Fli>\u003Cli>模型导入\u003Cu>(支持huggingface模型)\u003C\u002Fu>\u003C\u002Fli> 数据处理工具：\u003Cli>hadoop\u002Fspark作业提交，\u003Cli>volcanojob\u002Fray分布式数据处理，\u003Cli>sparkjob \u003C\u002Fli> \u003Cli>\u003Cu>hadoop支持hadfs，hive命令，spark命令\u003C\u002Fu>\u003C\u002Fli> 特征处理： \u003Cu>\u003Cli>-数据合并，包含union、join操作 \u003Cli>-去除重复样本 \u003Cli>-数据变换，包括boxcox转换、二值化、数据类型转换、dct变换、根据函数转换、ma移动平均、多项式展开 \u003Cli>-非数值型变量处理，包括hash、根据统计量转换、one-hot \u003Cli>-异常值检测 \u003Cli>-获取变量的统计量 \u003Cli>-去除值过于单一的变量 \u003Cli>-删除缺失率过高的值 \u003Cli>-删除缺失率过高的值 \u003Cli>-填充缺失值 \u003Cli>-数据离散化，等宽、等频、聚类离散化 \u003Cli> -标准化、正则化、归一化，有最大绝对值归一化、最大最小归一化、z_score标准化 \u003Cli>-索引处理，包含增加索引、索引转列、列索引重命名 \u003Cli> -排序 \u003Cli> -执行sql \u003Cli> -hadamard乘积 \u003Cli> -特征组合，用于衍生特征 \u003Cli> -降维，包括pca降维和卡方降维 \u003Cli> -特征重要性，通过随机森林、逻辑回归、xgboost等模型计算特征重要性，可计算特征的iv值、互信息值、方差等 \u003Cli> -特征向量间的相关性计算 \u003Cli> -数据拆分，包括列内拆分、列间拆分、行间拆分、svd奇异值分解 \u003Cli> -采样，包括随机采样、分层采样、过采样、欠采样\u003C\u002Fli>\u003C\u002Fu> 传统机器学习：\u003Cli>ray-sklearn分布式，\u003Cli>xgb单机训练推理 \u003C\u002Fli>传统机器学习算法：\u003Cu>\u003Cli>ar\u002Farima时间序列算法\u002Frandom-forest\u002Frandom-forest-regression\u002Flr\u002Flightgbm\u002Fknn\u002Fkmean\u002Fgbdt\u002Fdecision-tree\u002Fpca\u002Flda\u002Fcatboost\u002Fxgb\u002F超参搜索 \u003C\u002Fu>\u003C\u002Fli>分布式深度学习框架：\u003Cli>tf\u002Fpytorch\u002F\u003Cu>mxnet\u002Fhorovod\u002Fpaddlejob\u002Fmindspore分布式训练\u003C\u002Fu>\u003C\u002Fli> 分布式加速框架：\u003Cli>\u003Cu>mpi\u002Fcolossalai\u002Fdeepspeed\u002Fhorovod\u002Fmegatron \u003C\u002Fu>\u003C\u002Fli>模型处理：\u003Cu>\u003Cli>模型评估，\u003Cli>模型格式转换 \u003C\u002Fli>\u003C\u002Fu>模型服务化：\u003Cli>模型注册，\u003Cli>\u003Cu>模型离线推理\u003C\u002Fu>，\u003Cli>模型部署 \u003C\u002Fli>媒体分布式处理：\u003Cli>分布式媒体下载，\u003Cli>视频提取图片，\u003Cli>视频提取图片|\n|模型训练|算子自定义| 支持算子自定义，通过web界面操作将自定义算法代码镜像，注册为可被他人复用的pipeline算子 |\n|模型训练|自动学习| 面向非AI背景的用户提供自动学习服务，用户选择某一个场景之后，上传训练数据即可自动开始训练和模型部署，\u003Cu>支持示例automl任务流导入导出 |\n|模型训练|自定义镜像| 面向高级 AI 开发者，提供自定义训练作业（执行环境 + 代码）功能； |\n|模型训练|自动调参| 基于单机\u002F\u003Cu>分布式自动超参搜索 |\n|模型训练|TensorBoard作业| \u003Cu>实时\u002F离线观察模型训练过程中的参数和指标变化情况 |\n|模型管理 推理服务|内部服务| 支持开发或运维工具快捷部署，提供mysql-web，postgresql web，mobgo web， redis web，neo4j，rstudio等开源工具 |\n|模型管理 推理服务|模型管理| 模型管理用于对模型多版本管理，支持模型发布为推理服务 |\n|模型管理 推理服务|推理服务| \u003Cli>支持\u003Cu>ml\u003C\u002Fu>\u002Ftf\u002Fpytorch\u002Ftentortrt\u002Fonnx常规模型的多版本的0代码发布。 \u003Cli>支持gpu卡型选择，\u003Cu>支持vgpu，独占，共享占用\u003C\u002Fu>，\u003Cli>支持cpu\u002Fmem\u002F\u003Cu>gpu等弹性伸缩，\u003Cli>支持服务优先级，\u003C\u002Fu>\u003Cli>支持远程模型路径,支持流量分流，流量复制，sidecar配置，支持泛域名配置，支持配置文件挂载，启动目录\u002F命令\u002F环境变量\u002F端口\u002F指标\u002F健康检查等 支持调试环境\u002F测试环境\u002F生产环境 支持域名\u002Fip代理多种形式 \u003Cli>支持服务负载指标监控 \u003Cli>支持多版本服务滚动升级和回滚，\u003Cli>\u003Cu>支持单pod滚动发布 \u003C\u002Fu>\u003Cli>\u003Cu>支持禁用k8s service负载均衡器 \u003C\u002Fu>\u003Cli>\u003Cu>支持大模型分布式推理 \u003C\u002Fu>\u003Cli>提供\u003Cu>ml\u003C\u002Fu>\u002Ftf\u002Fpytorch\u002Ftentortrt\u002Fonnx常规模型推理服务镜像 支持用户自定义模型推理镜像\u003Cli>\u003Cu>支持定时伸缩容\u003C\u002Fli>\u003Cli>\u003Cu>支持配置服务的jwt认证功能\u003C\u002Fli> |\n|监控|整体资源| \u003Cli>所有集群，所有计算机器的使用情况，包括机器的所属集群，所属资源组，机器ip，cpu\u002Fgpu类型和卡型，当前cpu\u002F内存\u002Fgpu的使用率\u003Cli> 所有集群，所有计算pod的使用情况，包括pod所属集群，所属资源组，所属命名空间，调度ip，pod名称，启动用户，cpu，gpu，内存的申请使用率 \u003Cli>\u003Cu>整体资源页面，支持管理员批量删除 |\n|监控|监控体系| \u003Cli>所有机器的gpu资源的使用情况， \u003Cli>所有机器的内存\u002Fcpu\u002F网络io\u002F磁盘io的负载情况， \u003Cli>所有pod的内存\u002Fcpu\u002Fgpu\u002F网络io负载情况 \u003Cli>所有推理服务的内存\u002Fcpu\u002Fgpu\u002Fqps\u002F吞吐\u002Fvgpu负载情况 \u003Cli>\u003Cu>支持ib流量监控 |\n|模型应用市场|模型应用管理方案| \u003Cli>\u003Cu>提供cubestudio sdk，提供模型开发规范和使用规范 |\n|模型应用市场| 模型应用管理方案| \u003Cli>\u003Cu>提供web端模型应用体验，支持同步\u002F异步推理 |\n|模型应用市场| 模型应用管理方案| \u003Cli>\u003Cu>提供开发多个python cuda版本的基础镜像 |\n|模型应用市场|预训练模型| \u003Cli>\u003Cu>提供视觉，听觉，nlp，多模态等400+预训练模型，提供预训练模型的模型加载和推理能力，可直接一键部署服务，并提供api |\n|模型应用市场|模型市场| \u003Cli>\u003Cu>aihub应用对接cube-studio平台进行卡片式展示 |\n|模型应用市场|模型一键开发| \u003Cli>\u003Cu>提供一键转notebook开发，提供符合当前模型所需环境的jupyter |\n|模型应用市场|模型一键微调| \u003Cli>\u003Cu>支持一键转pipeline微调链路，包括示例数据集下载，微调，模型注册，模型部署，支持微调后模型部署 |\n|模型应用市场|模型一键部署web| \u003Cli>\u003Cu>提供模型一键部署提供手机端和pc端web界面和api，和demo示例弹窗演示 |\n|模型应用市场|模型自动化标注| \u003Cli>\u003Cu>支持部署对接labelstudio自动化标注 |\n|模型应用市场|数据集sdk| \u003Cli>\u003Cu>支持通过python sdk搜索上传下载数据集，支持数据集的加解密\u002F解压缩\u002F数据集基础信息查看等 |\n|模型应用市场|notebook sdk| \u003Cli>\u003Cu>支持通过api，对接cube-studio创建notebook，并跳转到指定目录，用于其他算法平台在当前平台的调试和演示 |\n|模型应用市场|pipeline训练sdk| \u003Cli>\u003Cu>支持AI开发主流语言 Python，提供Python SDK支持用户通过SDK来进行pipeline任务流管理和训练任务启动以及任务流编排 |\n|模型应用市场|推理服务sdk| \u003Cli>\u003Cu>提供python sdk，对接cube tudio进行推理服务的发布，服务升级 |\n|大模型|大模型分布式多机多卡| \u003Cli>\u003Cu>支持分布式多机多卡训练，例如mpi\u002Fdeepspeed\u002FColossal-AI |\n|大模型|支持大模型推理aihub形式| \u003Cli>\u003Cu>支持openjourney\u002Fgpt3\u002Fyuan\u002Fsd-v1.5\u002Fsd-v2\u002Fsd-v3\u002FStable Cascade\u002FStable Diffusion XL\u002Fchatglm\u002Fllama\u002Fchinese-alpaca\u002Fqwen\u002Fgemma\u002Fyi\u002Faquilachat2部署 |\n|大模型|支持大模型推理openai接口| \u003Cli>\u003Cu>支持fastchat+vllm大模型推理，支持推理加速+流式接口 ","Cube Studio是一个开源的云原生一站式机器学习\u002F深度学习平台，旨在提供从数据处理、模型训练到推理服务的全链路支持。其核心功能包括多租户管理、算力租赁、拖拉拽任务流编排、分布式训练及超参搜索等，并且支持多种国产异构算力调度如昇腾、寒武纪等。此外，该平台还具备VGPU虚拟化、云边端协同以及针对大模型（如DeepSeek）的微调与强化学习训练能力。Cube Studio适用于需要构建高效AI开发环境的企业或研究机构，特别是在追求高性能计算资源利用效率和快速迭代模型开发流程的场景下。",2,"2026-06-11 03:42:34","high_star"]