[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"project-83531":3},{"id":4,"name":5,"fullName":6,"owner":7,"repo":5,"description":8,"homepage":9,"htmlUrl":9,"language":10,"languages":9,"totalLinesOfCode":9,"stars":11,"forks":12,"watchers":13,"openIssues":14,"contributorsCount":15,"subscribersCount":15,"size":15,"stars1d":16,"stars7d":16,"stars30d":16,"stars90d":15,"forks30d":15,"starsTrendScore":17,"compositeScore":18,"rankGlobal":9,"rankLanguage":9,"license":9,"archived":19,"fork":19,"defaultBranch":20,"hasWiki":21,"hasPages":19,"topics":22,"createdAt":9,"pushedAt":9,"updatedAt":23,"readmeContent":24,"aiSummary":9,"trendingCount":15,"starSnapshotCount":15,"syncStatus":25,"lastSyncTime":26,"discoverSource":27},83531,"DH_live","kleinlee\u002FDH_live","kleinlee","每个人都能用的数字人",null,"Python",2014,416,28,14,0,8,24,29.86,false,"main",true,[],"2026-06-12 02:04:34","\n\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"preview\u002Fweb.jpg\" height=\"240\" \u002F>\n\n# DH_live (mini)\n\n> 网页 · 实时 · 移动端 · 全网最快\n\n[中文版](README.md) | [English](README_en.md)\n\n在线应用：[matesx.com](matesx.com)\n\u003C\u002Fdiv>\n\nNotes：目前项目主要维护DH_live_mini, 目前最快的2D视频数字人方案，没有之一，项目含有网页推理的案例，不依赖任何GPU，可在任何手机设备实时运行。\n\n我们已开源超轻量级多端数字人对话引擎[MatesX](https:\u002F\u002Fgithub.com\u002Fkleinlee\u002FMatesX)。是DH_live进化版本。记忆 · 表情 · 动作 · 多端 · 轻量, 适配 Windows\u002FmacOS\u002FiOS\u002FAndroid\u002F小程序\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"preview\u002Fmatesx.jpg\" width=\"360\" \u002F>\n\u003C\u002Fdiv>\nDHLive_mini手机浏览器直接推理演示 [bilibili video](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1UgFFeKEpp)\n\n# 新闻\n- 2025-01-26 最小化简化网页资源包，gzip资源小于2MB。简化视频数据，数据大小减半\n- 2025-02-09 增加ASR入口、增加一键切换形象。\n- 2025-02-27 优化渲染、去除参照视频，目前只需要一段视频即可生成。\n- 2025-03-11 增加DH_live_mini的CPU支持。\n- 2025-04-09 增加对IOS17以上的长视频支持。\n- 2025-04-25 增加完整的实时对话服务，包含vad-asr-llm-tts-数字人全流程，请见web_demo\u002Fserver_realtime.py。\n- 2025-09-23 超轻量级多端数字人对话引擎[MatesX](https:\u002F\u002Fgithub.com\u002Fkleinlee\u002FMatesX)已开源。适配 Windows\u002FmacOS\u002FiOS\u002FAndroid\u002F小程序\n- 2026-05-07 改进内存消耗，增加抠图和前后景分离。\n- 2026-05-12 升级到mini2.0，提升分辨率、减小资源占用、效果更稳定、对IOS支持更好\n\n## 数字人方案对比\n\n| 方案名称                             | 单帧算力（Mflops） | 使用方式 | 脸部分辨率 | 适用设备 |\n|----------------------------------|--------------|------------|-------|------------------------------------|\n| Ultralight-Digital-Human（mobile） | 1100         | 单人训练 | 160   | 中高端手机APP |\n| duix.ai                          | 1200         | 单人训练 | 160   | 中高端手机APP |\n| DH_live_mini                     | 39           | 无须训练 | 128   | 网页&APP&小程序 |\n| DH_live_mini2.0                  | 52           | 无须训练 | 184   | 网页&APP&小程序 |\n\n\n\n### 主要特性\n- **最低算力**: 推理一帧的算力39 Mflops，小于手机端大部分的人脸检测算法。\n- **最小存储**：整个网页资源可以压缩到3MB！\n- **无须训练**: 开箱即用，无需复杂的训练过程。\n\n### 平台支持\n- **windows**: 支持视频数据处理、离线视频合成、网页服务器。\n- **linux&macOS**：支持视频数据处理、搭建网页服务器，不支持离线视频合成。\n- **网页&小程序**：支持客户端直接打开（可搜索小程序\"MatesX数字生命\"，功能和网页版完全一致）。\n- **App**：webview方式调用网页或重构原生应用。\n\n| 平台 | Windows | Linux\u002FmacOS |\n|---------------|---------------|-------------|\n| 原始视频处理&网页资源准备 | ✅ | ✅ |\n| 离线视频合成 | ✅ | ❌ |\n| 构建网页服务器 | ✅ | ✅ |\n| 实时对话 | ✅ | ✅ |\n\n## 模型文件\n所有模型文件已移至 [百度网盘](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1jH3WrIAfwI3U5awtnt9KPQ?pwd=ynd7)\n[GoogleDrive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1az5WEWOFmh0_yrF3I9DEyctMyjPolo8V?usp=sharing)\n\n下载后，模型文件目录为：\n ```\n checkpoint\u002F\n ├── DINet_mini\u002F\n │   └── epoch_40_new.pth                     # 视频生成模型\n ├── lstm\u002F\n │   └── lstm_model_epoch_325.pkl         # 语音特征模型\n ├── rvm_resnet50.pth                     # 绿幕扣除模型\n  ```\n \n\n\n## 简易使用 (Gradio)\n第一次使用或想获取完整流程请运行此Gradio。\n```bash\npython app.py\n```\n\n## 使用方法\n\n### 创建环境\n首先，导航到 `checkpoint` 目录并解压模型文件：\n```bash\nconda create -n dh_live python=3.11\nconda activate dh_live\npip install torch --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu124\npip install -r requirements.txt\ncd checkpoint\n```\n注意如果没有GPU可以安装CPU版本的pytorch\n\n下载并解压模型文件。\n### 准备视频\n```bash\npython data_preparation_mini.py video_data\u002F000002\u002Fvideo.mp4 video_data\u002F000002 --matting\npython data_preparation_web.py video_data\u002F000002\n```\n处理后的视频信息将存储在 .\u002Fvideo_data 目录中。\n### 使用音频文件运行 ( 此步需windows下运行 )\n语音文件必须是单通道16K Hz的wav文件格式。\n```bash\npython demo_mini.py video_data\u002F000002\u002Fassets video_data\u002Faudio0.wav 1.mp4\n```\n### 网页演示\n请将新形象包中的assets文件(譬如video_data\u002F000002\u002Fassets)替换 assets 文件夹中的对应文件\n```bash\npython web_demo\u002Fserver.py\n```\n可以打开 localhost:8888\u002Fstatic\u002FMiniLive.html。\n\n如需调整网页配置，可编辑 `web_demo\u002Fstatic\u002Fjs\u002FMiniLive2.js` 顶部的 `CONFIG` 对象：\n- `videoSrc` \u002F `dataSrc` — 视频文件和 combined_data 数据文件路径\n- `chromaKeyEnabled` — 是否开启绿幕扣除\n- `backgroundVideoSrc` — 绿幕扣除时使用的背景视频路径\n- `showFPS` — 是否显示帧率\n\n如果想体验最佳的流式对话效果，请认真阅读 [web_demo\u002FREADME.md](https:\u002F\u002Fgithub.com\u002Fkleinlee\u002FDH_live\u002Fblob\u002Fmain\u002Fweb_demo\u002FREADME.md),内含完整的可商用工程。\n## 形象\n公开形象库： https:\u002F\u002Fmatesx.com\u002Fassets.html\n\n网页部分的商业应用涉及形象授权（去除logo）：访问[授权说明] (www.matesx.com\u002Fauthorized.html)\n\n上传你生成的combined_data.json.gz, 授权后下载得到新的combined_data.json.gz，覆盖原文件即可去除logo。\n## 在线应用\n访问[matesx网页程序](https:\u002F\u002Fwww.matesx.com)， 或小程序请搜索\"MatesX数字生命\"\n\n## 算法构架\n\u003Cdiv align=\"center\">\n\u003Cimg src=\"preview\u002FAlgorithmArchitecture.jpg\" width=\"480\" \u002F>\n\u003C\u002Fdiv>\n\n## 许可证\nMIT License\n\n## 联系\n\u003Ccenter>\n\n| 加我微信群交流                                                   | QQ群聊 |\n|-----------------------------------------------------------|-----------------------------------------------------------|\n| \u003Cimg src=\"preview\u002Fwechat.jpg\" width=\"480\" alt=\"MatesX 官方微信\"\u002F> | \u003Cimg src=\"preview\u002Fqq.jpg\" width=\"480\" alt=\"MatesX 官方QQ\"\u002F> |\n\n\u003C\u002Fcenter>",2,"2026-06-11 04:11:17","high_star"]