Kelsus

kelsus-oss-ai-ref-arch

Kelsus

Sovereign LLM/RAG reference architecture: open-weight models for regulated document workloads, benchmarked self-hosted vs Amazon Bedrock vs the frontier. Synthetic data, reproducible, in-VPC.

AI 简介

这是一个面向受监管文档场景的自主可控大语言模型(LLM)与检索增强生成(RAG)参考架构,支持在客户自有AWS账户内全链路私有化部署。核心功能包括:基于vLLM自托管开源权重模型的低延迟推理、S3+Postgres/pgvector构建的合规向量检索、TEI嵌入与重排序、端到端PII/PHI防护及可复现基准测试(覆盖吞吐、F1、引用准确率等指标)。技术特点为全栈In-VPC运行、合成数据驱动、Terraform基础设施即代码、EKS+Karpenter弹性GPU调度。适用于金融、医疗等强监管行业的文档智能处理场景,如保单审核、理赔单据解析与合规问答。

Python
Apache License 2.0
54
Stars
0
Forks
12
Watchers
8
Issues

Star 增长

今日0
近 7 天0
近 30 天+2
综合评分40.2
默认分支main