
chainreason
joshawome
A benchmark for evaluating LLM reasoning on Ethereum and DeFi tasks
AI 简介
ChainReason 是一个面向以太坊与去中心化金融(DeFi)场景的轻量级大语言模型(LLM)推理能力评测基准。它包含五个结构化任务:DeFi协议问答、Solidity漏洞分类、智能合约功能识别、链上交易意图推断和AMM滑点预测,分别考察符号推理、代码理解、结构模式识别与数值计算等核心能力。项目采用手工精标的小规模数据集,强调协议逻辑、交易图谱和数值建模等被现有基准忽略的维度,适用于区块链AI模型开发者、DeFi安全研究者及智能合约工程师对LLM在专业领域推理能力的定向评估与对比分析。
Python
MIT License499
Stars
343
Forks
8
Watchers
0
Issues
Star 增长
今日0
近 7 天0
近 30 天0
综合评分47.61
默认分支main