tokenizer

这是一个将PHP源代码词法分析结果转换为结构化XML格式的轻量级工具库。它基于PHP内置的token_get_all函数，将PHP代码解析为标准token序列，并序列化为带行号和token类型标记的XML文档，支持扩展为其他输出格式。项目采用纯PHP实现，无外部依赖，API简洁，适用于PHP代码静态分析、语法高亮、代码质量检查、AST生成前置处理等开发工具链场景。