各位大佬，我们最近开源了 DevOps-Eval：蚂蚁集团开源的针对DevOps领域大模型的评测套件，也是首个该领域的开源项目
github地址：网页链接 该项目主要由DevOps领域“评测数据集”和自动化“评测脚本”组成。该项目评测数据集是根据DevOps的通用流程进行划分，包含8个大类，53个小类，共计4850道单项选择题。此外，该项目还特别针对AIOps场景做了细分，场景覆盖了日志解析、时序异常检测、时序分类和根因分析等常见智能运维领域。为了方便用户评测各种符合HuggingFace格式的大模型，该项目提供了完备的评测脚本，用户只需简单注册即可开始评测。目前，DevOps已经发布了第一期的评测榜单，首批评测大模型包含蚂蚁DevOps-Model、Qwen、Baichuan、Internlm等开源模型。
通过“DevOps-Eval”项目，用户可以充分测试和改进他们的DevOps大模型，这对于提高DevOps领域的效率和质量具有重要意义。作为一个开源项目，我们欢迎开发者们积极参与和贡献，共同推动DevOps领域的发展和进步！