微信基础-大模型评测产品经理

1.评测体系设计：主导 AI 产品的评测体系搭建，定义评测维度、指标、标准和流程，确保评测的科学性和全面性； 2.评测方法论制定：设计适配不同场景（对话、工具调用、多轮交互、创意生成等）的评测方案，包括自动评测、人工评测、众包评测、竞品对比等； 3.评测平台产品设计：规划评测平台的产品架构和功能模块，输出 PRD，驱动研发团队落地； 4.评测洞察与决策支持：深度分析评测数据，发现产品体验问题和模型能力短板，输出有洞察力的评测报告，推动产品和算法团队优化； 5.竞品评测与行业跟踪：持续跟踪业界竞品的能力变化，建立常态化竞品评测机制； 6.标注体系管理：设计标注规范和质量控制流程，确保评测数据质量。 1.本科及以上学历，计算机、统计学、心理学、语言学或相关专业优先，3 年以上产品经理经验； 2.具备 AI/NLP/对话系统相关评测工作经验，有评测体系从 0 到 1 搭建经验者优先； 3.熟悉 AI 产品评测的科学方法，包括评测指标设计、统计显著性检验、评分者一致性（Kappa/ICC）、A/B 实验设计等； 4.具备评测平台或数据平台的产品设计经验，能独立输出完整的产品方案； 5.对 LLM / AI Agent 产品有深刻理解，熟悉主流 AI 产品的能力边界和用户场景，具备一定技术背景者优先； 6.优秀的数据分析能力，能从海量评测数据中提炼关键洞察； 7.熟悉多模态（图像、视频、语音）评测方法和指标体系者优先； 8.有标注团队管理或众包平台运营经验者优先； 9.出色的文档撰写和跨团队沟通能力，能有效推动多方协作。