微信输入法-大模型评测数据科学分析师

1.数据体系设计：围绕评测业务，设计端到端的数据生产链路，包括 query 采集、分层抽样、标注体系、质检方案、版本管理； 2.评测数据集构建：主导高质量评测集（含 SFT 评测集、安全评测集、业务评测集）的建设，确保覆盖度、区分度与稳定性； 3.数据分析与洞察：基于评测结果做多维度数据分析（模型对比、版本对比、Bad Case 聚类、能力雷达图），为算法和业务决策提供量化依据； 4.标注体系搭建：设计标注规范、培训外包/众包团队、构建一致性指标（Kappa、IAA），持续提升标注质量； 5.指标体系建设：与算法、产品共建评测指标体系（自动指标 + 人工指标 + 业务指标），并推动指标上线与监控。