汇报 AI 应用工作
用哪些指标说明成效
账号开通数、培训场次、调用次数,反映的是投入,不是成效。汇报 AI 应用工作,要回答三个问题:做了什么,依据是什么,变化有多少。
投入的数字仍然要报,它说明组织做了多少工作。但听取汇报的上级和管理层,更想知道的是:AI 承担了哪些工作,有多少人在用,使用规范是否在执行,工作有没有因此变快、变准。这些要用成效指标来回答。
三个问题里的“依据”,有两层意思:一是工作的依据,即上级的部署和本组织签发的文件、作出的决定;二是数据的依据,即每个数字从哪里来、怎样算出来。汇报经得起追问,主要靠第二层。
一、七项成效指标
您可以把下表直接用作自己的指标口径表。每项指标写明怎样算、数据从哪里来,每期汇报按同一口径统计。
| 指标 | 定义 | 计算方法 | 数据来源 | 统计频率 | 注意事项 |
|---|---|---|---|---|---|
| 使用覆盖 | 每周至少使用一次 AI 工具的人数,占在岗人数的比例 | 当周使用过的人数 ÷ 当周在岗人数;按部门分别计算,月度取各周平均 | 工具后台的使用记录,只取人数和频次;没有后台的,由各部门按周填报 | 每周统计,每月汇报 | 分母用在岗人数,不用开通账号数;一人有多个账号的,合并为一人 |
| AI 承担的 工作项 | 已给 AI 定岗位、按重新设计的流程开展的工作项:写明 AI 承担哪几步、由谁带、交回后由谁验收 | 按项计数,逐项列出名称、AI 承担的步骤、负责人和开始日期 | 建设台账中的应用清单 | 每月更新 | 每项要有负责人;还在试用、没有按新流程开展的,不计入 |
| 单项耗时 | 同一项工作,改造前后完成一次所用的时间 | (改造前用时 − 改造后用时)÷ 改造前用时;用时各取多次记录的平均 | 起点记录、试用记录表 | 每次使用时记录,每月汇总 | 从接手算到验收通过,包括准备材料、核对和返工的时间 |
| 返工和差错 | 按验收标准检查后退回修改的次数(返工);交出后发现的错误(差错) | 返工次数 ÷ 完成次数;差错数按月合计 | 验收记录、试用记录表 | 每月 | 先有成文的验收标准;改造前的返工和差错也要记 |
| 规范执行 | 使用规范的签发和宣贯,材料报备,差错或违规事件的处理情况 | 签发日期和文号;已宣贯人数 ÷ 在岗人数;报备记录条数;事件数和处理结果 | 发文记录、学习签到、报备记录、事件登记 | 每季度;事件随时登记 | 事件数为零时,要同时看报备记录是否正常产生 |
| 能力变化 | 开始前和一个阶段后,用同一套维度各测一次,比较变化 | 各维度的平均分和分布,按部门对比前后两次 | 能力测评结果 | 开始前一次,每个阶段结束后一次 | 前后两次用同一套维度、难度相当的题目;参测人员尽量一致 |
| 可持续性 | 人员调整之后,工作能否照样接得上:AI 承担的步骤和交接方式有说明、有维护人 | 有维护人的方法文件数量;骨干调岗或休假时,相关工作是否照常完成 | 方法文件目录、建设台账 | 每季度 | 可以请没有参加试点的同事,照文件独立完成一次 |
几点说明:
- 不必一次报齐。启动阶段,耗时和能力的变化还没有显现,可以先报使用覆盖、规范执行和 AI 承担的工作项;试点满一个周期以后,再报耗时、返工和能力变化。
- 使用覆盖按部门列。整个组织的合计数,可能掩盖使用集中在一两个部门的情况。按部门列出,哪些部门还没有用起来,可以直接看出。
- 能力测评的维度。可以用四个:对 AI 能力边界的判断,基本操作,判断一项工作是否适合交给 AI,发现 AI 产出中的问题。测评用于了解整体和各部门的情况,不宜作为个人考核的依据,否则作答容易失真。测评结果怎样写进培训简报,见《AI 培训结束后,培训简报怎样写》。
- 规范执行如实报。发生过的差错或违规事件,连同处理结果一起报。发现问题并按规定处理,说明规范在执行;事件长期为零、报备记录也很少,反而要核实规范是否落到了实处。
- 可持续性用实例检验。请一位没有参加试点的同事,照方法文件独立完成一次这项工作,记下遇到的问题。能照着做下来,这项做法才算留在了组织里。怎样把骨干的做法整理成组织的方法,另有专文说明。
二、数据从哪里来,怎样采集
先记起点数据
起点数据,即开始之前记下的数字,也叫基线。没有起点,就说不清变化有多少。开始之前,至少记下三样:各部门每周使用 AI 的人数;准备改造的每项工作,按原做法完成一次的用时、返工和差错;能力测评的结果。
用时可以按原做法实际计时三到五次,取平均值。
工具后台:只统计人数和频次
组织部署的 AI 工具,后台一般可以导出使用记录。统计时只取两样:每周有多少人用过,各用了几次。不查看提问和生成的内容。
这样做有两个原因:统计成效用不到内容;员工担心内容被查看,可能少用或者不用,数字反而失真。统计什么、用于什么,事先向员工说明。
试用记录表:每次使用记一行
一项工作按新流程正式开展之前,先有一段试用期。试用期间,负责这项工作的同事每用一次 AI,记一行:
| 日期 | 处理了什么 | 用时(含核对和返工) | 人工改了几处 | 遇到的问题 |
|---|---|---|---|---|
| 例:10 月 9 日 | 第三季度工作总结初稿 | 分钟 | 处 | |
这张表是耗时、返工两项指标的主要来源。先试哪几项工作、试用记录怎样用于评估,见试点的选择和记录方法。
抽样核对
每月从记录表里抽几条,由负责人或另一位同事对照原始材料和验收记录核对:用时是否如实,改动处数是否相符,是否按验收标准检查。后台统计的人数,也可以和部门填报的数字对照一次。核对的时间和结果记下来,汇报时可以写明“数据经过抽样核对”。
三、汇报中常见的五个问题
- 只报有利的数字。每期只选择变好的指标汇报,几期之后,数字就难以取信。纠正办法:指标表定下以后,每期全部照报;变差的指标写明原因,放进“问题与风险”。
- 把调用次数当成使用人数。调用次数是工具后台记录的使用次数,一个人一天就可能有几十次。纠正办法:使用覆盖按人去重统计;调用次数只用来观察使用频度。
- 没有起点数据。只有改造以后的数字,无法说明变化了多少。纠正办法:从现在开始记起点,汇报时写明起点日期;此前的变化只作文字说明,不写对比数字。
- 统计口径中途改变而没有说明。例如分母从开通账号数改成在岗人数,比例随之变化,前后两期无法比较。纠正办法:口径写进指标表;确需调整的,写明调整日期和原因,调整当期按新旧两种口径各算一次。
- 只算生成时间,不算核对和返工时间。AI 生成初稿可能只要几分钟,核对和修改却可能要一两个小时。只算生成时间,节省的时间会被高估。纠正办法:从接手算到验收通过,准备材料、核对和返工的时间都计入。
四、一页汇报材料的结构
汇报 AI 应用工作时,您可以把正文控制在一页,分五部分:
一页汇报材料的结构示例
- 工作开展情况。开头一句写明工作依据,例如《国务院关于深入实施“人工智能+”行动的意见》(国发〔2025〕11号)、上级单位的部署和本单位的决定。然后按建设台账写做了哪些事:开展了哪些工作,覆盖哪些部门,AI 承担了哪几项工作、各由谁负责。培训场次、账号开通数等投入数字,放在这一部分。
- 边界与规范。AI 用于哪些工作、不用于哪些工作;使用规范何时签发、宣贯到哪些人;需要报备的材料是否按规定报备;发生过的差错或违规事件,以及处理结果。
- 成效数据。按上面的指标表,列出本期数字和起点数字,写明统计周期和口径;口径有调整的,一并说明。
- 问题与风险。没有改善或者变差的指标,以及原因;尚未解决的风险,例如材料边界不清、能力集中在少数人身上。
- 下一步安排。未来 90 天准备做的几件事,每件写明负责人、完成时间和要看到的结果。
成效数据一段,可以参照这样写:
本季度,每周至少使用一次 AI 的人数占在岗人数的××%(起点为××%),其中××部门、××部门低于整体平均。季度工作总结初稿的单次用时由××分钟变为××分钟(含核对和返工),返工由××次变为××次。
五部分里,前两部分回答做了什么,第三部分回答变化有多少;依据,体现在开头写明的工作依据和每个数字的出处上。指标表、台账目录和测评结果,可以作为附件。
每期汇报用同一套指标和口径。连续几期放在一起,变化的趋势就清楚了。
参考依据
- 《国务院关于深入实施“人工智能+”行动的意见》(国发〔2025〕11号),国务院 2025 年 8 月 21 日印发,8 月 26 日公布。原文
驭火LAB