汇报 AI 应用工作
用哪些指标说明成效

账号开通数、培训场次、调用次数,反映的是投入,不是成效。汇报 AI 应用工作,要回答三个问题:做了什么,依据是什么,变化有多少。

投入的数字仍然要报,它说明组织做了多少工作。但听取汇报的上级和管理层,更想知道的是:AI 承担了哪些工作,有多少人在用,使用规范是否在执行,工作有没有因此变快、变准。这些要用成效指标来回答。

三个问题里的“依据”,有两层意思:一是工作的依据,即上级的部署和本组织签发的文件、作出的决定;二是数据的依据,即每个数字从哪里来、怎样算出来。汇报经得起追问,主要靠第二层。

成效数据从哪里来,怎样汇成一页材料 账号开通数、培训场次、调用次数是投入数字,反映的是投入,不是成效,放在一页汇报材料的“工作开展情况”里。七项成效指标依次是:使用覆盖、AI 承担的工作项、单项耗时、返工和差错、规范执行、能力变化、可持续性,每项写明怎样算、数据从哪里来,列进“成效数据”,写明本期数字和起点数字、统计周期和口径。数据从哪里来、怎样采集:起点数据,即开始之前记下的数字;工具后台,只统计人数和频次;试用记录表,每次使用记一行;抽样核对,每月从记录表里抽几条,由负责人或另一位同事对照原始材料和验收记录核对。一页汇报材料分五部分:工作开展情况,开头写明工作依据;边界与规范;成效数据;问题与风险;下一步安排。指标表、台账目录和测评结果,可以作为附件。 一页汇报材料 一工作开展情况 开头写明工作依据 投入数字放在这一部分 二边界与规范 三成效数据 本期数字和起点数字 统计周期和口径 四问题与风险 五下一步安排 指标表、台账目录和 测评结果,可以作为附件 投入数字 账号开通数、培训场次、调用次数 反映的是投入,不是成效 七项成效指标 每项写明怎样算、数据从哪里来 使用覆盖 AI 承担的工作项 单项耗时 返工和差错 规范执行 能力变化 可持续性 数据从哪里来,怎样采集 起点数据 开始之前 记下的数字 工具后台 只统计 人数和频次 试用记录表 每次使用 记一行 抽样核对 每月抽几条 对照核对 投入数字 账号开通数、培训场次、调用次数 反映的是投入,不是成效 七项成效指标 每项写明怎样算、数据从哪里来 使用覆盖 AI 承担的工作项 单项耗时 返工和差错 规范执行 能力变化 可持续性 数据从哪里来,怎样采集 起点数据 开始之前 记下的数字 工具后台 只统计 人数和频次 试用记录表 每次使用 记一行 抽样核对 每月抽几条 对照核对 一页汇报材料 一工作开展情况 开头写明工作依据 投入数字放在这一部分 二边界与规范 三成效数据 本期数字和起点数字 统计周期和口径 四问题与风险 五下一步安排 指标表、台账目录和 测评结果,可以作为附件
图汇报 AI 应用工作,成效数据从哪里来,怎样和投入数字一起汇成一页材料。

一、七项成效指标

您可以把下表直接用作自己的指标口径表。每项指标写明怎样算、数据从哪里来,每期汇报按同一口径统计。

指标定义计算方法数据来源统计频率注意事项
使用覆盖每周至少使用一次 AI 工具的人数,占在岗人数的比例当周使用过的人数 ÷ 当周在岗人数;按部门分别计算,月度取各周平均工具后台的使用记录,只取人数和频次;没有后台的,由各部门按周填报每周统计,每月汇报分母用在岗人数,不用开通账号数;一人有多个账号的,合并为一人
AI 承担的
工作项
已给 AI 定岗位、按重新设计的流程开展的工作项:写明 AI 承担哪几步、由谁带、交回后由谁验收按项计数,逐项列出名称、AI 承担的步骤、负责人和开始日期建设台账中的应用清单每月更新每项要有负责人;还在试用、没有按新流程开展的,不计入
单项耗时同一项工作,改造前后完成一次所用的时间(改造前用时 − 改造后用时)÷ 改造前用时;用时各取多次记录的平均起点记录、试用记录表每次使用时记录,每月汇总从接手算到验收通过,包括准备材料、核对和返工的时间
返工和差错按验收标准检查后退回修改的次数(返工);交出后发现的错误(差错)返工次数 ÷ 完成次数;差错数按月合计验收记录、试用记录表每月先有成文的验收标准;改造前的返工和差错也要记
规范执行使用规范的签发和宣贯,材料报备,差错或违规事件的处理情况签发日期和文号;已宣贯人数 ÷ 在岗人数;报备记录条数;事件数和处理结果发文记录、学习签到、报备记录、事件登记每季度;事件随时登记事件数为零时,要同时看报备记录是否正常产生
能力变化开始前和一个阶段后,用同一套维度各测一次,比较变化各维度的平均分和分布,按部门对比前后两次能力测评结果开始前一次,每个阶段结束后一次前后两次用同一套维度、难度相当的题目;参测人员尽量一致
可持续性人员调整之后,工作能否照样接得上:AI 承担的步骤和交接方式有说明、有维护人有维护人的方法文件数量;骨干调岗或休假时,相关工作是否照常完成方法文件目录、建设台账每季度可以请没有参加试点的同事,照文件独立完成一次

几点说明:

  • 不必一次报齐。启动阶段,耗时和能力的变化还没有显现,可以先报使用覆盖、规范执行和 AI 承担的工作项;试点满一个周期以后,再报耗时、返工和能力变化。
  • 使用覆盖按部门列。整个组织的合计数,可能掩盖使用集中在一两个部门的情况。按部门列出,哪些部门还没有用起来,可以直接看出。
  • 能力测评的维度。可以用四个:对 AI 能力边界的判断,基本操作,判断一项工作是否适合交给 AI,发现 AI 产出中的问题。测评用于了解整体和各部门的情况,不宜作为个人考核的依据,否则作答容易失真。测评结果怎样写进培训简报,见《AI 培训结束后,培训简报怎样写》。
  • 规范执行如实报。发生过的差错或违规事件,连同处理结果一起报。发现问题并按规定处理,说明规范在执行;事件长期为零、报备记录也很少,反而要核实规范是否落到了实处。
  • 可持续性用实例检验。请一位没有参加试点的同事,照方法文件独立完成一次这项工作,记下遇到的问题。能照着做下来,这项做法才算留在了组织里。怎样把骨干的做法整理成组织的方法,另有专文说明。

二、数据从哪里来,怎样采集

先记起点数据

起点数据,即开始之前记下的数字,也叫基线。没有起点,就说不清变化有多少。开始之前,至少记下三样:各部门每周使用 AI 的人数;准备改造的每项工作,按原做法完成一次的用时、返工和差错;能力测评的结果。

用时可以按原做法实际计时三到五次,取平均值。

工具后台:只统计人数和频次

组织部署的 AI 工具,后台一般可以导出使用记录。统计时只取两样:每周有多少人用过,各用了几次。不查看提问和生成的内容。

这样做有两个原因:统计成效用不到内容;员工担心内容被查看,可能少用或者不用,数字反而失真。统计什么、用于什么,事先向员工说明。

试用记录表:每次使用记一行

一项工作按新流程正式开展之前,先有一段试用期。试用期间,负责这项工作的同事每用一次 AI,记一行:

日期处理了什么用时(含核对和返工)人工改了几处遇到的问题
例:10 月 9 日第三季度工作总结初稿分钟处

这张表是耗时、返工两项指标的主要来源。先试哪几项工作、试用记录怎样用于评估,见试点的选择和记录方法。

抽样核对

每月从记录表里抽几条,由负责人或另一位同事对照原始材料和验收记录核对:用时是否如实,改动处数是否相符,是否按验收标准检查。后台统计的人数,也可以和部门填报的数字对照一次。核对的时间和结果记下来,汇报时可以写明“数据经过抽样核对”。

三、汇报中常见的五个问题

  1. 只报有利的数字。每期只选择变好的指标汇报,几期之后,数字就难以取信。纠正办法:指标表定下以后,每期全部照报;变差的指标写明原因,放进“问题与风险”。
  2. 把调用次数当成使用人数。调用次数是工具后台记录的使用次数,一个人一天就可能有几十次。纠正办法:使用覆盖按人去重统计;调用次数只用来观察使用频度。
  3. 没有起点数据。只有改造以后的数字,无法说明变化了多少。纠正办法:从现在开始记起点,汇报时写明起点日期;此前的变化只作文字说明,不写对比数字。
  4. 统计口径中途改变而没有说明。例如分母从开通账号数改成在岗人数,比例随之变化,前后两期无法比较。纠正办法:口径写进指标表;确需调整的,写明调整日期和原因,调整当期按新旧两种口径各算一次。
  5. 只算生成时间,不算核对和返工时间。AI 生成初稿可能只要几分钟,核对和修改却可能要一两个小时。只算生成时间,节省的时间会被高估。纠正办法:从接手算到验收通过,准备材料、核对和返工的时间都计入。

四、一页汇报材料的结构

汇报 AI 应用工作时,您可以把正文控制在一页,分五部分:

一页汇报材料的结构示例

  1. 工作开展情况。开头一句写明工作依据,例如《国务院关于深入实施“人工智能+”行动的意见》(国发〔2025〕11号)、上级单位的部署和本单位的决定。然后按建设台账写做了哪些事:开展了哪些工作,覆盖哪些部门,AI 承担了哪几项工作、各由谁负责。培训场次、账号开通数等投入数字,放在这一部分。
  2. 边界与规范。AI 用于哪些工作、不用于哪些工作;使用规范何时签发、宣贯到哪些人;需要报备的材料是否按规定报备;发生过的差错或违规事件,以及处理结果。
  3. 成效数据。按上面的指标表,列出本期数字和起点数字,写明统计周期和口径;口径有调整的,一并说明。
  4. 问题与风险。没有改善或者变差的指标,以及原因;尚未解决的风险,例如材料边界不清、能力集中在少数人身上。
  5. 下一步安排。未来 90 天准备做的几件事,每件写明负责人、完成时间和要看到的结果。

成效数据一段,可以参照这样写:

本季度,每周至少使用一次 AI 的人数占在岗人数的××%(起点为××%),其中××部门、××部门低于整体平均。季度工作总结初稿的单次用时由××分钟变为××分钟(含核对和返工),返工由××次变为××次。

五部分里,前两部分回答做了什么,第三部分回答变化有多少;依据,体现在开头写明的工作依据和每个数字的出处上。指标表、台账目录和测评结果,可以作为附件。

每期汇报用同一套指标和口径。连续几期放在一起,变化的趋势就清楚了。

参考依据

  1. 《国务院关于深入实施“人工智能+”行动的意见》(国发〔2025〕11号),国务院 2025 年 8 月 21 日印发,8 月 26 日公布。原文

加入等候名单

微信号

xLeon222

添加时备注项目名称。

也可以来信 contact@fyrolab.com