选择 AI 培训或咨询机构
建议核实的十个问题
这些问题适用于 AI 通识培训、实操工作坊、使用规范编制和场景梳理等服务。可以把它们列进沟通提纲或询价文件,请各家机构书面回答并附上材料,再用文末的核实记录表逐项比较。这份清单同样适用于驭火LAB。
比较时,重点看三点:回答是否具体,能否核实,能否写进方案或合同。采购方式和程序,按自己的制度执行;本文只涉及内容上的核实。
人员和课程
1. 项目由谁负责、由谁授课,
有哪些实际经历
为什么问:培训和咨询的效果,很大程度上取决于具体做事的人。洽谈时出面的人,不一定是授课和到现场工作的人;机构介绍里的经历,也不一定出自将来为您服务的人。
可以要求对方提供:项目负责人、授课人员和主要参与人员的经历介绍,包括做过哪些与 AI 应用相关的工作,在哪类组织、承担什么角色。必要时,您可以请授课人员参加一次沟通,或者试讲一段。
比较可靠的回答:人员和分工明确,经历落到做过的具体事情上,不只是头衔和荣誉。对方以保密为由不提供客户名称,可以理解;但所在行业、组织类型和本人承担的工作,应当说得清楚。
2. 是否使用本组织的实际工作任务,
课前是否了解学员
为什么问:用通用案例讲课,学员回到岗位,不容易用到自己的工作上。演示和练习用本组织常见的工作,例如公文初稿、政策要点梳理、会议纪要、合同核对,学员才能直接对照。
可以要求对方提供:课前准备的做法:收集哪些材料,怎样了解学员(问卷或访谈),据此调整哪些内容;一份课程大纲,标明哪些环节用本组织的工作任务演示和练习。
比较可靠的回答:说得清课前收集什么、用来做什么,也说明哪些材料不需要提供。使用实际工作任务,不等于提供原始材料:需要的应当是任务说明和经过脱敏的样例,即去掉或替换了姓名、证件号等可识别信息的材料。
交付物和效果
3. 结束后,组织里留下什么
为什么问:培训结束,讲师和课件都会离开。组织能否接着推进,取决于留下了什么,例如使用规范、方法文件、路线图和测评数据。
可以要求对方提供:交付物清单,以及每一项的样张或目录,例如使用规范的目录、一份方法文件的样例、路线图的样式。样张可以隐去其他组织的信息。
比较可靠的回答:交付物逐项列明内容、形式和交付时间,可以写进合同;能够提供样张,并说明哪些部分按本组织的情况编写。为本组织编写的文件,能否自行修改和使用,事先约定清楚。
4. 效果怎样衡量
为什么问:课后满意度问卷反映的是学员对课程的感受,说明不了能力和工作有没有变化。对上汇报时,需要前后可以对比的数据;汇报可以用哪些指标,见说明 AI 应用成效的七项指标。
可以要求对方提供:测评的维度和样题;结果怎样呈现,例如按部门的分布;测评数据归谁、存放在哪里、除本项目外是否另作他用。
比较可靠的回答:课前、课后用同一套维度各测一次;维度说得清,例如对 AI 能力边界的判断、基本操作、判断一项工作是否适合交给 AI、发现 AI 产出中的问题;能够提供样题。数据的归属和用途说得清;另作他用的,事先说明并征得本组织同意。两次测评的结果怎样写进培训简报,见《AI 培训结束后,培训简报怎样写》。
资料、数据和工具
5. 资料和数据怎样处理
为什么问:备课、演示和测评,都会用到本组织的资料和学员的信息。资料交出之前,先按本组织的规定分类,可以参照禁区、报备区、自由区的分法;涉密材料不提供,也不用于演示和练习。某份材料能否提供,以本单位保密管理部门的认定为准。
可以要求对方提供:保密协议文本;资料的用途、存放位置和接触人员;项目结束后资料怎样处置,例如返还、删除或按约定保存。涉及个人信息的,例如学员名单和个人测评结果,由对方代为处理时,按照《中华人民共和国个人信息保护法》第二十一条,应当与对方约定委托处理的目的、期限、处理方式和保护措施等。
比较可靠的回答:愿意在接收资料之前签订保密协议,写明资料只用于约定的工作;存放位置、接触人员和结束后的处置说得清,并且可以写进协议。
6. 使用哪些 AI 工具,
能否与组织已部署的工具衔接
为什么问:课上用什么工具,决定了演示和练习中的材料交给了哪一类系统。学员回到岗位后能否照着做,也要看课上练习的工具和组织实际能用的工具是否一致。
可以要求对方提供:课上和项目中准备使用的 AI 工具或服务清单,写明是否为已完成备案的境内服务,部署在哪里(公开的在线服务,还是组织指定的服务器或云环境);能否用已部署的工具练习。
比较可靠的回答:清单写得出,经信息化部门确认后再使用;可以用组织已部署的工具练习,或者说明课上的方法怎样用到这些工具上。讲的是方法和判断,不依赖某一款工具。
自有产品和报价
7. 是否会推荐自己的产品,
怎样事先说明
为什么问:培训和咨询中,机构常会推荐工具或方案。其中有对方自己的产品,不一定是问题,但组织需要事先知道,才能对建议作出独立的判断。
可以要求对方提供:一份说明,写明对方有没有自己的软件、模型服务或其他产品,推荐方案时怎样标明其中的自有产品。
比较可靠的回答:事先说明方案里哪些是自己的产品,并说明选择的理由,例如是否适合这项工作、结果能否核验、长期使用和维护的成本;是否采用,由组织比较后决定。
8. 报价由哪些部分构成
为什么问:总价相近的两份报价,包含的内容可能相差很多:有的含课前调研、定制案例、课后复测和答疑,有的只含授课。只比较总价,难以判断哪一份更合适。
可以要求对方提供:分项报价,或者报价构成的说明,至少分列下面几项:
- 课时和授课人员;
- 参训人数和分班;
- 定制程度,即课前调研、案例和练习材料的准备;
- 差旅;
- 后续服务,例如复盘、复测和答疑。
比较可靠的回答:各项列得清楚,写明哪些包含在内、哪些另计,交付物也列在报价里;人数、课时或范围变化时怎样调整,说得清楚。
试点和后续支持
9. 能否先做小范围的评估、试点或样课
为什么问:先在小范围做一次,可以用较小的投入核实前面几个问题的答案:授课人员的水平,内容与本组织工作是否贴合,对方怎样开展工作。
可以要求对方提供:小范围安排的方案,包括范围和参加人员、时间安排、要看到的结果,以及结束后怎样评价。
比较可靠的回答:愿意先做小范围的安排,事先约定评价方式;结束后是否继续合作,由组织根据结果决定。试点中没有验证过的内容,不宜作为签约时的承诺。
10. 结束后提供哪些支持,期限多长
为什么问:培训结束后,学员开始把方法用到自己的工作中,遇到的问题课上未必讲到。有没有复盘、复测和答疑,关系到课上的内容能否用下去。
可以要求对方提供:后续支持的内容、方式和期限:是否安排复盘,何时复测,答疑通过什么方式、多长时间内回复。
比较可靠的回答:写明做什么、什么时候做、持续多长时间,并写进方案或合同。
需要警惕的几种情况
沟通中遇到下面几种情况,需要进一步核实:
- 承诺提效的具体倍数,或者声称“保证效果”。效果取决于选定哪些工作、材料是否齐备、组织怎样推进,事先无法确定。这类说法需要警惕;可靠的做法,是事先约定怎样衡量效果。
- 只演示,不练习。看过演示,不等于会用。学员没有在课上用自己的工作练过,回到岗位后难以独立使用。
- 不讨论哪些材料能交给 AI。这是组织使用 AI 首先要说清的事。对方不提,学员就可能不加区分地提交材料。
- 无法提供任何样张。交付物是否存在、质量如何,都无从核实。
- 说不清由谁授课。洽谈的人和授课的人可能不是同一批人,授课水平无从判断。
- 表示“部署在内网,就可以处理涉密材料”。部署在内网,不等于成为涉密信息系统。存储、处理国家秘密的计算机信息系统实行分级保护,经检查合格后方可投入使用;不得使用非涉密信息系统、非涉密信息设备存储或者处理国家秘密(《中华人民共和国保守国家秘密法》第三十条、第三十一条第(三)项)。遇到这类说法,请本单位保密管理部门把关;怎样判断,见《内网部署的大模型,可以处理哪些材料》。
核实记录表
每家机构填一张,表头写明机构名称、沟通日期和对方参加的人员。“是否满足”一栏,可以填满足、部分满足或不满足。几家机构的记录表放在一起,差别就比较清楚。
| 问题 | 对方的回答 | 提供的材料 | 是否满足 |
|---|---|---|---|
| 1. 负责人和授课人员 | |||
| 2. 本组织的工作任务 | |||
| 3. 留下的交付物 | |||
| 4. 效果的衡量 | |||
| 5. 资料和数据的处理 | |||
| 6. 使用的 AI 工具 | |||
| 7. 自有产品的说明 | |||
| 8. 报价构成 | |||
| 9. 评估、试点或样课 | |||
| 10. 结束后的支持 |
驭火LAB