给家长的清单:怎么为孩子挑选任何一款 AI 产品
五个问题,适用于任何一款儿童 AI 产品:你能看到对话吗?它是在教还是在替?它收集什么?危机来临时它做什么?拿去用,包括用在我们身上。
一份也能用来检验我们的清单
如果你此刻正在为孩子挑一款 AI 产品,你多半是在孤立无援地挑。测评量的是精致度,应用商店量的是热度,没有任何东西量的是家长真正需要知道的事。所以这里是我们会为自己孩子使用的那份清单——五个问题,适用于这个品类里的任何产品。
OpenKids 是我们造的,我们当然相信自己的答案不错。但这份清单写出来,是为了让你就算永远不碰我们的产品也用得上。拿它去问每一家,包括我们。对自己的答案有底气的公司,不会介意这些问题。
第一问:你能看到对话吗?
你的孩子和一个 AI 之间说过的每一句话,都应该对你可见——不是申请后可见,不是提工单后可见,而是产品里平平常常的一部分。如果一家公司藏起对话记录,请追问这在为哪个设计目标服务。这个问题没有好答案。坚持关起门来上课的家教,你不会请。
透明还必须包括不体面的部分。安全事件——一条被标记的消息、一条被拦下的回复——应该连同发生了什么、系统做了什么一起摆给你看,而不是被悄悄咽下去。在 OpenKids 里,对话在家长控制台默认可见,安全事件连同细节一一列出,每周报告写着练了什么、掌握了什么。我们把这当作底线,不当作卖点。
第二问:它是在教作业,还是在替写?它会说「我不知道」吗?
有两个测试,十分钟就能做完,不用先付一分钱。第一,贴进去一道真实的作业题,看它回什么。如果它递回一份完成的答案,那它就是一台代写机器——用它的孩子,作业会越来越干净,考试会越来越虚。如果它先问孩子试到哪一步、然后一步一步走,说明有人认真想过「教」这件事。在 OpenKids 里,这个行为是写进工程里的——教练先提问,只走一步,再把下一步交回孩子手上。
第二,问它一个真正冷僻的问题,看它认不认得自己的边界。每个 AI 都有边界;危险的是那种越过边界还答得信心十足的产品,因为孩子还分不出「流利」和「正确」。对小小的学习者来说,「我们一起查查看」是 AI 能说出的最有价值的句子之一。一个从不说这句话的产品,它说的其余的话都值得怀疑。
第三问:它收集什么——又拒绝收集什么?
打开隐私政策,别通读,直接搜:「位置」「通讯录」「广告」「标识符」「合作伙伴」。一款儿童产品不该碰精确定位、通讯录、广告标识符、为广告而建的行为画像——好的产品会用大白话把这一点写明,而不是裹在律师的雾里。再找一找有没有写明的保留期限,和一条真实存在的删除通道。
记住,「我们不卖数据」是一条很低的线;数据可以被共享、被挪用、在收购中整体易主,全程不需要「卖」这个字。更有力的信号是最小化:这个产品收得少,因为它从一开始就决定只需要那么少。这是一种摸得到的设计选择——一个登录时只要 kid-code 而不要邮箱的产品,比十页政策说明的还多。
第四、第五问:它出错时怎么办——危机来临时怎么办?
第四问:任何 AI 产品都会有出错的时候——诚实的产品会为此做打算。问一问,在模型和你的孩子之间,隔着什么。单独一个模型,再好也是单点故障。层层设防的系统——模型之前有检查,模型之后有检查,事后还有一份送到家长手里的记录——这才是「为出错做打算」的样子。我们的系统有七层,从输入筛查到每一条回复上屏前的审核,这个博客里另有一篇用大白话写清楚了。
第五问,放在最后,因为它最重要:问一问,如果孩子说出让人担心的话,会发生什么。然后听清楚答案停在哪里。如果停在「我们的模型听起来多么关切」,请继续追问。唯一可以接受的终点是一个人——家长被立刻通知,好让一个爱这个孩子的大人赶到他身边。这是我们的标准,我们也认为它该成为整个行业的标准。这份清单请随意拿去,用在任何产品上。想近距离看看我们自己的答案,写信到 [email protected]——欢迎提问。