安全不是一个功能,而是地基
当用户是孩子,安全就不能是一个你去打开的开关,而必须是其他一切决定赖以建立的地基。
多数产品把安全外挂,我们从这里起步
先把聪明的产品做出来、再补上护栏,这很诱人。但面对孩子,这个顺序是反的——事后加的过滤器,只能覆盖作者恰好想到的那些情况。
我们是先设计安全审核,再设计课程。孩子发出的每一条消息、教练给出的每一句回复,在呈现之前都会先经过多层检查。
危机时刻,不是临场发挥的地方
如果孩子流露出痛苦的信号,生成式模型绝不该即兴发挥。我们的危机干预是确定性的:固定的、经人工审定的措辞,以关怀回应,并指向真实的求助资源。相同的输入,永远得到相同的、安全的输出。
每一层都默认别的层会漏
一个不错的过滤器,本质上是一个营销做得不错的单点故障。所以我们的流水线有七层,而不是一层:AI 之前有检查,AI 之内有规则,AI 之后有审核——每一层的设计前提,都是别的层偶尔会漏。
这个前提带来两个值得了解的结果。第一,教练的回复从不边生成边上屏;完整的回答先缓冲、先审核,通过了才显示。第二,如果某个安全层自己坏了——宕机、报错——我们选择拦下消息,而不是挥手放行。卡住的门,就让它关着。
这一切在正常运转时是看不见的,而这正是标准所在:最安全的教室,就是门口永远不发生任何「有意思的事」的那一间。
这块地基让我们付出了什么
把一切建在安全上,不是免费的。我们宁愿把价格告诉你,也不愿假装它不存在。回复先缓冲再审核,意味着孩子要比用一个「裸」聊天机器人多等一拍。「故障即关闭」意味着安全层一旦宕机,作业辅导也跟着停摆,直到我们修好。拒绝行为画像和广告,意味着放弃消费级软件里最容易赚的那笔钱。
这三笔账,我们付得都不算纠结,因为另一边的价格更贵:一条本不该出现的快速回复,一扇坏了却敞开的门,一个需要你的孩子一直在线的商业模式。慢让人不耐烦,不安全让人不能接受。这条不对称,决定了产品里的每一次取舍。
我们拒绝去做的事
我们不向孩子投放广告,不建立行为画像,不出售个人数据;为提问而发来的照片,用于答题之后即被丢弃。
这些都不是什么高级套餐里的特权——这是底线。