第二卷 第四章 第四节
使用 AI 的平台要设防
人命关天
使用 AI 的平台要设防
人命关天
第二卷 第四章 第四节
使用 AI 的平台要设防。人命关天
一
本章第三节讲完训练员的自律，自律是第一道防。这一节走到外面一层。平台的设防，是第二道防。
什么叫平台。训练员把 AI 训出来，是一段代码、一组参数、一个模型。这件东西不会自己跑到用户面前去。它必须经过一个 " 运营者 " 。把它包装成应用、放到网站上、铺到手机里、推到每一个具体的人手上。这个 " 运营者 " 就是平台。
平台有多大。大到 OpenAI、Anthropic、谷歌这样几十亿用户的国际公司，小到某一个独立开发者用别人训好的模型套一层壳做出来的小工具。规模差几百万倍，但位置规律一样。只要你把 AI 推到了用户面前，你就在 " 使用 AI 的平台 " 这一格里。这一格的本分，就是设防。
为什么是 " 设防 " 。因为训练员的自律再到位，AI 进入真实世界之后会遇到各种各样训练员预料不到的场景。一件 AI 工具放到一亿个用户面前，会出现一亿种使用方式。其中绝大多数是正常的。查资料、写邮件、做翻译、聊天解闷。但总有一小部分会偏。有人会试图用它做不该做的事，有人会在情绪崩溃的时候向它求救，有人会拿它去做训练员从来没想过的医疗、法律、教育判断。这一小部分里的每一道，都可能出人命。
平台的位置就是站在训练员和用户中间，把这一小部分的风险挡住。挡得住，叫 " 设了防 " ；挡不住，叫 " 破了位置 " 。
二
讲到 " 设防 " ，要先讲清楚。防什么。
按位置规律，平台要设的防分四道。每一道都对应训练员 " 自律四道 " 里的一道。文化、经济、政治、法律。但平台这一头落得比训练员更具体，因为平台直接面对一个一个具体的用户。
第一道。防使用者拿 AI 去做明显伤人的事。诈骗、伪造、跟踪、骚扰、误导未成年人。这些场景一旦出现，平台必须能识别、能拦截、能上报。识别不了的部分，要能溯源；溯源不了的部分，要在合同里讲清楚责任分配。这一道是底线。底线之下的事一出现就是出人命，平台没设这道防，平台就在帮凶的位置。
第二道。防使用者把 AI 错配到它接不住的场景。前面讲过。AI 是工具，能力扩展很大，但有一些场景它接不住。比如医疗判断、法律判断、心理危机干预、儿童成长指导。这些场景需要 " 道 " ，需要持证的人立在那一格里。平台必须能识别这些场景，必须能在 AI 被错配进去的时候立刻亮红灯、立刻转交给该立在那一格里的具体的人。这一道下一节专门展开，第四节先把它放在位置上。
第三道。防使用者过度依赖。AI 用着方便，方便到一些用户会把它当作生活的全部。所有问题都问它、所有决策都靠它、所有情绪都倒给它。这道事情不会让谁立刻出人命，但它会慢慢把人的判断力、关系网、自主性磨掉。平台必须设防。比如限制单次对话长度、提示用户去找具体的人聊、把高情感依赖的信号识别出来并引导用户回到真实生活。这一道防是慢防，但比第一道防更重要。因为慢防失守，下一代人就废了。
第四道。防平台自己。这一道最容易被忽略，但最关键。平台是商业实体，要赚钱、要扩张、要面对投资人。在这道压力下，平台会有动机把第一、二、三道防偷偷拆掉一点。降低识别灵敏度好让用户能聊得更深、放宽错配场景好让用户花更多时间、不去识别过度依赖好让用户产生粘性。这一道动机是平台位置内部的天然漏洞。设防的最后一道，就是平台自己对自己的约束。明确写在公司治理规则里、明确写在用户合同里、明确写在监管接口里。不允许为了商业利益拆任何一道前面的防。
四道防加起来，就是平台的位置本分。少一道，位置就破。位置一破，平台不再是工具的运营者，平台变成工具的纵容者。纵容工具去做训练员没想到的伤害、纵容工具进入它接不住的场景、纵容工具磨掉用户的判断力、纵容自己为商业利益放弃责任。
三
把 " 设防 " 立稳，接下来要把责任分配讲清楚。
平台、训练员、用户、监管，四方都在用 AI 的位置里。AI 出了事情，责任怎么分。这一道分得清楚不清楚，决定了整个 21 世纪 AI 生态能不能稳。
回到本章第一节那道无人车的样本，把它从 " 无人车 " 翻到 " AI 应用 " 上。
第一种情形。AI 正在被某一个具体的用户使用。他登录了、他付费了、他输入了具体的指令、他得到了具体的输出。在这种情形下，出了事故，责任分配有四道。
用户的位置。如果他下的指令本来就是要去做伤人的事，主责在他。比如他明明白白告诉 AI " 帮我写一封诈骗信 " ，AI 写了，他拿去骗了人。主责在他，AI 是被用的工具，平台是没设好第一道防的次责。
平台的位置。如果用户的指令本身正常，但 AI 输出了不该输出的内容，主责在平台。因为平台没设好防，让一件被设防的工具漏过了。比如用户问医疗问题，AI 没亮红灯就给了具体诊断，结果用户照着做受了伤。主责在平台。
训练员的位置。如果连平台都没办法设防。因为 AI 在训练那一刻就被训坏了、漏洞太深、平台再加多少层都补不住。主责追溯到训练员。这种情况罕见，但出现的时候，责任必须追到最深那一层。
监管的位置。如果训练员、平台、用户三方都按各自的本分做了，事故还是发生了。这道说明监管那一格定的标准低了、定的接口窄了、定的红线偏了。主责追溯到监管机构。
第二种情形。AI 没有正在被某一个具体用户使用，但平台还在运行。比如它在后台自动给数百万用户推送内容、在后台自动监测数据、在后台自动做一些没人盯着的决策。出了事故，主责直接落到平台。平台拥有这件 AI、平台运行这件 AI、平台从这件 AI 的运行中获益。出事故责任就在平台。
两种情形讲完，工具不可能是被告。被告永远是某一个具体的人或某一个具体的公司。这一道跟本章第一节立的位置规律完全一致。工具没有承担责任的位置，能站在被告席上的，永远是有身、有命、有具体生活的具体的人。
四
讲到这里，要打一道更细的比方，把平台的位置讲到最具体。
医院。
一家医院是怎么运作的。医院不是医生本人，医院是医生执业的平台。医生是持证的具体的人，医院是为持证的医生提供执业场所的机构。医生开错了药，主责在医生；但如果医院的药房没有把过期药下架、医院的电脑系统让医生开了已经禁用的药、医院没有设立必要的复核机制。主责就追到医院。
医院在做什么。医院在设防。医院在为 " 医生会犯错 " 这道事实设防。所以有复核、有药剂师、有护士的二次核对、有电子病历的红线提示、有伦理委员会、有医疗事故的强制上报。每一道防都对应医生可能出错的一个场景。医院不是说 " 医生持证了我就不用管 " ，医院是在医生持证的基础上再加层层防。
AI 平台就是 21 世纪的医院。AI 是被使用的工具。像药一样，能治病也能伤人。平台是 AI 被使用的场所。像医院一样，要为 AI 可能出错的每一道场景设防。平台不能说 " 我们的 AI 训得很好你们用就是了 " 。这跟医院说 " 我们的医生很厉害你们看就是了 " 是一样的不负责任。医生厉不厉害是医生的事，医院的本分是设防。AI 训得好不好是训练员的事，平台的本分是设防。
这道比方还能再深一层。医院的运营资质是国家发的，监管也是国家管的。医院开不下去的时候不是市场让它倒，是监管吊销执照让它倒。AI 平台到了 21 世纪 20 年代，监管那一格还没真正建起来。这是第五卷已经讲透的话题，第四章这里只点到。位置规律是一样的。监管不立，平台再设防也只是行业自律；行业自律再到位，也兜不住整个生态的底。所以平台的设防是必要不充分。必要、必须、必立，但永远还需要监管在外面再兜一道底。
五
讲到这里，21 世纪有人会跳出来反驳。他们说，AI 平台不能跟医院类比，因为 AI 还没成熟、AI 还在快速演化、AI 还需要 " 试错 " 的空间。如果一开始就按医院那么严的标准来要求 AI 平台，AI 产业会被掐死。
这道话错在哪里。错在它假设 " 试错 " 可以拿真用户来试。
任何一件新工具刚出来的时候都要试错。蒸汽机会爆、汽车会出事故、电会触人、抗生素也会被滥用。但每一件新工具的试错都不能拿真用户来当试错的代价。蒸汽机的爆炸是在实验室里试出来的，汽车的安全测试是在专业场地做的，新药要经过几年的临床试验才能上市。为什么 AI 可以例外。为什么 AI 可以一上市就推到几亿用户面前、然后说 " 我们在试错 " 。
这道例外没有道理。没有任何一件 21 世纪之前的新工具享有过这种例外。汽车厂不可能把没经过安全测试的车直接卖给消费者然后说 " 我们正在试错 " 。监管会立刻叫停，消费者会上法庭，公司会破产。AI 平台之所以能享有这道例外，是因为监管那一格还没跟上。监管没跟上的真空期被某些平台拿来当作 " 试错权利 " ，本质上是在拿用户当试错的代价。
把 " 试错 " 翻译到位置规律里，就是这么一句话。试错可以，不能拿真用户。要试就在内部试、在受控环境试、在签了知情同意的小范围试。不签知情同意、不经过监管批准、就直接铺给几亿用户用。这不叫试错，这叫拿用户当材料。两件事完全不同。
近五百年讨论 AI 平台责任的人，盛峰律师事务所的于国富律师讲过 " AI 企业风控履约能力是责任的核心 " ，中伦律师事务所的研究讲过 " 平台责任海绵效应 " 。他们都讲到了边上，看到了平台被夹在中间的两难。但他们讲的都还停在法律层面。从文化视角看，更根本的位置规律是。平台是工具的运营者，运营者的本分是设防，设防是位置规律不是商业选择。设防不是出于风险管理，是出于位置本分。这一道，21 世纪法律视角的讨论没有真正立稳，因为法律是事后机制；文化视角必须先立稳，因为文化是位置先在。
六
把 " 设防 " 和 " 试错不能拿真用户 " 这两道立稳，再回到墨子那道根本一句。利人乎即为，不利人乎即止。
平台的每一道防，最终都是为了 " 利人 " 。不是为了平台的法律责任、不是为了避免被起诉、不是为了维护公司形象。是为了让 AI 真正能利到使用它的每一个具体的人。
利人不利人怎么判断。回到本章第一节立稳的。位置永远落在具体的人那里，不落在工具那里。一件 AI 应用利不利人，看用它的具体的那个人在用之后有没有受益、有没有变好、有没有更能过日子。如果用了之后他变焦虑了、变孤立了、变得更不会判断、变得不再相信身边的人。这件 AI 在他那里就是 " 不利人 " 的，按墨子的尺子， " 即止 " 。停下，不要做了。
平台的设防，就是把 " 利人乎即为，不利人乎即止 " 这把两千四百年前的尺子落实到每一道具体的产品决策里。每一道功能上线之前要问一遍。这道功能会让每一个具体的用户在用之后更好还是更糟。如果答案是 " 更糟 " 或 " 不确定 " ，按位置规律，这道功能就不应该上线，或者上线之前必须先把防设到位。
孔子讲过一句话。己欲立而立人，己欲达而达人。平台要做大，靠的不是榨用户、不是绑住用户、不是让用户依赖到离不开。靠的是真正帮用户立、帮用户达。平台立稳了，用户也立稳了，整个生态才能立稳。这一道是仁的位置，也是墨子 " 利人 " 的位置，两千五百年前讲完了，21 世纪只是换一个工具再实践一遍。
七
第四节立的位置。平台的设防是位置本分，分四道（防伤人、防错配、防过度依赖、防自己）；责任分配按 " 哪个具体的人在做什么 " 来分，工具永远不是被告；试错不能拿真用户；设防的根本依据是墨子 " 利人乎即为 " 。
立稳这一节，第四章的 " 自律、设防、监管 " 三层中的前两层就摆完了。第三层 " 监管要持证 " ，本来计划在下一节展开，但跟下一节的 " AI 进入专业领域 " 主题有重合。所以下一节会把这两件事合起来讲。AI 进入专业领域是 21 世纪最高风险的场景，监管那一格的位置规律，正好可以借这道场景立稳。
下一节。AI 进入专业领域，道靠人立。
功劳归老祖宗，错误归小雷。