据平安包头微信公众号消息，近日，包头警方发布一起利用人工智能(AI)实施电信诈骗的典型案例，福州市某科技公司法人代表郭先生10分钟内被骗430万元。

随着AI大模型技术越来越成熟，电信诈骗的形式已不仅仅局限在老套路中，而是通过仿真语音和图像骗取别害人的信任。此时以往的反诈手段出现了失灵，新时代AI监管的发展可以说势在必行。

防不胜防！10分钟被骗走430万

【资料图】

4月20日中午，郭先生的好友突然通过微信视频联系他，自己的朋友在外地竞标，需要430万保证金，且需要公对公账户过账，想要借郭先生公司的账户走账。

基于对好友的信任，加上已经视频聊天核实了身份，郭先生没有核实钱款是否到账，就分两笔把430万转到了好友朋友的银行卡上。郭先生拨打好友电话，才知道被骗。骗子通过智能AI换脸和拟声技术，佯装好友对他实施了诈骗。

值得注意的是，骗子并没有使用一个仿真的好友微信添加郭先生为好友，而是直接用好友微信发起视频聊天，这也是郭先生被骗的原因之一。骗子极有可能通过技术手段盗用了郭先生好友的微信。幸运的是，接到报警后，福州、包头两地警银迅速启动止付机制，成功止付拦截336.84万元，但仍有93.16万元被转移，目前正在全力追缴中。

从这个事件中，诈骗犯使用的信息技术手段十分高明，这其中肯定是有了解受害人的背景资料，并且诈骗的流程设计得非常巧妙，如果受害人没有及时发觉问题，那么这个损失或将很难追回。

AI监管势在必行

在年初 ChatGPT导致用户数据泄露事件发酵之后，从2023年3月开始，针对大模型人工智能的监管政策持续出台，监管内容范围不断扩大，监管技术不断升级，监管主体由点到面走向国际化。

大模型人工智能的监管范围在不断扩大。从对人工智能产品的著作权、社会影响的监管，到对人工智能算法的监管，实现“AI向善”。

4 月 14 日，为促进生成式人工智能技术健康发展和规范应用，国家互联网信息办公室起草了《生成式人工智能服务管理办法(征求意见稿)》，并向社会公开征求意见。意见指出，提供者应当对生成式人工智能产品的预训练数据、优化训练数据来源的合法性负责。提供者不得非法留存能够推断出用户身份的输入信息，不得根据用户输入信息和使用情况进行画像，不得向他人提供用户输入信息。

人工智能的监控技术也在不断地升级，从简单的软件解决方案，向更加复杂的软件和硬件相结合，以及生物特征识别等方向发展。当前，以美亚柏科”慧眼“为代表的内容是否由 AI 创作辨别的工具需求不断扩大。

“慧眼”覆盖了40多种视频图像真伪鉴定算法，近10种深伪鉴定算法。它还拥有智能鉴定和专业鉴定两种鉴定模式，还支持卷宗管理和三种鉴定文书的生成，为鉴定人员提供了一站式的视频图像检验鉴定服务。

“慧眼”不仅能够对传统伪造手段篡改过的照片产生理想的识别效果，还能够对采用深度伪造技术的换脸、美颜、人像、同一张或不同一张照片复制后的照片产生十多种识别效果。在未来，由 OpenAI创始人创立的一家基于生物特征的人工智能监管公司有望成为主流，该公司采集人脸图像后，对人脸图像进行哈希处理，然后将人脸图像永久删除，同时利用开源的Semaphor零知识证明系统来加强隐私保护。

未来国内大模型 AI 监管有望在政府带领下不断发展，民生证券建议关注三六零、美亚柏科、浩瀚深度、吉大正元、中新赛克、三未信安、信安世纪、奇安信、启明星辰、深信服，天融信等已经拥有或正在研发大模型 AI 监管技术的公司。