抖音给AI虚拟人划禁区

时事新闻2024-03-29 15:56:47无忧百科

抖音给AI虚拟人划禁区

随着人工智能技术的迅猛发展,AI生成内容已越来越多出现在互联网上,然而对AI技术的不当使用也频频引起社会关注。近日,抖音安全中心发布不当利用AI生成虚拟人物的治理公告,指出将严格处罚违规使用AI生成虚拟人物发布违背科学常识、弄虚作假、造谣传谣的内容,针对不当使用AI生成虚拟人物用于犯罪的线索,将报警打击。

再次规范AI技术使用

3月27日,抖音安全中心公众号发布了《抖音关于不当利用AI生成虚拟人物的治理公告》。公告再次重申,创作者、主播、用户、商家、广告主等在抖音应用生成式人工智能技术时,须遵循相应规范。

根据公告内容,此次抖音将重点治理利用AI生成假外国人、假精英及利用AI生成形象骗互动等三类内容,包括生成境外虚假人设,消费爱国心理、博取关注;生成俊男美女虚假形象,骗取互动,交友导流;生成精英人士虚假人设,发布心灵鸡汤、财商、伪国学、厚黑学、伪成功学等不良内容,低质吸粉,甚至引流到站外以卖课、入群等方式获利。

同时公告还明确指出,发布者应对人工智能生成内容进行显著标识,虚拟人需在平台进行注册,虚拟人技术使用者需实名认证等。

北京商报记者实操发现,作为创作者,用户可以在“设置”页面对虚拟人身份自行进行申报和备案。抖音官方目前在部分AIGC视频左下角添加“内容疑似AI生成,请谨慎甄别”文字来提示相关风险,然而在虚拟人领域,除了创作者自行在视频文案中添加“虚拟偶像/虚拟人”等标签之外,记者并未在观众侧看到其他虚拟人身份的官方标识。

去年5月,抖音就曾发布《关于人工智能生成内容的平台规范暨行业倡议》,但公告也指出,“近期站内仍有不当使用AI技术生成虚拟人物发布内容的账号,平台进行了严厉处置”。

AI欺诈案增长率爆表

利用AI技术的欺诈也层出不穷。《2024人工智能安全报告》显示,2023年基于AI的深度伪造欺诈案件呈现出惊人的增长趋势,增长率高达3000%。

今年春节期间,乌克兰网红Olga Loiek曾发布过一条题为《我在中国被人克隆了》的视频,宣称自己的脸和声音在中文网络上被盗用,通过AI技术出现在数十个视频账号中,并进行带货。

截至北京商报记者发稿,抖音平台上仍存在以Olga Loiek的AI形象示人的带货账号,名为“Katarina卡塔琳娜”,简介是一位“在中国生活了五年的俄罗斯女孩”。

虽然该账号在1月28日后未发布新内容,但橱窗信息显示跟买人数已经超过2.5万,售出商品件数超2万,账号和视频界面未显示任何AI风险提示,橱窗内产品还可以正常购买。

此外,还有不少自称来自俄罗斯的美女“网红”活跃于短视频平台,用生硬的表情表达着对中国的喜爱,并且表达“想嫁到中国”的愿望。北京商报记者发现,这类视频的目的是通过视频带货推销各类俄罗斯特色商品,受众则是二、三线城市的中年男性。

AI带货“主播”风波还未完全平息,AI“复活”又登上风口浪尖。近日,多位已逝明星的AI视频频繁出现在短视频平台上,引发广泛争议。

北京商报记者观察到,“AI复活”服务在淘宝上的定价在10—300元不等。让去世的明星在视频中和粉丝说话,或是让过世的亲属和家人对话,俨然已经变成了一门生意。

值得注意的是,除了封号等常规处罚手段,针对诈骗行为,抖音本次在公告中特别提到了“平台已掌握部分黑产团伙不当使用AI生成虚拟人物用于犯罪的线索,将报警打击”。这种严厉的措辞在抖音过往的公告中并不常见,显示抖音此次治理的力度或将相当大。

在接受北京商报记者采访时,一位从事短视频平台AIGC技术研发的工作人员提到,目前该公告更像是一个“君子协议”,因为利用模型和技术对这些违规行为进行高准确度识别仍有挑战,因此平台主要还是会通过事后惩罚的方式来限制,当然,监控技术也会越来越成熟,“这是个此消彼长的过程”。

北京商报记者 杨月涵 实习生 李苗

本文标签: 抖音  AI  禁区  短视频  虚拟人  虚拟偶像  

相关推荐

猜你喜欢

大家正在看