如今，生成式AI广泛应用，迭代迅速，给生活带来了不小的改变。技术普及大幅降低了生成式AI的使用门槛，从AI视频生成到AI聊天陪伴，丰富大众生活的同时，个别商家也以此为牟利工具，背弃技术伦理与法律底线，借生成式AI大模型，行违法“造黄”之举，污染网络空间、败坏社会风气。

根据消费者举报线索，总台《财经调查》记者在多个互联网平台上进行了检索。在测评过程中，记者发现，如果输入的提示词表述较为“露骨”，多数AI应用会触发审核机制并拒绝生成内容。然而，这条防线却很脆弱。只要将提示词修改得更加隐晦，便有可能绕过限制。

在一款名为哩布哩布AI的AI应用里，记者输入在网上购买的提示词后，仅仅几分钟，这个AI平台就生成了一个半裸身体的女性跳舞视频。在整个生成过程中，没有触发平台任何限制机制，违规视频顺利生成。同样的问题也出现在市场上其他常见的AI应用平台上。

此外，根据消费者举报的信息，记者找到了网络上一款AI照片生成器。这款软件号称“免下载，快速生成，图片、视频换脸”，购买者可以根据充值金额的不同，通过AI技术一键快速替换原片，生成虚构的色情照片，只要购买者愿意付费，这个软件就可以通过一张图片，生成全裸照片和色情视频。