今天分享的是：大模型下的多模态智能风控落地实践-王小东

报告共计：52页

《大模型下的多模态智能风控落地实践》由新希望金科AI中心总经理王小东分享，介绍了大模型在金融风控领域的应用，涵盖面临的问题、破局之道、解决方案、应用案例及未来展望，为金融风控提供了新的思路和方法。

大模型下金融风控的挑战

- 欺诈手段复杂多样：中介代接听、AB贷、反催收等欺诈手段不断出现，AI欺诈如换脸、换声、视频生成等技术手段日益高明，黑产/中介攻击手段升级，团伙作案更难发现。

- 模型性能遇瓶颈：模型KS提升有限，入模特征依赖结构化数据，建模方法传统。

风控破局之道

- 大模型+微调：大模型可解决正负样本积累、模型开发周期长等问题，通过小样本微调快速开发风控模型，非生成式大模型可参与策略决策。

- MaaS平台：提供模型开发、编排、部署、监控等功能，集成丰富资源，实现模型快速上线与共享。

- 视频流+大/小模型：利用视频流技术，基于多帧视频流建模，结合大模型和小样本微调提升风控能力，如在身份证、人像风控等方面发挥作用。

多模态智能风控解决方案

- 视觉风控：研发视觉风控基座大模型，通过数据准备、模型训练、子模型微调框架等环节，可基于模型微调完成图像子任务开发。

- 语音风控：语音大模型思路与视觉类似，先将语音转频谱图再建模，通过质量检测、模型微调提升风控能力。

- 模型编排与部署：模型编排实现可视化拖拉拽组装模型接口，MaaS平台提供在线IDE开发部署，方便模型加工与上线，形成模型集市方便共享查看。

应用案例

- 展示了在身份证、人像、多模态关系图谱、金融图像识别、微表情识别、房抵通、语音场景、OCR、身份防伪、视频双录等场景的落地应用，如身份证+活体+双录实时反欺诈等。

未来展望

- 大模型与AIGC结合虽带来风险，但也促使风控技术发展。未来将研究多模态关系网络、端到端风控、模态融合等，直接对音视频建模识别欺诈，提升模型泛化能力。

以下为报告节选内容