《2025年人人懂AI之从机器学习到大模型报告》旨在为IT从业者和学生介绍AI技术原理及应用,帮助读者理解AI并实践构建AI应用。
1. AI基础原理:AI通过从数据样本中运用数学和统计学理论进行算法训练,得出模型以对新输入做决策,可分为机器学习和知识推理,当前主要指机器学习,其又包含监督学习、非监督学习和强化学习。以房价预测为例,详细介绍了监督学习的训练及推理过程,包括数据搜集预处理、模型选择、损失函数定义和梯度下降算法等,多变量扩展时处理方法类似但计算量增加 。
2. 深度学习与神经网络:神经网络源于对医学神经网络的类比,深度学习是机器学习分支,其神经网络由输入层、隐藏层和输出层构成,可处理图像、语音等复杂数据。以图像处理为例,介绍了激活函数、Softmax、卷积、多输入输出通道、1*1卷积、池化、全连接等概念及运算,它们分别用于打破线性关系、多分类、提取空间特征、调整通道数量、降低维度、实现分类预测等。还介绍了经典CNN网络如LeNet,以及如何用PyTorch搭建神经网络和在云上搭建深度学习notebook开发环境。
3. AIGC与大模型:AIGC带来新变革,在多领域得到应用,大语言模型(LLM)是其中关键。语言数据具有时序和上下文关联特征,文本转向量的方法有One-Hot编码和Embedding算法。LLM应用开发新范式是对话即编程,但存在“知识茧房”问题,可通过构建知识库结合语义检索来破解。介绍了知识库+LLM智能问答系统的构建流程,以及Langchain框架的功能、优缺点和使用方法,并提供了在云上搭建Langchain-ChatGLM LLM环境和LLM+知识库智能问答钉钉机器人的实践指导。
4. AI技术的应用与思考:产业界围绕AI算法、算力、数据及应用进行探索,学术界聚焦模式识别、机器学习等领域研究。将AI技术融入产品时,需从场景、数据、算法和算力三方面评估,思考用AI解决的问题、数据样本情况以及是否具备研发团队和资源。