第 6 章：无监督模型——结构化数据
Linkedin领英：Baixin Guo
自媒体视频制作/公众号文章代做/翻译/AI智能体&工作流（大语言模型）搭建/科研&推文绘图/PPT制作也欢迎您的联系！期待您的合作！
科研/产品合作
团队提供AI支持，体育/健康/生物工程和人工智能，有数据即可（表现分析/体育工程/生物力学等领域都可以）我们可以做一切和AI交叉学科结合相关的科研支持，您需要提供自己领域内的数据。（有需求的各位联系我！）
第 6 章：无监督模型——结构化数据章节概述
在本章中，我们将探讨无监督模型。无监督模型的特点是没有目标。正如我们在第 3、4 和 5 章所了解到的，有监督模型会考虑过去的事件或历史信息以及一个目标，即我们预先知道结果的感兴趣的结果。而无监督模型则没有目标，其主要目的是基于解释变量和过去的数据来寻找见解或理解趋势。过去的数据可以分配给过去的事件，但这些事件不会被用作训练模型的目标。
在本章中，我们将讨论三种聚类技术：层次聚类、质心聚类（也称为划分聚类）和自组织映射（这是一种基于模型的聚类方法）。这些技术的最佳使用取决于业务目标、模型需要实现的目标以及结果在业务行动中的使用方式。
本章的主要目标如下：
• 解释使用统计无监督模型的目的。
• 理解与聚类相关的概念。
• 描述不同类型的统计无监督模型以及它们可能适用的情况。
• 描述使用所述聚类方法训练无监督模型所需的步骤。
• 根据业务目标解释聚类模型的结果。
无监督模型没有目标变量。因此，其目的是在数据集中寻找未知模式。当数据集中不存在目标时，用于构建分析模型的算法称为无监督算法。一种常见的无监督模型是聚类，它试图根据输入变量的相似性将数据集中的观测值或案例分组。
数据科学家可以在许多业务应用中使用无监督模型，包括：
• 数据降维是一种探索数据集中模式以创建原始信息更紧凑表示的方法。这与大多数旨在对观测值进行分组的聚类技术不同，这些方法旨在减少变量。尽管数据降维的范围更广泛，但它包括变量聚类等分析方法。这些变量聚类解释了聚类中包含的所有原始属性的很大一部分变异性。然后，数据科学家可以使用变量聚类来代替所有原始变量，或者从每个变量聚类中选择一个最具代表性的变量。
• 异常检测是一种寻找独特或先前未观察到的数据模式的新颖性检测方法。这些方法在商业、科学和工程领域都有应用。商业应用包括欺诈检测、保修索赔分析和一般业务流程监控。小的聚类或非常多样化的组可以被视为异常，并由寻求意外事件或交易的分析师进一步调查。
• 画像在聚类分析中广泛应用。其理念是创建隔离聚类或细分的规则，通常基于人口统计或行为测量。数据科学家可能会开发客户数据库的画像，以描述公司产品和服务的消费者。
大多数聚类方法的主要目标是将数据划分为组，使得每组内的观测值尽可能彼此相似。由聚类算法创建的分组也称为聚类或细分。创建组或细分的过程是一个训练过程。该算法可以应用于其他数据集来对新案例进行分类。这个过程类似于有监督模型评分。假设根据输入变量的一组规则和阈值创建了一个聚类。如果一个新的观测值遵循相同的规则和阈值，我们可以将这个新案例视为该聚类的一部分。
聚类的目的通常是描述性的。例如，将现有客户划分为组，并为每个组关联一个独特的画像，可能有助于未来的营销策略和营销活动。聚类作为预测建模的预处理步骤也很有用。例如，可以根据客户使用产品和服务的行为将他们聚类为更同质的组。然后，可以在每个聚类上训练一个预测模型，以预测客户是否会流失。假设在一家通信公司中，根据客户购买的产品和他们使用这些服务的方式，有许多不同类型的客户。然而，他们都有可能流失。由于他们的行为差异很大，一个单一的模型可能难以捕捉输入变量和目标之间的关系。
然而，如果我们创建行为更相似的客户组，每个组的模型就能捕捉到这些关系。
聚类通常在数值变量上进行。如果存在分类变量（这是很常见的），则必须以数值形式表示它们。有时，数据科学家会创建自己的虚拟代码来表示类别。虚拟代码是指将分类变量编码为二分变量，如二进制 0 - 1 变量。例如，假设一个输入变量有三个类别 A、B 和 C。虚拟代码方法创建三个变量，将 A 表示为 0 或 1，B 表示为 0 或 1，C 表示为 0 或 1。虽然有些人喜欢创建自己的虚拟代码的灵活性，但大多数统计软件可以自动执行此任务。
聚类方法高度依赖于测量单位。一般来说，方差较大的变量往往比方差较小的变量对聚类形成有更大的影响。例如，在基于工资和年龄的聚类中，我们可以假设所有工资的变化可能大于所有年龄的变化。
因此，使所有输入变量具有相同的尺度是很重要的。例如，考虑数据集中的所有工资，我们可能会观察到从 10,000 美元到 1,000,000 美元的范围。看看年龄，我们可能会观察到从 21 到 79 的范围。不仅工资的变化大于年龄的变化，而且工资的尺度也远大于年龄的尺度。一种好的方法是在将所有输入变量用于聚类之前对其进行标准化，使得工资从 0 到 1 变化，年龄也从 0 到 1 变化。
通过这样做，我们为每个变量提供了相同的机会，将观测值区分到不同的组中。
还建议仅使用与业务相关的客户信息。对于许多公司来说，通常会保留大量关于客户的信息，其中很多是外部的，与业务本身并没有很大的关联。
如果分类变量进行了虚拟编码，则可以使用它们。然而，如果这些变量有很多级别，虚拟编码会生成大量对聚类技术无用的新变量。如前所述，聚类通常在少数数值输入上进行。太多的变量会降低数据的整体变异性，使聚类算法难以捕捉观测值之间的相似性。最后，最好将独立变量分配给聚类过程。包含关于观测值相同信息水平的不同输入变量会增加输入空间的维度并降低整体变异性。
总之，聚类的一些重要要求如下：
• 对所有属性进行缩放或标准化。
• 考虑与业务目标相关的属性。
• 分类属性的级别不要太多。
• 属性具有区间测量水平（对分类属性进行虚拟编码）。
• 不要有太多的属性。
• 只使用独立属性。
在本章中，我们将学习以下聚类方法：
• 层次聚类在早期迭代中创建在聚类内层次嵌套的聚类。凝聚式聚类从每个点一个聚类开始，并反复合并附近的聚类。
• 基于质心的聚类通过尝试最小化某个指定的误差函数将数据集划分为聚类。K - means 聚类从 k 个聚类开始，并将数据点分配到最近的中心。该算法随时间移动质心和点，直到不再有移动。自组织映射根据观测值的属性相似性将观测值分配到聚类中。自组织映射（SOMs）是一种神经网络，提供从输入空间到聚类的拓扑映射。每个分配的观测值都会影响聚类。
层次聚类是观测值数据集的一种递归分区序列。如果数据是层次结构的，聚类可以用于生成主题层次结构。例如，网络目录提供文档的层次分类。数据科学家可以将文档搜索限制在与主题相关的网页子集中。
层次聚类算法创建聚类的层次结构，其中每个级别定义数据集的一个分区。层次聚类有两种形式：凝聚式，它迭代地合并案例；分裂式，它迭代地划分案例。
凝聚式：
1. 将每个观测值分配到其自己的聚类中。
2. 合并最相似的两个聚类。
3. 重复步骤 2，直到只剩下一个聚类。
分裂式：
1. 将所有观测值分配到一个聚类中。
2. 将最不相似的观测值划分为两个聚类。
3. 重复步骤 2，直到每个聚类中只有一个观测值。
层次聚类结构由一个称为树状图的图形表示。树状图是一种结构化图形，显示了层次聚类算法在原始数据集中执行的划分序列。分叉表示聚类过程中所有组的融合或合并，并帮助数据科学家确定在整个迭代序列中是否存在一个自然的聚类集，以便更好地将观测值分组在一起。在垂直树状图中，融合水平表示为分叉相对于水平轴的高度。较短的融合水平表示相似聚类的融合。较长的融合水平表示不同质聚类或不应合并的观测值组之间的融合。
选择合适的聚类数量并非易事，且取决于业务需求。有一些技术可用于评估和估计合适的聚类数量，包括间隙统计方法和领域知识。大多数技术通过统计分析来评估聚类内部和外部的变异性水平。间隙统计方法通过在均匀分布数据的假设下，评估不同聚类值的聚类内变异性及其期望值来工作。在大多数情况下，第二种也是最好的方法是领域知识。主题专家可以与数据科学家合作，了解业务需求、聚类的目的、基于聚类结果应采取的实际行动，并共同估计支持特定需求的合适组数。想象一下，一家公司试图根据不同的客户行为开展不同的营销活动。即使间隙统计方法告诉我们最佳聚类数量是 17，但营销和销售部门很难创建 17 个不同的活动、17 个不同的促销方案、17 个不同的呼叫中心话术等等。业务决策可能是确定四到五个聚类就足以满足此业务目的。
层次聚类有三个主要优点：
• 层次聚类易于实现且易于可视化解释。
• 生成的树状图对于理解层次聚类算法的序列以及帮助数据科学家选择合适的聚类数量非常有用。
• 数据科学家不需要指定算法所需的聚类数量。他们可以通过查看树状图、评估每个级别解释的变异性，并将其与业务需求进行比较，以交互方式研究最佳聚类数量。
层次聚类的缺点如下：
• 层次方法在大规模数据集上扩展性不佳。大多数层次方法的处理时间随着观测值数量的平方甚至立方而增加。随着添加到算法中的变量数量增加，运行聚类方法的时间也会增加。如果数据科学家试图保持输入集较小，最终可能没有足够丰富的信息将观测值聚类为有意义的组。
• 先前的合并或划分是不可撤销的。例如，如果在步骤 1 中两个观测值被聚类在一起，即使最终证明这是一个不好的连接，算法也无法撤销它。其他方法可以在后续步骤中递归地搜索更好的分布。
• 数据科学家不能使用层次聚类对新观测值进行评分。该算法主要用于描述性目的。
层次聚类方法可用于产品细分。其主要目标是将产品和服务分组为相似的组。这些不同的产品和服务组可用于创建不同的套餐和捆绑销售方案，以增加交叉销售和向上销售的机会。捆绑销售通常对客户具有吸引力的价格，同时在产品和服务方面提供更好的选择。从长远来看，这可以留住客户并改善与他们的关系。捆绑销售和套餐通常提供价格折扣，但会增加合同期限，确保公司有稳定的现金流。
基于质心的聚类（K - means 聚类）
本章介绍的第二种聚类方法是基于质心的聚类。基于质心的技术是一种划分聚类，它通过尝试最小化某个指定的误差或目标函数将数据集划分为聚类。K - means 聚类是最流行的划分聚类算法之一。K - means 试图通过最小化每个聚类中观测值与质心之间的欧几里得距离来划分数据集中的观测值。该算法包括四个主要步骤：
1. 选择 k 个初始均值作为聚类中心的起始“种子”值。
2. 将每个观测值分配到距离最近的聚类中心。
3. 根据分配的观测值计算每个聚类的新均值。
4. 迭代直到 k 个均值稳定。
K - means 算法的第一步是选择 k 的值，即聚类的数量。K 表示目标聚类数量。这里使用“目标”一词是因为在聚类过程中，质心的数量可能过多，无法将所有观测值划分为 k 个聚类。想象一下，你有一个包含 100 个观测值的数据集，并将 k 设置为 102。质心的数量比观测值多，因此至少有两个质心是空的。根据所有观测值输入的方差，在某些情况下，定义的一些质心可能是空的。例如，假设所有观测值都具有相同的值。那么所有观测值都将落入同一个质心。当然，这两种情况都是极端情况，但它说明了 k 是目标，即期望的聚类数量。我们可以将 k 视为最大聚类数量。
这些质心，称为种子，是随机选择的，作为最终聚类均值的初始猜测。这些种子通常从样本数据中选择，但也可以由用户指定。
在第一步中，计算训练数据中每个案例到每个种子（质心或聚类中心）的欧几里得距离。欧几里得距离给出了 n 维空间中任意两点之间的线性距离。案例被分配到最近的质心。由于距离度量是欧几里得距离，因此输入具有兼容的测量尺度非常重要。与层次聚类方法一样，所有输入都应该是数值的、独立的、相关的和标准化的（相同尺度）。
一旦所有观测值都被分配到质心，质心就会更新为等于上一步中分配给聚类的案例的平均值。换句话说，质心应该代表所有观测值的中心。然后，质心位置会更新以满足此规则。
现在，随着质心更新其位置，最终可能会有一些观测值比最初分配的质心更接近另一个质心。基于此，算法会将所有点重新分配到距离最近的质心的聚类中。
随着观测值的重新分配，质心需要重新定位。随着质心的重新定位，观测值需要重新分配，这个过程会一直持续，直到观测值不再重新分配。
为了避免算法无限运行，成员分配和均值计算过程会重复，直到聚类均值的位置没有显著变化，或者达到指定的最大迭代次数。当过程停止时，会进行最终的聚类分配。每个案例都被分配到一个唯一的聚类中。聚类定义可以应用于训练数据之外的新案例，以便新观测值可以被分配到最终的聚类中。
K - means 聚类的一个最重要的特点是该算法非常易于实现，可以处理大规模数据集，易于解释，最重要的是，可以用于对新案例或观测值进行评分。
尽管 K - means 聚类可能是数据科学中最流行的聚类算法之一，但它也有一些缺点。该算法需要猜测数据集中存在的聚类数量。大多数时候，很难猜测最佳聚类数量。通常，需要考虑多个最终聚类数量进行多次尝试，以确定最佳组数。这也取决于业务需求和基于最终聚类过程将采取的实际行动。K - means 算法受到种子的初始位置、异常值甚至训练期间观测值读取顺序的强烈影响。最后，很难对聚类的形状做出假设。聚类的形状假设是它们是球形的。如果数据中的实际潜在聚类不是球形的，那么 K - means 算法可能会产生不好的聚类。
案例：客户细分
K - means 聚类可用于根据客户的主要特征对客户进行分组。当观测值有许多不同特征时，K - means 聚类非常有用。一些属性包括客户如何消费产品和服务，其他属性包括他们的支付历史、支付方式、支付延迟情况等等。一些客户的属性是他们产生的收入、利润或成本。有些只是关于人口统计信息。所有这些信息一起可以区分具有相似特征和行为的客户组，这在营销活动、销售方法以及捆绑销售和套餐实验中非常有帮助。
例如，如果一组客户显示出高产品和服务使用率、高收入且无支付延迟，那么公司有必要让这些客户满意。可以针对这些客户开展忠诚度促销活动，以确保他们继续消费公司的产品和服务。其他一些客户可能符合不同的行为模式，具有平均使用率和收入，但完全没有支付延迟。这些客户可能代表大部分客户基础。尽管他们不是高收入创造者，但由于他们不延迟支付并持续使用产品和服务，他们可以被视为公司现金流的重要贡献者。应该有效地监控并尽可能留住他们。
然而，如果另一组客户频繁延迟支付，最终平均账单较高，那么公司有必要密切监控这些客户，因为他们有违约风险并可能影响公司运营。每个聚类或客户组都具有一组使其归为同一组的特征。这些信息可以有效地用于在更具体的营销活动中更好地定位客户基础。
自组织映射
自组织映射（SOM）算法是一种将聚类技术和投影算法的主要目标相结合以降低维度的方法。它不仅可以用于将观测值组织或分配到聚类中，还可以用于将多维数据投影到二维特征图上，其中输入变量之间的几何关系表示观测值的相似性。
自组织映射也是一种用于大型和复杂数据集的有用的数据挖掘和可视化工具。因为它们将多维输入空间（多个输入变量）表示为二维矩阵（表示聚类的晶格矩阵），所以可以用于将观测值绘制到二维图表中。这使得更容易评估数据集中所有观测值的输入变量分布情况。
自组织映射是一种使用无监督学习进行训练的人工神经网络。它们不同于我们在第 4 章中描述的基于目标进行训练的神经网络模型。自组织映射算法是一种基于竞争学习进行训练的神经网络。这个想法最初由 C. von der Malsburg 在 1973 年提出，然后由 T. Kohonen 在 1982 年进一步发展和完善。可以将其视为一个具有按行和列排列的单计算层神经元的神经网络。每个神经元包含一个权重向量，其中包含输入变量值和在网格中的几何位置。此外，每个神经元都与输入层完全连接。该模型创建一个地图或低维矩阵，其中包含输入空间的离散化表示。传统的有监督神经网络基于误差函数进行训练。从聚类角度来看，这种无监督神经网络基于邻域函数进行训练，以保留输入变量的属性。这就是分配给自组织映射的竞争学习。
低维矩阵需要像 K - means 聚类中的 k 一样预先设置。这创建了竞争学习的地图。例如，定义一个二维矩阵来表示来自输入数据集的所有观测值和所有输入变量。可以将这个过程视为降维，因为可能有数千行（观测值）和数百列（输入）被映射到一个更小的矩阵，也许是三行三列（九个单元格或九个组或聚类）。地图用代表输入空间的随机权重进行初始化。换句话说，地图中的每个单元格都有初始权重来代表观测值的输入。
比较神经元的响应。然后从矩阵中选择获胜神经元。
自组织算法的下一步是从训练数据集中随机选择一个输入向量。检查每个神经元以确定哪些权重与输入向量最相似。用于确定最相似神经元的算法是欧几里得距离计算。获胜节点通常被称为最佳匹配单元（BMU）。最接近 BMU 的神经元被称为邻居。每次为模型训练选取一个观测值时，都会将其与地图中的所有单元格进行比较。在图 6.9 的示例中，我们有九个单元格进行比较。在输入向量和所有单元格中的权重之间进行比较。然后将观测值分配到地图中最接近的单元格。递归过程确保在训练过程中模型会考虑每个观测值，将输入向量与单元格的权重进行比较。
选择的神经元及其邻域被激活。
在自组织映射网格中，BMU 和与其接近的神经元的权重朝着输入向量进行调整。这种权重更新的效果是使 BMU 和邻居更接近输入向量。
总之，一旦一个观测值被分配到一个特定的单元格，所有相邻单元格都会进行调整以考虑邻居的权重。这使得相似的观测值落入相同的聚类中，并使相似的聚类彼此靠近。这个过程会持续进行，直到训练样本中的所有观测值都被用于模型训练，并且地图中的所有单元格都根据观测值的分配进行了权重调整。
自适应过程改变所有权重以使其更紧密地类似于输入信号。
这个过程对训练数据集中的所有观测值重复进行，扭曲了神经元的初始排列。结果是一个符合给定输入数据的神经元排列。需要注意的是，网格的几何形状不会改变，只是网格会发生变形。这种对权重的交互式比较和调整代表了竞争学习，并创建了自组织映射，根据输入观测值创建了聚类的良好表示。
自组织映射算法有以下步骤：
1. 随机初始化所有权重。
2. 选择输入向量 ，其中 xi 是输入变量。
3. 将 x 与每个神经元 j 的权重 wj 进行比较，以确定获胜神经元。
4. 更新获胜神经元及其邻居，使其更像 x。
5. 调整参数：学习率和邻域函数。
6. 从步骤 2 开始重复，直到地图收敛，即权重没有明显变化或经过了预定义的训练周期数。
自组织映射的一个优点是该算法试图映射权重以符合输入数据，其主要目的是以更简单、更易理解的形式表示多维数据。这使得更容易可视化和理解输入数据的分布。
另一个好处是自组织映射可以用作降低输入数据维度的技术。最终的聚类网格使得更容易观察数据中的相似性。
在机器学习社区中，自组织映射越来越受欢迎，特别是考虑到可用于分析模型开发的数据量不断增加。自组织映射完全能够对非常大和复杂的数据集进行聚类。另一方面，在当前的计算能力下，自组织映射可以在短时间内进行训练。
自组织映射的一个缺点是神经元需要大量数据才能创建有意义的聚类。如果神经元获得的信息太少或太多无关信息，聚类可能不准确或无信息价值。
另一个与自组织映射相关的缺点是假设附近的数据点行为相似。如果这个假设被违反，自组织映射将不会收敛到有用和有意义的聚类。结果，在聚类过程结束时，我们可能会发现一些包含输入数据集中大部分观测值的组，以及几个包含很少案例的组。
案例研究：破产行为
客户的破产行为可能会给公司带来数百万美元的损失。然而，并非所有破产客户都具有相同的特征。为了节省公司资金，可以使用自组织映射在所有破产客户中突出显示较好的破产客户。如前所述，客户行为可以由多个维度组成，考虑多种类型的属性。大多数聚类技术发现处理大量输入变量很困难。自组织映射不仅能够处理大量数据，还能处理高维输入空间和复杂数据。考虑到客户行为，特别是与无法管理的债务相关的行为，以下是一些可能的属性：
• 按发票金额百分比计算的支付行为
• 支付延迟的频率和近期性
• 客户人口统计信息
• 债务金额和期限
• 与债务相关的产品和服务
• 客户账龄、细分、状态
• 信用评分
聚类评估
数据科学家在评估聚类时需要创造力和协作。他们需要创造力来理解每个聚类背后的业务方面的差异，并将这些主要特征与公司目标相关联。他们需要协作，因为这个过程涉及大量业务知识，有时特定于某个部门或业务行动，如营销活动、促销或客户关系。数据科学家经常需要与来自不同部门的业务分析师合作，以更好地理解每个聚类的含义，以及如何将它们与业务方法相关联。
聚类解释通常涉及手动检查与每个聚类相关的平均属性以及与整个总体的差异。它还可能需要与先前进行的现有分析进行比较。从技术上讲，数据科学家可以基于质量度量或距离度量来评估聚类，评估每个聚类内的相似性。
聚类画像
一个优点是聚类画像可以辅助营销过程。数据科学家可以构建客户细分，以了解如何最好地向每个客户群营销产品或产品集。
聚类画像可能不是非常稳健。例如，如果数据科学家使用不同的数据子集、不同的聚类方法或不同的聚类数量，聚类画像可能会有所不同。
聚类画像可能导致营销细分。以下是聚类分析中使用的一些预测变量：
• 人口统计信息——年龄、性别、收入、教育程度和种族
• 地理信息——邮政编码、城市、气候、城市、郊区和农村
• 生活方式——兴趣、观点和社会阶层
• 行为——购买习惯、品牌忠诚度和价格敏感度
当聚类被画像后，数据科学家可以定制营销信息，使其更针对特定受众。例如，数据科学家可以将广告针对更有可能购买产品的消费者，而不是发送通用的大规模营销信息。这可以通过广告提高客户获取率并降低成本。
其他主题
通过客户细分，基于细分构建的预测模型通常比使用整个样本构建单个模型时产生更准确的预测。
聚类段也可以用作预测模型（如逻辑回归）中的预测变量。使用聚类段可能会提高模型的预测准确性。
虽然通常认为聚类会产生可解释的结果，但情况并非总是如此。聚类算法可能会产生难以解释的结果。解释是由用户定义的。
选择用于聚类的变量是一个关键决策，将对聚类解决方案产生重大影响。变量选择不当会导致难以解释的聚类画像。
总结
本章介绍了数据科学中一种常见的分析方法——聚类。介绍了最流行的方法，层次聚类、K - means 聚类和自组织映射，并以业务案例作为示例。无监督模型在数据科学中是一种非常特殊的方法，特别是因为它们是一种没有目标的模型。这使得难以从准确性和适用性方面评估模型结果。然而，无监督模型在数据科学中作为解决业务问题的分析方案非常常见。它们易于理解并且容易转化为业务规则。
无监督模型的主要目标是寻找见解并突出数据集中的主要特征，将相似的观测值分组到相同的聚类中。聚类模型通常是数据科学家在研究客户行为、产品和服务消费以及任何类型的数据集细分时首先开发的分析方法之一。它可以用作在训练有监督模型之前使数据集同质化的方法。例如，对不同类型的流失进行聚类，然后为每个聚类训练一个有监督模型。这种方法最终比在整个数据集上拟合单个模型具有更好的整体准确性。