【SparkML系列1】相关性、卡方检验和概述器实现

本文主要是介绍【SparkML系列1】相关性、卡方检验和概述器实现，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Correlation(相关性)

计算两组数据之间的相关性在统计学中是一种常见的操作。在spark.ml中，我们提供了计算多组数据之间成对相关性的灵活性。目前支持的相关性方法是皮尔逊（Pearson）相关系数和斯皮尔曼（Spearman）相关系数。

相关性计算使用指定的方法为输入的向量数据集计算相关性矩阵。输出将是一个数据框，其中包含向量列的相关性矩阵。


import org.apache.spark.ml.linalg.{Matrix, Vectors}
import org.apache.spark.ml.stat.Correlation
import org.apache.spark.sql.{Row, SparkSession}/*** @description 相关性测试* @date 2024/1/31 14:32* @author by fangwen1*/
object CorrelationExample {def main(args: Array[String]): Unit = {val spark = SparkSession.builder.master("local[*]").appName("CorrelationExample").getOrCreate()import spark.implicits._val data = Seq(// 创建稀疏向量Vectors.sparse(4, Seq((0, 1.0), (3, -2.0))),// 创建密集向量Vectors.dense(4.0, 5.0, 0.0, 3.0),Vectors.dense(6.0, 7.0, 0.0, 8.0),Vectors.sparse(4, Seq((0, 9.0), (3, 1.0))))val df = data.map(Tuple1.apply).toDF("features")val Row(coeff1: Matrix) = Correlation.corr(df, "features").headprintln(s"Person correlation matrix:\n $coeff1")val Row(coeff2: Matrix) = Correlation.corr(df, "features", "spearman").headprintln(s"Spearman correlation matrix:\n $coeff2")}
}

假设检验

假设检验是统计学中一种强有力的工具，用于确定一个结果是否具有统计学意义，即这个结果是偶然发生的还是有一定的必然性。Spark ML目前支持用于独立性检验的皮尔逊卡方（χ²）检验。

卡方检验

卡方检验对每个特征与标签之间是否独立进行皮尔逊独立性检验。对于每个特征，将（特征，标签）对转换成列联表，然后计算卡方统计量。所有的标签和特征值必须是分类的。

Refer to the ChiSquareTest Scala docs for details on the API.


import org.apache.spark.ml.linalg.{Vector, Vectors}
import org.apache.spark.ml.stat.ChiSquareTest
import org.apache.spark.sql.SparkSession/*** @description 卡方校验* @date 2024/1/31 14:57* @author by fangwen1*/
object ChiSquareTestExample {def main(args: Array[String]): Unit = {val spark = SparkSession.builder.master("local[*]").appName("CorrelationExample").getOrCreate()import spark.implicits._val data = Seq((0.0, Vectors.dense(0.5, 10.0)),(0.0, Vectors.dense(1.5, 20.0)),(1.0, Vectors.dense(1.5, 30.0)),(0.0, Vectors.dense(3.5, 30.0)),(0.0, Vectors.dense(3.5, 40.0)),(1.0, Vectors.dense(3.5, 40.0)))val df = data.toDF("label", "features")val chiDf = ChiSquareTest.test(df, "features", "label")chiDf.printSchema()val chi = chiDf.head()println(s"pValues = ${chi.getAs[Vector](0)}")println(s"degreesOfFreedom = ${chi.getSeq[Int](1).mkString("[",",","]")}")println(s"statistics = ${chi.getAs[Vector](2)}")}
}

Summarizer（概述器）

我们通过概述器为数据帧提供向量列的汇总统计信息。可用的指标包括列最大值、最小值、平均值、总和、方差、标准差以及非零元素的数量，还有总计数。


import org.apache.spark.ml.linalg.{Vector, Vectors}
import org.apache.spark.ml.stat.Summarizer.{mean, metrics, variance}
import org.apache.spark.sql.SparkSession/*** @description 概述器* @date 2024/1/31 15:09* @author by fangwen1*/
object SummarizerExample {def main(args: Array[String]): Unit = {val spark = SparkSession.builder.master("local[*]").appName("SummarizerExample").getOrCreate()import spark.implicits._val data = Seq((Vectors.dense(2.0, 3.0, 5.0), 1.0),(Vectors.dense(4.0, 6.0, 7.0), 2.0))val df = data.toDF("features", "weight")//mean: 用于计算向量列的均值。//metrics: 允许用户指定需要计算的多个统计量，例如均值、方差、总和等。//variance: 用于计算向量列的方差。val (meanVal, varianceVal) = df.select(metrics("mean", "variance").summary($"features", $"weight").as("summary")).select("summary.mean", "summary.variance").as[(Vector, Vector)].first()println(s"with weight: mean = ${meanVal}, variance = ${varianceVal}")val (meanVal2, varianceVal2) = df.select(mean($"features"), variance($"features")).as[(Vector, Vector)].first()println(s"without weight: mean = ${meanVal2}, sum = ${varianceVal2}")}
}