本文主要是介绍Spark Mllib之基本统计 - 基于RDD的API，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1.概要统计(Summary statistics)
我们通过Statistics中提供的函数colStats为RDD [Vector]提供列摘要统计信息。
colStats（）返回MultivariateStatisticalSummary的一个实例，其中包含列的max，min，mean，variance和非零数，以及总计数。
| SparkConf conf = new SparkConf().setMaster("local").setAppName("BasicStatistics"); JavaSparkContext context = new JavaSparkContext(conf);
JavaRDD<Vector> mat = context.parallelize(Arrays.asList(Vectors.dense(1.0, 10.0, 100.0), Vectors.dense(2.0, 20.0, 200.0), Vectors.dense(3.0, 30.0, 300.0)));
// 计算列的摘要统计 MultivariateStatisticalSummary summary = Statistics.colStats(mat.rdd()); System.out.println(summary.mean());// 密集向量，表示每一列的平均值 System.out.println(summary.variance()); // 列方差 System.out.println(summary.numNonzeros());// 每一列的非零值数目
context.stop(); |
2.相关性
计算两个数据系列之间的相关性是统计学中的常见操作。在spark.mllib中，我们提供了计算许多系列之间成对相关性的灵活性。目前支持的相关方法是Pearson和Spearman的相关性。
Statistics 提供了计算序列之间相关性的方法。根据输入类型，两个JavaDoubleRDD或JavaRDD <Vector>，输出将分别为Double或相关矩阵。
| // 相关性计算 JavaDoubleRDD seriesX = context.parallelizeDoubles(Arrays.asList(1.0, 2.0, 3.0, 3.0, 5.0)); JavaDoubleRDD seriesY = context.parallelizeDoubles(Arrays.asList(11.0, 22.0, 33.0, 33.0, 555.0)); double correlation = Statistics.corr(seriesX.srdd(), seriesY.srdd(), "pearson");// 默认使用pearson相关性 System.out.println("相关性为：" + correlation);
JavaRDD<Vector> data = context.parallelize(Arrays.asList(Vectors.dense(1.0, 10.0, 100.0), Vectors.dense(2.0, 20.0, 200.0), Vectors.dense(5.0, 33.0, 366.0))); // 计算相关性矩阵 Matrix matrix = Statistics.corr(data.rdd()); System.out.println(matrix); |
3.分层抽样(Stratified sampling)
与驻留在spark.mllib中的其他统计函数不同，可以对RDD的键值对执行分层抽样方法sampleByKey和sampleByKeyExact。对于分层抽样，可以将键视为标签，将值视为特定属性。例如，键可以是人或女人，或文档ID，并且相应的值可以是人口中的人的年龄列表或文档中的单词列表。sampleByKey方法将翻转硬币以决定是否对样本进行采样，因此需要对数据进行一次传递，并提供预期的样本大小。sampleByKeyExact比sampleByKey中使用的每层简单随机抽样需要更多的资源，但是会提供99.99％置信度的精确抽样大小。 python目前不支持sampleByKeyExact。
sampleByKeyExact（）允许用户准确地采样⌈fk⋅nk⌉∀k∈K项，其中fk是键k的期望分数，nk是键k的键值对的数量 ，K是一组键。
| // 分层抽样 List<Tuple2<Integer, Character>> list = Arrays.asList(new Tuple2<Integer, Character>(1, 'a'), new Tuple2<Integer, Character>(1, 'b'), new Tuple2<Integer, Character>(2, 'c'), new Tuple2<Integer, Character>(2, 'd'), new Tuple2<Integer, Character>(2, 'e'), new Tuple2<Integer, Character>(3, 'f'));
JavaPairRDD<Integer, Character> data1 = context.parallelizePairs(list);
ImmutableMap<Integer, Double> fractions = ImmutableMap.of(1, 0.1, 2, 0.6, 3, 0.3); JavaPairRDD<Integer, Character> javaPairRDD = data1.sampleByKey(false, fractions); JavaPairRDD<Integer, Character> javaPairRDD2 = data1.sampleByKey(false, fractions); javaPairRDD.foreach(x -> System.out.print(x + " ")); System.out.println(); javaPairRDD2.foreach(x -> System.out.print(x + " ")); System.out.println(); |
4.假设检验
假设检验是统计学中一种强有力的工具，用于确定结果是否具有统计显着性，无论该结果是否偶然发生。spark.mllib目前支持Pearson的卡方（χ2）检验，以确保拟合度和独立性。输入数据类型确定是否进行拟合优度或独立性测试。拟合优度测试需要输入类型的Vector，而独立性测试需要Matrix作为输入。spark.mllib还支持输入类型RDD [LabeledPoint]，以通过卡方独立测试启用特征选择。
Statistics提供了运行Pearson卡方检验的方法。 以下示例演示了如何运行和解释假设检验。
| //假设检验 Vector vec=Vectors.dense(0.1,0.15,0.2,0.3,0.25); //计算适合度。 如果未提供要测试的第二个向量作为参数，则测试针对均匀分布运行。 ChiSqTestResult chiSqTestResult=Statistics.chiSqTest(vec); System.out.println(chiSqTestResult+"\n"); //创建应变矩阵（（1.0,2.0），（3.0,4.0），（5.0,6.0）） Matrices.dense(3, 2, new double[]{1.0,3.0,5.0,2.0,4.0,6.0}); //对输入应变矩阵进行Pearson独立性检验 ChiSqTestResult chiSqTestResult2=Statistics.chiSqTest(matrix); System.out.println(chiSqTestResult2+"\n"); |
5.流重要性测试
spark.mllib提供了一些测试的在线实现，以支持A / B测试等用例。这些测试可以在Spark Streaming DStream [（Boolean，Double）]上执行，其中每个元组的第一个元素表示控制组（false）或处理组（true），第二个元素是观察值。
流式重要性测试支持以下参数：
peacePeriod - 要忽略的流中的初始数据点数，用于缓解新奇效应。
windowSize - 执行假设检验的过去批次数。 设置为0将使用所有先前批次执行累积处理。
StreamingTest提供流式假设测试。
| JavaDStream<BinarySample> data = ssc.textFileStream(dataDir).map(line -> { String[] ts = line.split(","); boolean label = Boolean.parseBoolean(ts[0]); double value = Double.parseDouble(ts[1]); return new BinarySample(label, value); });
StreamingTest streamingTest = new StreamingTest() .setPeacePeriod(0) .setWindowSize(0) .setTestMethod("welch");
JavaDStream<StreamingTestResult> out = streamingTest.registerStream(data); out.print();
|
6.随机数据生成
随机数据生成对于随机算法，原型设计和性能测试非常有用。spark.mllib支持使用i.i.d从给定分布绘制的值：均匀，标准正太或泊松分布生成随机RDD。RandomRDDs提供工厂方法来生成随机doubleRDD或vecors RDD。以下示例生成随机doubleRDD，其值遵循标准正态分布N（0,1），然后将其映射到N（1,4）。
| // 随机数据生成 JavaDoubleRDD javaDoubleRDD = RandomRDDs.normalJavaRDD(context, 1000000L, 10);// 10 // partitions. javaDoubleRDD.mapToDouble(x -> 1.0 + 2.0 * x); |
7.核密度估计
Kernel density estimation 是一种可用于可视化经验概率分布的技术，无需假设观察到的样本的特定分布。它计算随机变量的概率密度函数的估计值，在给定的一组点处进行评估。它通过将特定点的经验分布的PDF表示为以每个样本为中心的正态分布的PDF的平均值来实现该估计。KernelDensity提供了从样本的RDD计算核密度估计的方法。 以下示例演示了如何执行此操作。
| // 核密度估计 JavaRDD<Double> data2= context .parallelize(Arrays.asList(1.0, 1.0, 1.0, 2.0, 3.0, 4.0, 5.0, 5.0, 6.0, 7.0, 8.0, 9.0, 9.0)); //使用样本数据和高斯核的标准偏差构造密度估计器 KernelDensity density=new KernelDensity().setSample(data2).setBandwidth(3.0); //计算给定值的密度估计 double[] densitys=density.estimate(new double[]{-1.0,2.0,5.0}); System.out.println(Arrays.toString(densitys)); |
这篇关于Spark Mllib之基本统计 - 基于RDD的API的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
