apachespark中的java矩阵乘法 4 月,3 周 Questions & Answers 20487 我正在尝试使用ApacheSpark和Java执行矩阵乘法 我有两个主要问题: 如何创建可以在ApacheSpark中表示矩阵的RDD李> 如何将两个这样的RDD相乘李>
# 1 楼答案 所有这些都取决于输入数据和维度,但一般来说,您想要的不是RDD,而是来自^{}的分布式数据结构之一。目前,它提供了^{}的四种不同实现 ^{}可以直接从RDD[IndexedRow]创建,其中^{}由行索引和org.apache.spark.mllib.linalg.Vector组成 import org.apache.spark.mllib.linalg.{Vectors, Matrices} import org.apache.spark.mllib.linalg.distributed.{IndexedRowMatrix, IndexedRow} val rows = sc.parallelize(Seq( (0L, Array(1.0, 0.0, 0.0)), (0L, Array(0.0, 1.0, 0.0)), (0L, Array(0.0, 0.0, 1.0))) ).map{case (i, xs) => IndexedRow(i, Vectors.dense(xs))} val indexedRowMatrix = new IndexedRowMatrix(rows) ^{}与IndexedRowMatrix类似,但没有有意义的行索引。可以直接从RDD[org.apache.spark.mllib.linalg.Vector]创建 import org.apache.spark.mllib.linalg.distributed.RowMatrix val rowMatrix = new RowMatrix(rows.map(_.vector)) ^{}-可以从RDD[((Int, Int), Matrix)]创建,其中元组的第一个元素包含块的坐标,第二个元素是局部org.apache.spark.mllib.linalg.Matrix val eye = Matrices.sparse( 3, 3, Array(0, 1, 2, 3), Array(0, 1, 2), Array(1, 1, 1)) val blocks = sc.parallelize(Seq( ((0, 0), eye), ((1, 1), eye), ((2, 2), eye))) val blockMatrix = new BlockMatrix(blocks, 3, 3, 9, 9) ^{}-可以从RDD[MatrixEntry]创建,其中^{}由行、列和值组成 import org.apache.spark.mllib.linalg.distributed.{CoordinateMatrix, MatrixEntry} val entries = sc.parallelize(Seq( (0, 0, 3.0), (2, 0, -5.0), (3, 2, 1.0), (4, 1, 6.0), (6, 2, 2.0), (8, 1, 4.0)) ).map{case (i, j, v) => MatrixEntry(i, j, v)} val coordinateMatrix = new CoordinateMatrix(entries, 9, 3) 前两个实现支持本地Matrix乘法: val localMatrix = Matrices.dense(3, 2, Array(1.0, 2.0, 3.0, 4.0, 5.0, 6.0)) indexedRowMatrix.multiply(localMatrix).rows.collect // Array(IndexedRow(0,[1.0,4.0]), IndexedRow(0,[2.0,5.0]), // IndexedRow(0,[3.0,6.0])) 第三个可以乘以另一个BlockMatrix,只要这个矩阵中每个块的列数与另一个矩阵中每个块的行数匹配CoordinateMatrix不支持乘法,但很容易创建并转换为其他类型的分布式矩阵: blockMatrix.multiply(coordinateMatrix.toBlockMatrix(3, 3)) 每个类型都有自己的强弱面,当使用稀疏或密集元素(^ {< CD20>}或块^ {CD21>})时,还有一些额外的因素需要考虑。与局部矩阵相乘通常更可取,因为它不需要昂贵的洗牌 您可以在the MLlib Data Types guide中找到关于每种类型的更多详细信息
# 1 楼答案
所有这些都取决于输入数据和维度,但一般来说,您想要的不是} 的分布式数据结构之一。目前,它提供了^{} 的四种不同实现
RDD
,而是来自^{^{} 可以直接从} 由行索引和
RDD[IndexedRow]
创建,其中^{org.apache.spark.mllib.linalg.Vector
组成^{} 与
IndexedRowMatrix
类似,但没有有意义的行索引。可以直接从RDD[org.apache.spark.mllib.linalg.Vector]
创建^{} -可以从
RDD[((Int, Int), Matrix)]
创建,其中元组的第一个元素包含块的坐标,第二个元素是局部org.apache.spark.mllib.linalg.Matrix
^{} -可以从} 由行、列和值组成
RDD[MatrixEntry]
创建,其中^{前两个实现支持本地
Matrix
乘法:第三个可以乘以另一个
BlockMatrix
,只要这个矩阵中每个块的列数与另一个矩阵中每个块的行数匹配CoordinateMatrix
不支持乘法,但很容易创建并转换为其他类型的分布式矩阵:每个类型都有自己的强弱面,当使用稀疏或密集元素(^ {< CD20>}或块^ {CD21>})时,还有一些额外的因素需要考虑。与局部矩阵相乘通常更可取,因为它不需要昂贵的洗牌
您可以在the MLlib Data Types guide中找到关于每种类型的更多详细信息