转换的Java对象scala.collection.序列<String>到python lis

Question

在pyspark sparkSession中，使用sc作为我的sparkContext，调用getRDDStorageInfo()Java sparkContext _jsc.sc()，方法返回我可以在python中迭代的RDDInfo[]的JavaObject实例。你知道吗

sc._jsc.sc().getRDDStorageInfo()返回JavaObject id=o473

因此，以下工作：

for s in sc._jsc.sc().getRDDStorageInfo():
    print s.name()
    print s.memSize()
    print s.numPartitions()
    print s.numCachedPartitions()

但是，javasparkContext方法listFiles()返回一个scala.collection.Seq<String>的JavaObject。你知道吗

sc._jsc.sc().listFiles()返回JavaObject id=o475

当我尝试迭代时，我得到TypeError: 'JavaObject' object is not iterable

如何将scala.collection.Seq<String>的JavaObject转换为python列表（或其他python iterable）？你知道吗

Answer 1

为此，可以调用scala方法size和apply

files = sc._jsc.sc().listFiles()
py_files = [files.apply(i) for i in range(files.size())]