将Pyspark Dataframe转换为NetworkX而不使用Pandas

2024-10-01 17:27:13 发布

您现在位置:Python中文网/ 问答频道 /正文

我想把一个由边(大约1亿个)组成的pyspark数据帧转换成一个networkX图形。我希望避免在该过程中将此数据帧转换为pandas数据帧(如这里建议的Load nodes with attributes and edges from DataFrame to NetworkX),因为它将占用大量内存

有没有办法将边缘数据帧中的“src”和“dst”列直接转换为NetworkX格式


Tags: and数据fromnetworkx图形pandaswithload

热门问题