使用python在spark中加载pcap文件

Question

我是新手。我有pcap文件。Spark如何使用python读取该文件？如何在Spark中使用python上传pcap文件，以及如何处理？在

conf = SparkConf().setMaster("local").setAppName("SparkStreamingPcap")
sc = SparkContext(conf = conf)
sc.setLogLevel("ERROR")
spark = SparkSession(sc)
FileLog = sc.textFile("pcapFiles/ipv4frags.pcap")
df = FileLog.map(lambda line: line.split("\n"))
print("Helloo")
print (df.count())

Answer 1

您也可以尝试使用dpkt或scapy来解析pyspark代码中的pcap文件。在