PySpark广播值到字典

Question

具有如下内容的Pypark广播值：

[('b000jz4hqo', {'rom': 2.4051362683438153, 'clickart': 56.65432098765432, '950': 254.94444444444443, 'image': 3.6948470209339774, 'premier': 9.27070707070707, '000': 6.218157181571815, 'dvd': 1.287598204264871, 'broderbund': 22.169082125603865, 'pack': 2.98180636777128}), ('b0006zf55o', {'laptops': 11.588383838383837, 'desktops': 12.74722222222222, 'backup': 2.8015873015873014, 'win': 0.501859142607174, 'ca': 9.10515873015873, 'v11': 50.98888888888888, '30u': 84.98148148148148, '30pk': 254.94444444444443, 'desktop': 2.23635477582846, '1': 0.3231235037318687, 'arcserve': 24.28042328042328, 'computer': 0.6965695203400122, 'lap': 127.47222222222221, 'oem': 46.35353535353535, 'international': 9.44238683127572, 'associates': 7.284126984126985})]

因此它是一个key->；list广播变量。在

试图转换广播.value查字典的结果是

TypeError: unhashable type: 'dict'

使用类似代码

from itertools import izip
amazonWeightsBroadcast = sc.broadcast(amazonWeightsRDD.collect())
i = iter(amazonWeightsBroadcast.value)
amazonWeightsDict = dict(izip(i, i))

也尝试过（给出相同的“不可拆分”错误）：

^{pr2}$

因此，如果无法将广播变量转换为字典，那么通过键查找值列表的更好解决方案是什么？在

Python 2.7.6 火花1.3.1

Answer 1

花了我一段时间。。问题在于如何创建广播变量。 必须使用.collectAsMap（），而不仅仅是.collect（） 现在它正如期工作。在