通过Spark maps共享HappyBase连接

Question

我正在使用Spark和HBase（使用HappyBase库），在处理小数据集时一切正常。但是，在处理大数据集时，多次调用map函数后，与HBase Thrift的连接将丢失。我现在正在处理一个伪节点。在

具体来说，在map函数中会发生以下错误：

TTransportException: Could not connect to localhost:9090

地图功能：

^{pr2}$

这是对映射函数的调用：

counts = lines.map(lambda x: save_triples(x, ac, table_name, ac_vertex_id, graph_table_name))
output = counts.collect()

我怀疑这是因为很多连接被打开了。我试图在main函数中创建'connection'对象，并将其作为参数传递给map函数（类似于Java中的HBase库），但我得到以下错误：

pickle.PicklingError: Can't pickle builtin <type 'method_descriptor'>

任何帮助都将不胜感激。在