2024-10-01 19:30:41 发布
网友
CSVS3DataSet/HDFS3DataSet/HDFS3DataSet使用boto3,这是已知的线程不安全的https://boto3.amazonaws.com/v1/documentation/api/latest/guide/resources.html?highlight=multithreading#multithreading-multiprocessing
CSVS3DataSet
HDFS3DataSet
boto3
在ParallelRunner中使用这些数据集可以吗
Kedro使用s3fs,它使用boto3库访问S3Boto3确实不是线程安全的,但只有当您尝试重用同一个会话对象时
Kedro
s3fs
Boto3
所有KedroS3数据集都维护S3FileSystem的独立实例,这意味着单独的boto会话,因此是安全的
S3FileSystem
在性能方面,它可能不是很好,如果您并行处理数百个S3数据集,或者按顺序处理数千个小型S3数据集,那么管道可能会运行很长时间,甚至在出现连接错误时出现故障,但是使用几十个管道是完全安全的
Kedro
使用s3fs
,它使用boto3
库访问S3Boto3
确实不是线程安全的,但只有当您尝试重用同一个会话对象时所有
Kedro
S3数据集都维护S3FileSystem
的独立实例,这意味着单独的boto会话,因此是安全的在性能方面,它可能不是很好,如果您并行处理数百个S3数据集,或者按顺序处理数千个小型S3数据集,那么管道可能会运行很长时间,甚至在出现连接错误时出现故障,但是使用几十个管道是完全安全的
相关问题 更多 >
编程相关推荐