S3 Kedro数据集是线程安全的吗?

2024-10-01 19:30:41 发布

您现在位置:Python中文网/ 问答频道 /正文

CSVS3DataSet/HDFS3DataSet/HDFS3DataSet使用boto3,这是已知的线程不安全的https://boto3.amazonaws.com/v1/documentation/api/latest/guide/resources.html?highlight=multithreading#multithreading-multiprocessing

在ParallelRunner中使用这些数据集可以吗


Tags: httpscomapihtmldocumentationboto3线程latest
1条回答
网友
1楼 · 发布于 2024-10-01 19:30:41

Kedro使用s3fs,它使用boto3库访问S3Boto3确实不是线程安全的,但只有当您尝试重用同一个会话对象时

所有KedroS3数据集都维护S3FileSystem的独立实例,这意味着单独的boto会话,因此是安全的

在性能方面,它可能不是很好,如果您并行处理数百个S3数据集,或者按顺序处理数千个小型S3数据集,那么管道可能会运行很长时间,甚至在出现连接错误时出现故障,但是使用几十个管道是完全安全的

相关问题 更多 >

    热门问题