Python:s3中的递归glob

Question

我试图从s3中获取一个parquet文件路径的列表，这些路径位于子目录和子目录的子目录中（依此类推）。在

如果是本地文件系统，我会这样做：

import glob 

glob.glob('C:/Users/user/info/**/*.parquet', recursive=True)

我尝试过使用glob方法的^{}，但是它没有递归的kwarg。在

是否有我可以使用的函数，或者我需要自己实现它？在

Answer 1

S3实际上没有子目录。在

^{}'s ^{}支持一个prefix参数，该参数将使您获得bucket中给定“目录”中的所有对象，无论它们看起来有多“深”。在