使用同一接口读取gcs和本地路径,克隆tensorflow.io.gfile
blobfile的Python项目详细描述
blobfile
这是tensorflow的^{gs://
路径和http://
路径。
写入远程路径实际上不会以增量方式执行写入,因此不要以这种方式写入日志文件。默认情况下,读取和写入是流式的,将streaming=False
设置为BlobFile
以对每个文件执行单个复制操作。
主要功能是BlobFile
,替代GFile
。还有一些附加的函数,basename
,dirname
,和join
,它们大多与它们的os.path
命名空间做相同的事情,只是它们也支持gs://
路径。还有一些额外功能:
cache_key
-返回一个可用于路径的缓存键(这在内容更改时不一定会更改,但希望应该这样做)get_url
-返回路径的urlmd5
-获取路径的md5散列,对于gcs,这很快,但是对于其他后端,这可能很慢set_log_callback
-设置日志回调函数log(msg: string)
以使用而不是打印到stdout
现有的一些^ {< CD1>}函数目前没有实现。