使用同一接口读取gcs和本地路径,克隆tensorflow.io.gfile

blobfile的Python项目详细描述


blobfile

这是tensorflow的^{}的独立克隆,支持本地路径、gs://路径和http://路径。

写入远程路径实际上不会以增量方式执行写入,因此不要以这种方式写入日志文件。默认情况下,读取和写入是流式的,将streaming=False设置为BlobFile以对每个文件执行单个复制操作。

主要功能是BlobFile,替代GFile。还有一些附加的函数,basenamedirname,和join,它们大多与它们的os.path命名空间做相同的事情,只是它们也支持gs://路径。还有一些额外功能:

  • cache_key-返回一个可用于路径的缓存键(这在内容更改时不一定会更改,但希望应该这样做)
  • get_url-返回路径的url
  • md5-获取路径的md5散列,对于gcs,这很快,但是对于其他后端,这可能很慢
  • set_log_callback-设置日志回调函数log(msg: string)以使用而不是打印到stdout

现有的一些^ {< CD1>}函数目前没有实现。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java DB2查看最近执行的命令   java正则表达式如何只匹配数字后的字符,而不在匹配模式中包含数字   java是否可以使用Jmh运行基于时间的预热阶段?   java必须输入两次输入,扫描仪才能读取   java如何使用一个或多个类方法设置多个类字段,而这些类方法并不专门引用任何字段?   java Quartz的CronTrigger每24小时一次,如午夜   java字符串索引超出边界异常?   java FXMLLoader找不到fxml文件Maven项目   java Eclipse Indigo在安装m2ewtp插件时遇到问题   java如何为连接池配置Hibernate、Spring和ApacheDBCP?   java netbeans:类中的类路径。福奈姆   javajmx及其在Tomcat内部Docker上的调试   java HTTP状态404 tomcat 7   Java:String split():我希望它在末尾包含空字符串   java我应该使用枚举集吗?   Java StringTokenizer如何查找段落结尾?