从在线.txt文件中仅下载某些行

Question

基因组注释存储在大的纯文本文件中，例如https://www.ebi.ac.uk/ena/data/view/FO203355&display=textc

我只想提取以“FT”开头的行。因为我需要提取成千上万个文件的“FT”，所以下载整个文件并手动提取所需行是不可行的

是否有任何终端或python构造可以做到这一点？我最终想要创建一个大型（python）数据帧

Answer 1

你可以使用curl和grep。您仍然需要下载整个文件，除非ebi.ac.uk服务器api提供服务器端过滤

curl 'https://www.ebi.ac.uk/ena/data/view/FO203355&display=text' | grep '^FT' > lines.txt

Answer 2

因为您最终打算使用pandas，所以您所需要的只是将数据流到您的脚本中并过滤所需的行。最简单的方法是在流模式下使用requests模块，然后将远程数据视为文件流，即：

import requests

url = "https://www.ebi.ac.uk/ena/data/view/FO203355&display=text"

with requests.get(url, stream=True) as r:  # open a streaming request
    for line in r:  # iterate over the stream line by line
        if line[:2] == "FT":  # check if a line begins with `FT`
            print(line)  # or do whatever you want with the line

如果只想保存数据，可以将过滤后的行转发到文件输出流：

import requests

url = "https://www.ebi.ac.uk/ena/data/view/FO203355&display=text"

with requests.get(url, stream=True) as r, open("output.dat", "w") as f:
    for line in r:  # iterate over the stream line by line
        if line[:2] == "FT":  # check if a line begins with `FT`
            f.write(line)  # write the line to output.dat

您可能希望创建数据帧并直接将行解析到其中，但这取决于您希望如何解析数据，所以这是我留给您的练习