pandas在一个*.dat文件上读取_csv，该文件用cedilla分隔，而不是在datafram中拆分成列
回答此问题可获得 20 贡献值，回答如果被采纳可获得 50 分。
<p>这是我第一次研究熊猫，请原谅我的无知。
我的需求是从S3下载一个文件到Ec2上，并将dat文件放到一个数据帧上。这就是我的输入文件数据的外观</p>
<pre><code>1Ç70Ç23929Ç4341Ç1111Ç0Ç0Ç1ÇAAÇ012ÇFillerÇ
1Ç75Ç45555Ç4324Ç2222Ç0Ç0Ç1ÇAAÇ011ÇFillerÇ
1Ç76Ç23957Ç4334Ç3333Ç0Ç0Ç1ÇAAÇ011ÇFillerÇ
1Ç72Ç47776Ç4344Ç4444Ç0Ç0Ç1ÇABÇ014ÇFillerÇ
1Ç73Ç88880Ç4354Ç4444Ç0Ç0Ç1ÇCDÇ011ÇFillerÇ
1Ç74Ç99991Ç4364Ç5555Ç0Ç0Ç1ÇEEÇ014ÇFillerÇ
</code></pre>
<p>由于数据似乎没有任何编码，所以我决定使用带分隔符的read_Csv作为cedilla并存储在dataframe中。在</p>
^{pr2}$
<p>但由于某些原因，它没有识别出相同的数据，并将数据放在一列中。在</p>
<pre><code> 0
0 1Ç70Ç23929Ç4341Ç1111Ç0Ç0Ç1ÇAAÇ012ÇFi...
1 1Ç75Ç45555Ç4324Ç2222Ç0Ç0Ç1ÇAAÇ011ÇFi...
2 1Ç76Ç23957Ç4334Ç3333Ç0Ç0Ç1ÇAAÇ011ÇFi...
3 1Ç72Ç47776Ç4344Ç4444Ç0Ç0Ç1ÇABÇ014ÇFi...
4 1Ç73Ç88880Ç4354Ç4444Ç0Ç0Ç1ÇCDÇ011ÇFi...
</code></pre>
<p>该文件看起来像ASCII而不是编码的。我确实尝试过使用UTF-8和UTF-16编码，并将Unicode值作为分隔符，但这不起作用。
我还尝试将分隔符硬编码为'F'而不是cedilla，并运行代码，认为文件本身可能有一些加密/编码。但事实并非如此，我的输出由'F'分隔。在</p>
<p>分隔符为“F”。在</p>
<pre><code> 0 1
0 1Ç70Ç23929Ç4341Ç1111Ç0Ç0Ç1ÇAAÇ012Ç illerÇ
1 1Ç75Ç45555Ç4324Ç2222Ç0Ç0Ç1ÇAAÇ011Ç illerÇ
2 1Ç76Ç23957Ç4334Ç3333Ç0Ç0Ç1ÇAAÇ011Ç illerÇ
3 1Ç72Ç47776Ç4344Ç4444Ç0Ç0Ç1ÇABÇ014Ç illerÇ
4 1Ç73Ç88880Ç4354Ç4444Ç0Ç0Ç1ÇCDÇ011Ç illerÇ
</code></pre>
<p>我正在加载的文件通常是一个很大的文件，这个文件运行很长时间。所以我不确定我是否使用codec将文件编码为UTF-8，然后放入dataframe是一个明智的选择。在</p>
<p>我试图手动创建一个以cedilla分隔的文件，当通过同一个命令时，它工作得很好。我不知道这里出了什么问题。有没有办法弄清楚它是否被编码了？在</p>
<p>如有任何建议，我们将不胜感激。在</p>
<p>谢谢，
VB语言</p>
<p>采纳了埃德丘姆的建议，我使用了以下方法</p>
<pre><code>#file location
dataPath = "C:/Users/Documents/Pytest/"
itextfile = join(dataPath,'sample.dat')
fb = open(itextfile, 'r')
data = fb.read()
print(data)
tf=pandas.read_csv(StringIO(data), sep='Ç', header=None)
#tf=pandas.read_csv(StringIO(data), sep='\Ç', header=None)
print(tf)
</code></pre>
<p>就像是从下面的文件里出来的一样</p>
<pre><code>1Ç71Ç23929Ç44Ç5685Ç0Ç0Ç1ÇaaÇ012ÇFillerÇ
1Ç72Ç23953Ç40Ç3319Ç0Ç0Ç1ÇbbÇ011ÇFillerÇ
1Ç73Ç23957Ç43Ç7323Ç0Ç0Ç1ÇccÇ011ÇFillerÇ
1Ç74Ç24006Ç41Ç6938Ç0Ç0Ç1ÇbbÇ014ÇFillerÇ
1Ç75Ç24140Ç45Ç0518Ç0Ç0Ç1ÇddÇ011ÇFillerÇ
Output
0 1 2 3 4 5 6 7 8 9 10 11
0 1 71 23929 44 5685 0 0 1 aa 12 Filler NaN
1 1 72 23953 40 3319 0 0 1 bb 11 Filler NaN
2 1 73 23957 43 7323 0 0 1 cc 11 Filler NaN
</code></pre>
<p>所以使用sep='Ç'代替sep='\chp'起作用了。不知道为什么我运行脚本时会出现这种情况，因为肉眼（当我打开样品.dat文件）显示为用符号分隔。在</p>
<p>有没有一种方法可以在不从外部读取文本文件的情况下传递到熊猫.read_csv（命令）StringIO？
我这么问是因为我想限制我读取并放入数据帧的行数。假设我只想拥有前几行，我添加了Totrows，而最后几行我使用了skiprows。这样处理包含数百万行的巨大文件所需的时间最少。若这不可能，我将使用for循环。只是想看看是否有办法不使用for循环。在</p>
<p>谢谢，VB</p>
请先 登录 后评论
针对此问题: 更多的回答
- 89 关注
- 1 收藏，216 浏览
- 网友 提问于 2天前
相关Python问题
- 如何提高Djang的410误差 6 回答
- 如何提高doc2vec模型中两个文档（句子）的余弦相似度？ 4 回答
- 如何提高Docker的日志限制？|[输出已剪裁，达到日志限制100KiB/s] 10 回答
- 如何提高DQN的性能？ 2 回答
- 如何提高EasyOCR的准确性/预测？ 6 回答
- 如何提高Euler#39项目解决方案的效率？ 3 回答
- 如何提高F1成绩进行分类 8 回答
- 如何提高FaceNet的准确性 6 回答
- 如何提高fft处理的精度？ 4 回答
- 如何提高Fibonacci实现对大n的精度？ 9 回答
- 如何提高Flask与psycopg2的连接时间 3 回答
- 如何提高FosterCauer变换的scipy.signal.invres（）的数值稳定性？ 9 回答
- 如何提高gae查询的性能？ 3 回答
- 如何提高GANs用于时间序列预测/异常检测的结果 6 回答
- 如何提高gevent和tornado组合的性能？ 5 回答
- 如何提高googleappengin请求日志的吞吐量 2 回答
- 如何提高googlevision文本识别的准确性 6 回答
- 如何提高groupby/apply效率 2 回答
- 如何提高Gunicorn中的请求率 7 回答
- 如何提高G中的文件编码转换 4 回答
