I started this question yesterday and have done more work on it.
谢谢@AMC,@ALollz
我有一个手术活动数据的数据框架,有58列和200000条记录。其中一列是“治疗专业”,每行对应一个患者遭遇。我想看看医学专业的相对分布情况。其中一列是“TRETSPEF”=治疗专业。我使用了'pd.read_csv('csv,usecols=['TRETSPEF')来导入该系列
df
TRETSPEF
0 150
1 150
2 150
3 150
4 150
... ...
218462 150
218463 &
218464 150
218465 150
218466 218`
最常见的治疗专业是神经外科(代码150)。所以问题就在这里。当我申请时
.value_counts
我得到两组150代码(和218代码)
df['TRETSPEF'].value_counts()
150 140411
150 40839
218 13692
108 10552
218 4143
...
501 1
120 1
302 1
219 1
106 1
Name: TRETSPEF, Length: 69, dtype: int64
其中有一些“&;”(454),所以我想知道它们不是整数这一事实是否把事情搞砸了,所以我将它们改为空值,并运行值计数
df['TRETSPEF'].str.replace("&", "").value_counts()
150 140411
218 13692
108 10552
800 858
110 835
811 692
191 580
323 555
454
100 271
400 116
420 47
301 45
812 38
214 24
215 23
180 22
300 17
370 15
421 11
258 11
314 5
422 4
260 4
192 4
242 4
171 4
350 2
307 2
302 2
328 2
160 1
219 1
120 1
107 1
101 1
143 1
501 1
144 1
320 1
104 1
106 1
430 1
264 1
Name: TRETSPEF, dtype: int64
因此,现在我似乎已经丢失了第二组150条记录—大约40000条记录,因为将“&;”更改为null。尽管如此,null仍然显示在.value_计数中。序列的长度已从n 69降至45。 我尝试去除空白-没有区别。不确定要运行什么测试来查看为什么会发生这种情况。我觉得这一定是由于数据
这是一个100%的数据清理问题。尝试force the column to be numeric.
pd.to_numeric(df['TRETSPEF'], errors='coerce').value_counts()
相关问题 更多 >
编程相关推荐