有没有办法把CSV列转换成层次关系？

Question

我有700万个生物多样性记录的csv，其中分类级别作为列。例如：

RecordID,kingdom,phylum,class,order,family,genus,species
1,Animalia,Chordata,Mammalia,Primates,Hominidae,Homo,Homo sapiens
2,Animalia,Chordata,Mammalia,Carnivora,Canidae,Canis,Canis
3,Plantae,nan,Magnoliopsida,Brassicales,Brassicaceae,Arabidopsis,Arabidopsis thaliana
4,Plantae,nan,Magnoliopsida,Fabales,Fabaceae,Phaseoulus,Phaseolus vulgaris

我想在D3中创建一个可视化，但是数据格式必须是一个网络，其中每一个不同的列值都是前一列中某个值的子级。我需要从csv变成这样：

^{pr2}$

我还没有想到如何在不使用1000个for循环的情况下做到这一点。有人对如何在python或javascript上创建这个网络有什么建议吗？在

Answer 1

为了创建您想要的精确嵌套对象，我们将使用纯JavaScript和名为^{}的D3方法的混合。但是，请记住，700万行（请参见下面的post scriptum）需要大量计算。在

值得一提的是，对于这个提议的解决方案，您必须在不同的数据数组中（例如，使用Array.prototype.filter）将王国分开。这种限制的发生是因为我们需要一个根节点，在林奈分类法中，王国之间没有任何关系（除非你创建一个顶级的“Domain”，这将是所有真核生物的根，但是对于古生菌和细菌，你会有同样的问题）。在

所以，假设您有这个CSV（我添加了一些行）和一个王国：

RecordID,kingdom,phylum,class,order,family,genus,species
1,Animalia,Chordata,Mammalia,Primates,Hominidae,Homo,Homo sapiens
2,Animalia,Chordata,Mammalia,Carnivora,Canidae,Canis,Canis latrans
3,Animalia,Chordata,Mammalia,Cetacea,Delphinidae,Tursiops,Tursiops truncatus
1,Animalia,Chordata,Mammalia,Primates,Hominidae,Pan,Pan paniscus

基于这个CSV，我们将在这里创建一个名为tableOfRelationships的数组，顾名思义，它具有列组之间的关系：

^{pr2}$

对于上面的数据，这是tableOfRelationships：

+---------+----------------------+---------------+
| (Index) |         name         |    parent     |
+---------+----------------------+---------------+
|       0 | "Animalia"           | null          |
|       1 | "Chordata"           | "Animalia"    |
|       2 | "Mammalia"           | "Chordata"    |
|       3 | "Primates"           | "Mammalia"    |
|       4 | "Hominidae"          | "Primates"    |
|       5 | "Homo"               | "Hominidae"   |
|       6 | "Homo sapiens"       | "Homo"        |
|       7 | "Carnivora"          | "Mammalia"    |
|       8 | "Canidae"            | "Carnivora"   |
|       9 | "Canis"              | "Canidae"     |
|      10 | "Canis latrans"      | "Canis"       |
|      11 | "Cetacea"            | "Mammalia"    |
|      12 | "Delphinidae"        | "Cetacea"     |
|      13 | "Tursiops"           | "Delphinidae" |
|      14 | "Tursiops truncatus" | "Tursiops"    |
|      15 | "Pan"                | "Hominidae"   |
|      16 | "Pan paniscus"       | "Pan"         |
+---------+----------------------+---------------+

请看一下null作为Animalia的父级：这就是为什么我告诉过您需要按王国来分隔数据集，整个表中只能有一个null值。在

最后，基于该表，我们使用d3.stratify()创建层次结构：

const stratify = d3.stratify()
    .id(function(d) { return d.name; })
    .parentId(function(d) { return d.parent; });

const hierarchicalData = stratify(tableOfRelationships);

这是演示。打开浏览器的控制台（代码段的控制台不适合此任务），检查对象的几个级别（children）：

const csv = `RecordID,kingdom,phylum,class,order,family,genus,species
 1,Animalia,Chordata,Mammalia,Primates,Hominidae,Homo,Homo sapiens
 2,Animalia,Chordata,Mammalia,Carnivora,Canidae,Canis,Canis latrans
 3,Animalia,Chordata,Mammalia,Cetacea,Delphinidae,Tursiops,Tursiops truncatus
 1,Animalia,Chordata,Mammalia,Primates,Hominidae,Pan,Pan paniscus`;
 
 const data = d3.csvParse(csv);
 
 const taxonomicRanks = data.columns.filter(d => d !== "RecordID");
 
 const tableOfRelationships = [];
 
 data.forEach(row => {
 taxonomicRanks.forEach((d, i) => {
 if (!tableOfRelationships.find(e => e.name === row[d])) tableOfRelationships.push({
 name: row[d],
 parent: row[taxonomicRanks[i - 1]] || null
 })
 })
 });
 
 const stratify = d3.stratify()
 .id(function(d) {
 return d.name;
 })
 .parentId(function(d) {
 return d.parent;
 });
 
 const hierarchicalData = stratify(tableOfRelationships);
 
 console.log(hierarchicalData);
；

<script src="https://cdnjs.cloudflare.com/ajax/libs/d3/5.7.0/d3.min.js"></script>


；