如何用Python在CSV上执行OpenRefine JSON？

Question

我试图找到一个Python解决方案，它可以在不打开OpenRefine服务器的情况下，以JSON格式执行以下OpenRefine Python命令。 我的OpenRefineJSON包含任何格式正确的CSV文件的每个字段上的映射和自定义Python命令，因此这不是基本的JSON读取。 一个示例OpenRefine JSON代码，其中只有regex映射

[
  {
    "op": "core/text-transform",
    "description": "Text transform on cells in column Sleep using expression jython:import re\n\nvalue = re.sub(\"h0\", \"h\",value)\n\nvalue = re.sub(\"h\",\"*60+\", value)\n\nreturn eval(value)\n\n \nreturn eval(value.replace(\"h\", \"*60+\"));",
    "engineConfig": {
      "mode": "row-based",
      "facets": []
    },
    "columnName": "Sleep",
    "expression": "jython:import re\n\nvalue = re.sub(\"h0\", \"h\",value)\n\nvalue = re.sub(\"h\",\"*60+\", value)\n\nreturn eval(value)\n\n \nreturn eval(value.replace(\"h\", \"*60+\"));",
    "onError": "keep-original",
    "repeat": false,
    "repeatCount": 10
  }
]

一种解决方案是使用每种类型的元素逐个处理JSON，但是有些包可能会有更简单的解决方案。在

Python:3.5.2
操作系统：Debian 9

Answer 1

我不知道任何现成的解决办法，我也不知道怎么做。解决方法可能是尝试将Jython脚本转换为函数，然后使用pandas将它们应用于csv。在

import json
import re

with open("your open refine json", "r") as infile:
    data = json.load(infile)

with open("result.py", 'w') as outfile:
    for el in data:
        count = 1
        column=el['columnName']
        expression = el['expression'].replace("jython:", "")
        expression = re.sub(r"\n\n\s?\n?", "\n    ", expression)
        expression = re.sub(r";$", "", expression)
        result = """def function%s(value):\n    %s""" %(count, expression)
        count+=1
        outfile.write(result + 
                      "\n\n" + 
                      "mycsv['%s'] = mycsv['%s'].apply(lambda x: function%s(x))" %(column, column, count-1))

Json上的结果：

^{pr2}$

最后，您可以在result.py的顶部添加这些行，启动脚本，然后祈祷。。。在

import pandas as pd 

mycsv = pd.read_csv("your csv", encoding = "utf8")