apachenifi:我想将我的CSV数据接收到Elasticsearch,而不使用apachenifi将其流式传输到其他处理器

2024-09-24 00:24:55 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在尝试设置一个简单的过程来修改我的CSV文件,并使用apachenifi将其接收到elasticsearch数据库。我不想在Stdout上传输我的CSV文件,同时将文件从一个处理器传递到另一个处理器。你知道吗

我已经做了两个流程。你知道吗

Myfirst flow使用GetFile processor获取CSV文件,使用ExecuteStreamCommand对其进行自定义,在该命令中,我运行python脚本在本地读取、修改和保存CSV文件。你知道吗

我的第二个流再次使用GetFile处理器读取修改后的CSV文件,并将其直接摄取到我的ElasticSearch数据库中。你知道吗

现在,为了完成这个任务,我分别运行这两个流。你知道吗

我能否将第一个流的ExecuteStreamCommand和第二个流的GetFile连接在一起,以便将它们作为一个流一起运行。你知道吗

有没有其他选项可以在本地读取ExecuteStreamCommand编写的文件而不进行流式处理??你知道吗


Tags: 文件csv命令数据库过程stdout流程处理器
1条回答
网友
1楼 · 发布于 2024-09-24 00:24:55

ExecuteStreamCommand执行的命令的输出将被写入一个流文件,该流文件被传输到“output stream”关系。您应该能够将ExecuteStreamCommand“output stream”直接连接到PutElasticSearch。你知道吗

相关问题 更多 >