2024-09-28 12:11:54 发布
网友
在PubMed数据源中,我需要将输出推送到Kafka队列中。每个源都可以看作是一个Kafka主题。(我知道卡夫卡的概念,并用Python探索了Kafka)
我可以通过FireFTP查看PubMed数据。在
有谁能帮助我们继续前进吗?在
您将希望使用一个从FTP下载数据并将其假脱机到Kafka的服务。阿帕奇水槽就是这样做的。很容易配置。您可以使用FTPhttps://github.com/keedio/flume-ftp-source的客户源,也可以使用cron作业将文件下载到spool dir并让flume从那里获取文件。水槽有一个非常好的卡夫卡水槽,可以连续地向卡夫卡写信。在
您将希望使用一个从FTP下载数据并将其假脱机到Kafka的服务。阿帕奇水槽就是这样做的。很容易配置。您可以使用FTPhttps://github.com/keedio/flume-ftp-source的客户源,也可以使用cron作业将文件下载到spool dir并让flume从那里获取文件。水槽有一个非常好的卡夫卡水槽,可以连续地向卡夫卡写信。在
相关问题 更多 >
编程相关推荐