将PubMed数据推送到K

2024-09-28 12:11:54 发布

您现在位置:Python中文网/ 问答频道 /正文

在PubMed数据源中,我需要将输出推送到Kafka队列中。每个源都可以看作是一个Kafka主题。(我知道卡夫卡的概念,并用Python探索了Kafka)

我可以通过FireFTP查看PubMed数据。在

有谁能帮助我们继续前进吗?在


Tags: kafka数据概念主题队列数据源pubmedfireftp
1条回答
网友
1楼 · 发布于 2024-09-28 12:11:54

您将希望使用一个从FTP下载数据并将其假脱机到Kafka的服务。阿帕奇水槽就是这样做的。很容易配置。您可以使用FTPhttps://github.com/keedio/flume-ftp-source的客户源,也可以使用cron作业将文件下载到spool dir并让flume从那里获取文件。水槽有一个非常好的卡夫卡水槽,可以连续地向卡夫卡写信。在

相关问题 更多 >

    热门问题