未保存事件中心检查点数据

2024-10-06 06:57:03 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在从运行事件中心接收器实现:https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-python-get-started-send#create-a-python-script-to-receive-events,除了连接字符串等,我没有做任何更改

创建数百个事件后,我可以看到接收方在存储帐户内创建了检查点文件夹,但当我再次运行接收方时,我看到它处理相同的事件

每个分区创建的文件也是空的

存储在consumerClient中提供:

checkpoint_store = BlobCheckpointStore.from_connection_string("...", "eventhubcontainer")


client = EventHubConsumerClient.from_connection_string("...", consumer_group="$Default", eventhub_name="eventhub1", checkpoint_store=checkpoint_store)

读取事件后,还有一种保存检查点的方法:

await partition_context.update_checkpoint(event)

我是不是遗漏了什么


整个代码:

import asyncio
from azure.eventhub.aio import EventHubConsumerClient
from azure.eventhub.extensions.checkpointstoreblobaio import BlobCheckpointStore

async def on_event(partition_context, event):
    print("Received the event: \"{}\" from the partition with ID: \"{}\"".format(event.body_as_str(encoding='UTF-8'), partition_context.partition_id))
    await partition_context.update_checkpoint(event)

async def main():
    checkpoint_store = BlobCheckpointStore.from_connection_string("AZURE STORAGE CONNECTION STRING", "BLOB CONTAINER NAME")
    client = EventHubConsumerClient.from_connection_string("EVENT HUBS NAMESPACE CONNECTION STRING", consumer_group="$Default", eventhub_name="EVENT HUB NAME", checkpoint_store=checkpoint_store)
    async with client:
        await client.receive(on_event=on_event,  starting_position="-1")

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

Tags: storenamefromclienteventstringcontext事件
2条回答

更新SDK解决了这个问题。@AdamLing还为我澄清了评论中的元数据位置

这可能是旧sdk中的错误

请尝试安装最新版本的sdk:azure-eventhub 5.3.1azure-eventhub-checkpointstoreblob-aio 1.1.3

我用这些最新的sdk测试了你的代码,效果很好

相关问题 更多 >