fastchunking 0.0.3

注意

由于性能原因，该库的部分是用C++实现的。 因此，从源发行版安装需要 正确配置C++编译器。

静态分块（SC）

静态分块将消息拆分为固定大小的分块。

让我们考虑一个应分块的随机示例消息：

>>> import os
>>> message = os.urandom(1024*1024)

在对单个消息进行分块时，静态分块非常简单：

>>> import fastchunking
>>> sc = fastchunking.SC()
>>> chunker = sc.create_chunker(chunk_size=4096)
>>> chunker.next_chunk_boundaries(message)
[4096, 8192, 12288, ...]

大消息也可以分块，但是：

>>> chunker = sc.create_chunker(chunk_size=4096)
>>> chunker.next_chunk_boundaries(message[:10240])
[4096, 8192]
>>> chunker.next_chunk_boundaries(message[10240:])
[2048, 6144, 10240, ...]

内容定义分块（cdc）

快速分块支持内容定义的分块，即消息的分块 变长的碎片。

目前，支持基于rabin-karp滚动哈希的分块策略。

由于在普通python字符串上滚动哈希计算速度非常慢， 任何解释器，大多数计算都是由C++扩展来执行的。 基于daniel lemire的ngramhashing库，请参见： https://github.com/lemire/rollinghashcpp

让我们考虑一个应该分块的随机消息：

>>> import os
>>> message = os.urandom(1024*1024)

使用静态分块时，必须指定滚动哈希窗口大小（此处： 48字节）和影响伪随机分布的可选种子值 生成的块边界的。

尽管如此，用法与静态分块类似：

>>> import fastchunking
>>> cdc = fastchunking.RabinKarpCDC(window_size=48, seed=0)
>>> chunker = cdc.create_chunker(chunk_size=4096)
>>> chunker.next_chunk_boundaries(message)
[7475, 10451, 12253, 13880, 15329, 19808, ...]

分块很简单：

>>> chunker = cdc.create_chunker(chunk_size=4096)
>>> chunker.next_chunk_boundaries(message[:10240])
[7475]
>>> chunker.next_chunk_boundaries(message[10240:])
[211, 2013, 3640, 5089, 9568, ...]

多级分块（ml-*）

同一类型的多个块（但块大小不同）可以是 有效地并行使用，例如，执行多级分块[LS16]。

再次，让我们考虑一个应该分块的随机消息：

>>> import os
>>> message = os.urandom(1024*1024)

使用多级分块（例如ML-CDC）很容易：

>>> import fastchunking
>>> cdc = fastchunking.RabinKarpCDC(window_size=48, seed=0)
>>> chunk_sizes = [1024, 2048, 4096]
>>> chunker = cdc.create_multilevel_chunker(chunk_sizes)
>>> chunker.next_chunk_boundaries_with_levels(message)
[(1049, 2), (1511, 1), (1893, 2), (2880, 1), (2886, 0),
(3701, 0), (4617, 0), (5809, 2), (5843, 0), ...]

每个元组中的第二个值指示导致 边界。这里，第一个边界是chunker创建的边界 索引2，即目标块大小为4096字节的分块器。