C++中非常大向量的初始化

Question

我在python中创建了非常大的O（10M）浮点列表。我想在我的C++项目中使用这个查找表。将Python数组转换为C++的最简单、最有效的方法是什么？在

我的第一个想法是生成c++函数，它负责初始化这么长的向量，然后编译它。 python代码如下所示：

def generate_initLookupTable_function():
    numbers_per_row = 100
    function_body = """
#include "PatBBDTSeedClassifier.h"

std::vector<double> PatBBDTSeedClassifier::initLookupTable()
{
   std::vector<double> indicesVector ={
    """
    row_nb = 1
    for bin_value in classifier._lookup_table[:,0]:
        function_body += "\t" + str(bin_value) +" , "
        if (row_nb % numbers_per_row) == 0:
            function_body += "\n"
        row_nb += 1

    function_body += """\n };
return indicesVector;
}
    """
    return function_body

输出文件的大小为500 MB。无法编译（由于gcc崩溃而终止编译）：

^{pr2}$

另一种方法是将Python数组存储到二进制文件中，然后用C++读取。但这很棘手。我读不懂。 我使用以下简单命令生成表：

file = open("models/BBDT_lookuptable.dat", 'wb')
table = numpy.array(classifier._lookup_table[:,0])
table.tofile(file)
file.close()

你能告诉我怎么做吗？我在谷歌上搜了一下，找不到足够的答案。在

你知道我怎么处理这么大的数组吗。在

我应该给你更详细地描述一下这个问题。 我使用Python来训练ML（SkSead）分类器，然后我想在C++中部署它。对于时间问题（执行速度是我研究的关键部分）我使用bonsai boosted decision trees的概念。在这种方法中，您将BDT转换为查找表。在

Answer 1

如果您正在使用GNU工具，那么直接使用objcopy来实现Jean Francois建议的目标是相当容易的；结合PM2Ring的python脚本编写一个二进制数组，您可以执行：

objcopy -I binary test.data -B i386:x86-64 -O elf64-x86-64 testdata.o

（根据实际的处理器体系结构，可能需要调整）。该命令将使用以下符号创建一个名为testdata.o的新对象：

^{pr2}$

在链接程序中，所有这些符号都将显示为带有C链接的符号。{{cd4}不能被转换成cd3}，但不能使用cd3}。这里是一个最小的C++程序：

#include <iostream>

extern "C" double _binary_test_data_start[];
extern "C" double _binary_test_data_end[0];

int main(void) {
    double *d = _binary_test_data_start;
    const double *end = _binary_test_data_end;

    std::cout << (end - d) << " doubles in total" << std::endl;
    while (d < end) {
        std::cout << *d++ << std::endl;
    }
}

_binary_test_data_end实际上刚好超过数组_binary_test_data_start中的最后一个元素。在

编译并使用g++ test.cc testdata.o -o program（使用上面objcopy中的testdata.o）链接这个程序。在

输出（cout默认情况下似乎笨拙地截断了小数）：

% ./a.out 
32 doubles in total
0
0.0625
0.125
0.1875
0.25
0.3125
0.375
0.4375
0.5
0.5625
0.625
0.6875
0.75
0.8125
0.875
0.9375
1
1.0625
1.125
1.1875
1.25
1.3125
1.375
1.4375
1.5
1.5625
1.625
1.6875
1.75
1.8125
1.875
1.9375

---

您也可以很容易地将这些值赋给一个向量；std::vector<double>接受两个迭代器，其中第一个指向第一个元素，第二个指向后面的一个元素；您可以在数组衰变为指针时使用这里的数组，指针可以用作迭代器：

std::vector<double> vec(_binary_test_data_start, _binary_test_data_end);

但是，对于大型数组，这只是不必要的复制。此外，仅使用C数组还有一个额外的好处，即它是延迟加载的；ELF可执行文件不会被读入内存，但它们会根据需要进行分页；二进制数组只有在被访问时才从文件加载到RAM中。在