使用ctypes/cffi解决循环共享对象依赖关系

1条回答

网友

1楼 · 发布于 2024-09-28 03:18:07

这（如果我正确地理解了问题的话）是一个非常正常的关于Nix的用例，应该可以正常运行。在

在处理与ctypes（[Python 3]: ctypes - A foreign function library for Python）相关的问题时，解决这些问题的最佳（通用）方法是：

编写一个（小的）C应用程序来完成所需的工作（当然，也可以工作）
然后转到ctypes（基本上这是在翻译上述应用程序）

我准备了一个小例子：

定义.h：

#pragma once

#include <stdio.h>

#define PRINT_MSG_0() printf("From C: [%s] (%d) - [%s]\n", __FILE__, __LINE__, __FUNCTION__)

libClibC：

libC.h：
```
#pragma once


size_t funcC();
```

libC.c：

#include "defines.h"
#include "libC.h"
#include "libA.h"


size_t funcC() {
    PRINT_MSG_0();
    for (size_t i = 0; i < ARRAY_DIM; i++)
    {
        printf("%zu - %c\n", i, charArray[i]);
    }
    printf("\n");
    return ARRAY_DIM;
}

伦敦银行同业拆借

libB.h：
```
#pragma once


size_t funcB();
```

图书馆：

#include "defines.h"
#include "libB.h"
#include "libC.h"


size_t funcB() {
    PRINT_MSG_0();
    return funcC();
}

伦敦银行同业拆借

libA.h：

#pragma once

#define ARRAY_DIM 3


extern char charArray[ARRAY_DIM];

size_t funcA();

利比亚共和国：

#include "defines.h"
#include "libA.h"
#include "libB.h"


char charArray[ARRAY_DIM] = {'A', 'B', 'C'};


size_t funcA() {
    PRINT_MSG_0();
    return funcB();
}

代码.py：

#!/usr/bin/env python3

import sys
from ctypes import CDLL, \
    c_size_t


DLL = "./libA.so"


def main():
    lib_a = CDLL(DLL)
    func_a = lib_a.funcA
    func_a.restype = c_size_t

    ret = func_a()
    print("{:s} returned {:d}".format(func_a.__name__, ret))


if __name__ == "__main__":
    print("Python {:s} on {:s}\n".format(sys.version, sys.platform))
    main()

输出：

[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> ls
code.py  defines.h  libA.c  libA.h  libB.c  libB.h  libC.c  libC.h
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> gcc -fPIC -shared -o libC.so libC.c
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> gcc -fPIC -shared -o libB.so libB.c -L. -lC
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> gcc -fPIC -shared -o libA.so libA.c -L. -lB
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> ls
code.py  defines.h  libA.c  libA.h  libA.so  libB.c  libB.h  libB.so  libC.c  libC.h  libC.so
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> LD_LIBRARY_PATH=. ldd libC.so
        linux-vdso.so.1 =>  (0x00007ffdfb1f4000)
        libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f56dcf23000)
        /lib64/ld-linux-x86-64.so.2 (0x00007f56dd4ef000)
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> LD_LIBRARY_PATH=. ldd libB.so
        linux-vdso.so.1 =>  (0x00007ffc2e7fd000)
        libC.so => ./libC.so (0x00007fdc90a9a000)
        libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fdc906d0000)
        /lib64/ld-linux-x86-64.so.2 (0x00007fdc90e9e000)
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> LD_LIBRARY_PATH=. ldd libA.so
        linux-vdso.so.1 =>  (0x00007ffd20d53000)
        libB.so => ./libB.so (0x00007fdbee95a000)
        libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fdbee590000)
        libC.so => ./libC.so (0x00007fdbee38e000)
        /lib64/ld-linux-x86-64.so.2 (0x00007fdbeed5e000)
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> nm -S libC.so | grep charArray
                 U charArray
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> nm -S libA.so | grep charArray
0000000000201030 0000000000000003 D charArray
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> LD_LIBRARY_PATH=. python3 code.py
Python 3.5.2 (default, Nov 12 2018, 13:43:14)
[GCC 5.4.0 20160609] on linux

From C: [libA.c] (9) - [funcA]
From C: [libB.c] (7) - [funcB]
From C: [libC.c] (7) - [funcC]
0 - A
1 - B
2 - C

funcA returned 3

但是如果你的数组被声明为static（[CPPReference]: C keywords: static）（因此，它不能像示例中那样是extern），那么你就有点受不了了。在

@EDIT0：扩展示例，使其更适合描述。在

因为每个元素之间的依赖关系都是动态加载的。在

实用工具：

#pragma once

#include <dlfcn.h>


void *loadLib(char id);

实用工具c：

#include "defines.h"
#include "utils.h"


void *loadLib(char id) {
    PRINT_MSG_0();
    char libNameFormat[] = "lib%c.so";
    char libName[8];
    sprintf(libName, libNameFormat, id);
    int load_flags = RTLD_LAZY | RTLD_GLOBAL;  // !!! @TODO - @CristiFati: Note RTLD_LAZY: if RTLD_NOW would be here instead, there would be nothing left to do. Same thing if RTLD_GLOBAL wouldn't be specified. !!!
    void *ret = dlopen(libName, load_flags);
    if (ret == NULL) {
        char *err = dlerror();
        printf("Error loading lib (%s): %s\n", libName, (err != NULL) ? err : "(null)");
    }
    return ret;
}

下面是libB.c的修改版本。注意同样的模式也应该应用于原始的libA.c。在

图书馆：

#include "defines.h"
#include "libB.h"
#include "libC.h"
#include "utils.h"


size_t funcB() {
    PRINT_MSG_0();
    void *mod = loadLib('C');
    size_t ret = funcC();
    dlclose(mod);
    return ret;
}

输出：

[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> ls
code.py  defines.h  libA.c  libA.h  libB.c  libB.h  libC.c  libC.h  utils.c  utils.h
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> gcc -fPIC -shared -o libC.so libC.c utils.c
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> gcc -fPIC -shared -o libB.so libB.c utils.c
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> gcc -fPIC -shared -o libA.so libA.c utils.c
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> ls
code.py  defines.h  libA.c  libA.h  libA.so  libB.c  libB.h  libB.so  libC.c  libC.h  libC.so  utils.c  utils.h
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> ldd libA.so
        linux-vdso.so.1 =>  (0x00007ffe5748c000)
        libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f4d9e3f6000)
        /lib64/ld-linux-x86-64.so.2 (0x00007f4d9e9c2000)
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> ldd libB.so
        linux-vdso.so.1 =>  (0x00007ffe22fe3000)
        libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fe93ce8a000)
        /lib64/ld-linux-x86-64.so.2 (0x00007fe93d456000)
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> ldd libC.so
        linux-vdso.so.1 =>  (0x00007fffe85c3000)
        libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f2d47453000)
        /lib64/ld-linux-x86-64.so.2 (0x00007f2d47a1f000)
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> nm -S libC.so | grep charArray
                 U charArray
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> nm -S libA.so | grep charArray
0000000000201060 0000000000000003 D charArray
[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> LD_LIBRARY_PATH=. python3 code.py
Python 3.5.2 (default, Nov 12 2018, 13:43:14)
[GCC 5.4.0 20160609] on linux

Traceback (most recent call last):
  File "code.py", line 22, in <module>
    main()
  File "code.py", line 12, in main
    lib_a = CDLL(DLL)
  File "/usr/lib/python3.5/ctypes/__init__.py", line 347, in __init__
    self._handle = _dlopen(self._name, mode)
OSError: ./libA.so: undefined symbol: funcB

我相信这又重复了这个问题。现在，如果修改（1^st部分）代码.py收件人：

#!/usr/bin/env python3

import sys
from ctypes import CDLL, \
    RTLD_GLOBAL, \
    c_size_t


RTLD_LAZY = 0x0001

DLL = "./libA.so"


def main():
    lib_a = CDLL(DLL, RTLD_LAZY | RTLD_GLOBAL)
    func_a = lib_a.funcA
    func_a.restype = c_size_t

    ret = func_a()
    print("{:s} returned {:d}".format(func_a.__name__, ret))


if __name__ == "__main__":
    print("Python {:s} on {:s}\n".format(sys.version, sys.platform))
    main()

您将得到以下输出：

[cfati@cfati-ubtu16x64-0:~/Work/Dev/StackOverflow/q053327620]> LD_LIBRARY_PATH=. python3 code.py
Python 3.5.2 (default, Nov 12 2018, 13:43:14)
[GCC 5.4.0 20160609] on linux

From C: [libA.c] (11) - [funcA]
From C: [utils.c] (6) - [loadLib]
From C: [libB.c] (8) - [funcB]
From C: [utils.c] (6) - [loadLib]
From C: [libC.c] (7) - [funcC]
0 - A
1 - B
2 - C

funcA returned 3

注意事项：

在CRTLD_LAZY | RTLD_GLOBAL中存在是非常重要的。如果RTLD_LAZY被RTLD\u NOW取代，它将不起作用
- 此外，如果未指定RTLD\u GLOBAL，它也将不起作用。我没有检查是否有其他的RTLD\标志可以代替RTLD\u GLOBAL来让东西继续工作
创建处理所有库加载和初始化的包装器库是一件好事（解决方法），特别是如果您计划从多个位置使用它们（这样，整个过程只会在一个地方发生）。但是，前面的子弹仍然适用
出于某些原因，ctypes不会公开RTLD_LAZY（事实上，还有许多其他相关的标志）。在中定义它代码.py是一种变通方法，在不同的（Nix）平台（风格）上，它的值可能不同

相关问题更多 >

编程相关推荐

热门问题

热门文章

使用ctypes/cffi解决循环共享对象依赖关系

相关问题 更多 >

编程相关推荐

热门问题

热门文章

相关问题更多 >