python-用cython简单包装C代码

我有许多C函数,我想从python调用它们。 cython似乎是要走的路,但是我真的找不到真正做到这一点的例子。 我的C函数如下所示:

void calculate_daily ( char *db_name, int grid_id, int year,
                       double *dtmp, double *dtmn, double *dtmx, 
                       double *dprec, double *ddtr, double *dayl, 
                       double *dpet, double *dpar ) ;

我要做的就是指定前三个参数(一个字符串和两个整数),并恢复8个numpy数组(或python列表。所有双精度数组都有N个元素)。 我的代码假定指针指向已分配的内存块。 同样,产生的C代码应该链接到一些外部库。

Jose asked 2020-08-01T11:36:41Z
4个解决方案
64 votes

这是传递numpy数组的小巧但完整的示例从逻辑上讲到外部C函数

fc( int N, double* a, double* b, double* z )  # z = a + b

使用Cython。(这对于熟悉它的人来说肯定是众所周知的。欢迎发表评论。最后更改:2011年2月23日,适用于Cython 0.14。)

初读或略读Cython构建和Cython与NumPy。

2个步骤:

  • cython-numpy-c-demo
    变成sh cython-numpy-c-demog++ -c ... f.cpp -> f.o-> g++ -c ... fc.cpp -> fc.o,动态库
  • cython-numpy-c-demo
    sh cython-numpy-c-demo负载g++ -c ... f.cpp -> f.o; g++ -c ... fc.cpp -> fc.o称为C cc-lib f.o fc.o -> dynamic library f.so

cython-numpy-c-demo使用sh cython-numpy-c-demo运行cython,编译并链接:
g++ -c ... f.cpp -> f.o
编译g++ -c ... fc.cpp -> fc.occ-lib f.o fc.o -> dynamic library f.so
链接cc-lib-mac-> rm -r build/,python import f将加载的动态库。

对于学生,我建议:绘制这些步骤的图表,浏览以下文件,然后下载并运行它们。

cython-numpy-c-demo是一个巨大的,复杂的软件包,用于制作要分发的Python软件包,然后安装它们。在这里,我们仅使用其中的一小部分进行编译并链接到sh cython-numpy-c-demo。此步骤与Cython无关,但可能会造成混淆。.pyx中的简单错误可能会导致g ++编译和链接的页面出现模糊的错误消息。也可以看看distutils文件和/或关于distutils的问题。)

cython-numpy-c-demo一样,sh cython-numpy-c-demo将重新运行g++ -c ... f.cpp -> f.og++ -c ... fc.cpp -> fc.o如果cc-lib f.o fc.o -> dynamic library f.socc-lib-mac更新。
要清理,rm -r build/

cython-numpy-c-demo的替代方法是在脚本或Makefile中分别运行步骤:
sh cython-numpy-c-demo
g++ -c ... f.cpp -> f.o
g++ -c ... fc.cpp -> fc.o
cc-lib f.o fc.o -> dynamic library f.so.
修改cc-lib-mac包装器下面针对您的平台和安装:它不漂亮,但是很小。

有关Cython包装C的真实示例,几乎在任何情况下查看.pyx文件SciKit。

也可以看看:适用于NumPy用户的Cython和这样的问题/标记/ cython。


要解压缩以下文件,将批次剪切粘贴到一个大文件中,例如cython-numpy-c-demo,然后在Unix中(在一个干净的新目录中)运行sh cython-numpy-c-demo

#--------------------------------------------------------------------------------
cat >f.pyx <<\!
# f.pyx: numpy arrays -> extern from "fc.h"
# 3 steps:
# cython f.pyx  -> f.c
# link: python f-setup.py build_ext --inplace  -> f.so, a dynamic library
# py test-f.py: import f gets f.so, f.fpy below calls fc()

import numpy as np
cimport numpy as np

cdef extern from "fc.h": 
    int fc( int N, double* a, double* b, double* z )  # z = a + b

def fpy( N,
    np.ndarray[np.double_t,ndim=1] A,
    np.ndarray[np.double_t,ndim=1] B,
    np.ndarray[np.double_t,ndim=1] Z ):
    """ wrap np arrays to fc( a.data ... ) """
    assert N <= len(A) == len(B) == len(Z)
    fcret = fc( N, <double*> A.data, <double*> B.data, <double*> Z.data )
        # fcret = fc( N, A.data, B.data, Z.data )  grr char*
    return fcret

!

#--------------------------------------------------------------------------------
cat >fc.h <<\!
// fc.h: numpy arrays from cython , double*

int fc( int N, const double a[], const double b[], double z[] );
!

#--------------------------------------------------------------------------------
cat >fc.cpp <<\!
// fc.cpp: z = a + b, numpy arrays from cython

#include "fc.h"
#include <stdio.h>

int fc( int N, const double a[], const double b[], double z[] )
{
    printf( "fc: N=%d a[0]=%f b[0]=%f \n", N, a[0], b[0] );
    for( int j = 0;  j < N;  j ++ ){
        z[j] = a[j] + b[j];
    }
    return N;
}
!

#--------------------------------------------------------------------------------
cat >f-setup.py <<\!
# python f-setup.py build_ext --inplace
#   cython f.pyx -> f.cpp
#   g++ -c f.cpp -> f.o
#   g++ -c fc.cpp -> fc.o
#   link f.o fc.o -> f.so

# distutils uses the Makefile distutils.sysconfig.get_makefile_filename()
# for compiling and linking: a sea of options.

# http://docs.python.org/distutils/introduction.html
# http://docs.python.org/distutils/apiref.html  20 pages ...
# https://stackoverflow.com/questions/tagged/distutils+python

import numpy
from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext
# from Cython.Build import cythonize

ext_modules = [Extension(
    name="f",
    sources=["f.pyx", "fc.cpp"],
        # extra_objects=["fc.o"],  # if you compile fc.cpp separately
    include_dirs = [numpy.get_include()],  # .../site-packages/numpy/core/include
    language="c++",
        # libraries=
        # extra_compile_args = "...".split(),
        # extra_link_args = "...".split()
    )]

setup(
    name = 'f',
    cmdclass = {'build_ext': build_ext},
    ext_modules = ext_modules,
        # ext_modules = cythonize(ext_modules)  ? not in 0.14.1
    # version=
    # description=
    # author=
    # author_email=
    )

# test: import f
!

#--------------------------------------------------------------------------------
cat >test-f.py <<\!
#!/usr/bin/env python
# test-f.py

import numpy as np
import f  # loads f.so from cc-lib: f.pyx -> f.c + fc.o -> f.so

N = 3
a = np.arange( N, dtype=np.float64 )
b = np.arange( N, dtype=np.float64 )
z = np.ones( N, dtype=np.float64 ) * np.NaN

fret = f.fpy( N, a, b, z )
print "fpy -> fc z:", z

!

#--------------------------------------------------------------------------------
cat >cc-lib-mac <<\!
#!/bin/sh
me=${0##*/}
case $1 in
"" )
    set --  f.cpp fc.cpp ;;  # default: g++ these
-h* | --h* )
    echo "
$me [g++ flags] xx.c yy.cpp zz.o ...
    compiles .c .cpp .o files to a dynamic lib xx.so
"
    exit 1
esac

# Logically this is simple, compile and link,
# but platform-dependent, layers upon layers, gloom, doom

base=${1%.c*}
base=${base%.o}
set -x

g++ -dynamic -arch ppc \
    -bundle -undefined dynamic_lookup \
    -fno-strict-aliasing -fPIC -fno-common -DNDEBUG `# -g` -fwrapv \
    -isysroot /Developer/SDKs/MacOSX10.4u.sdk \
    -I/Library/Frameworks/Python.framework/Versions/2.6/include/python2.6 \
    -I${Pysite?}/numpy/core/include \
    -O2 -Wall \
    "$@" \
    -o $base.so

# undefs: nm -gpv $base.so | egrep '^ *U _+[^P]'
!

# 23 Feb 2011 13:38
denis answered 2020-08-01T11:38:35Z
12 votes

以下Cython代码来自[http://article.gmane.org/gmane.comp.python.cython.user/5625]不需要显式强制转换,也可以处理非连续数组:

def fpy(A):
    cdef np.ndarray[np.double_t, ndim=2, mode="c"] A_c
    A_c = np.ascontiguousarray(A, dtype=np.double)
    fc(&A_c[0,0])
Nikratio answered 2020-08-01T11:38:55Z
3 votes

基本上,您可以编写自己的Cython函数来分配数组(请确保.data):

cdef np.ndarray[np.double_t, ndim=1] rr = np.zeros((N,), dtype=np.double)

然后将每个指针的.data传递给C函数。 那应该工作。 如果您不需要从零开始,则可以使用np.empty来提高速度。

请参阅文档中的Cython for NumPy用户教程(将其固定到正确的链接)。

dwf answered 2020-08-01T11:39:25Z
2 votes

如果您只需要一个函数,则应该检查出Ctypes可能是最容易使用的东西。

Yon answered 2020-08-01T11:39:47Z
translate from https://stackoverflow.com:/questions/3046305/simple-wrapping-of-c-code-with-cython