Python 調用C++封裝的進一步探索交流

Posted on by

我們知道，C++和python各有優缺點，C++可以直接映射到硬件底層，實現高效運行，而python能夠方便地來進行編程，有助於工程的快速實現。

那能不能發揮兩者的優勢將它們結合起來？當然是可以的！有多種方法可以實現它們之間的相互轉換。

鏈接文章中，有提到一個簡單的例子，來教我們如何生成可以被python加載的文件。

但是這隻能針對簡單的數據進行封裝，一旦涉及到自定義的類等封裝數據，就需要借助第三方庫來幫助更好實現。

比如numpy與C++的數據接口。

這裡對python調用C++生成的pyd(so/dll)文件進行進一步的探索。

1.首先進行如下配置，在VC++目錄中包含python和numpy的文件目錄：

配置為Release平臺，不然numpy的頭文件無法被包含，導致編譯器鏈接出錯。

特別要註意的一點是用cmd生成pyd文件時，VS2013可能要輸入： SET VS90COMNTOOLS=%VS120COMNTOOLS%（每次重新打開cmd窗口運行pythonsetup.py build的時候都要輸入一次）才能生成成功。

2.理解python調用C++的數據交互過程：

Python中的代碼通過CPython等將語句解釋為C/C++語言，然後編譯器調用binding入口函數，將傳進來的PyObject*參數通過PyFloat_AsDouble()等轉換成C/C++變量。

這些作為輸入變量傳進已經寫好的C++函數，調用該函數，返回C++結果。最後反過來，將C/C++變量轉成CPython可以識別的PyObject*對象返回給python編譯器（如函數PyFloat_FromDouble()），完成python到C++的調用。

當C/C++裡面的輸入變量或者返回值都不是基本類型時，比如自定義的類，那我們同樣要按照類裡面定義數據的方式以數據的方式來對應改成python能識別的基本類型的組合。

以Mat和numpy的array對象相互轉換為例：

//以Mat的allocator作為基類，Numpy的Allocator作為繼承類
//這樣可以用派生對象指針對基類數據進行操作
class NumpyAllocator : public MatAllocator
{
public:
 NumpyAllocator() { stdAllocator = Mat::getStdAllocator(); }
 ~NumpyAllocator() {}
 
 UMatData* allocate(PyObject* o, int dims, const int* sizes, int type, size_t* step) const
 {
  UMatData* u = new UMatData(this);
  u->data = u->origdata = (uchar*)PyArray_DATA((PyArrayObject*) o);
  npy_intp* _strides = PyArray_STRIDES((PyArrayObject*) o);
  for( int i = 0; i < dims - 1; i++ )
   step[i] = (size_t)_strides[i];
  step[dims-1] = CV_ELEM_SIZE(type);
  u->size = sizes[0]*step[0];
  u->userdata = o;
  return u;
 }
 
 UMatData* allocate(int dims0, const int* sizes, int type, void* data, size_t* step, int flags, UMatUsageFlags usageFlags) const
 {
  if( data != 0 )
  {
   CV_Error(Error::StsAssert, "The data should normally be NULL!");
   // probably this is safe to do in such extreme case
   return stdAllocator->allocate(dims0, sizes, type, data, step, flags, usageFlags);
  }
 //確保當前使用python的C API是線程安全的
  PyEnsureGIL gil;
 
  int depth = CV_MAT_DEPTH(type);
  int cn = CV_MAT_CN(type);
  const int f = (int)(sizeof(size_t)/8);
  int typenum = depth == CV_8U ? NPY_UBYTE : depth == CV_8S ? NPY_BYTE :
  depth == CV_16U ? NPY_USHORT : depth == CV_16S ? NPY_SHORT :
  depth == CV_32S ? NPY_INT : depth == CV_32F ? NPY_FLOAT :
  depth == CV_64F ? NPY_DOUBLE : f*NPY_ULONGLONG + (f^1)*NPY_UINT;
  int i, dims = dims0;
  cv::AutoBuffer<npy_intp> _sizes(dims + 1);
  for( i = 0; i < dims; i++ )
   _sizes[i] = sizes[i];
  if( cn > 1 )
   _sizes[dims++] = cn;
  PyObject* o = PyArray_SimpleNew(dims, _sizes, typenum);
  if(!o)
   CV_Error_(Error::StsError, ("The numpy array of typenum=%d, ndims=%d can not be created", typenum, dims));
  return allocate(o, dims0, sizes, type, step);
 }
 
 bool allocate(UMatData* u, int accessFlags, UMatUsageFlags usageFlags) const
 {
  return stdAllocator->allocate(u, accessFlags, usageFlags);
 }
 
 void deallocate(UMatData* u) const
 {
  if(!u)
   return;
  PyEnsureGIL gil;
  CV_Assert(u->urefcount >= 0);
  CV_Assert(u->refcount >= 0);
  if(u->refcount == 0)
  {
   PyObject* o = (PyObject*)u->userdata;
   Py_XDECREF(o);
   delete u;
  }
 }
 //基類指針，調用allocate函數進行內存分配
 const MatAllocator* stdAllocator;
};

上面是先構造好能夠相互交互的allocator。

//將PyObject的特性幅值給size,ndims,type
 int typenum = PyArray_TYPE(oarr), new_typenum = typenum;
 int type = typenum == NPY_UBYTE ? CV_8U :
    typenum == NPY_BYTE ? CV_8S :
    typenum == NPY_USHORT ? CV_16U :
    typenum == NPY_SHORT ? CV_16S :
    typenum == NPY_INT ? CV_32S :
    typenum == NPY_INT32 ? CV_32S :
    typenum == NPY_FLOAT ? CV_32F :
    typenum == NPY_DOUBLE ? CV_64F : -1;
 
 //....
 
 int ndims = PyArray_NDIM(oarr);
 //....
 
 const npy_intp* _sizes = PyArray_DIMS(oarr);
 
 const npy_intp* _strides = PyArray_STRIDES(oarr);
 for ( int i = ndims - 1; i >= 0; --i )
 {
  size[i] = (int)_sizes[i];
  if ( size[i] > 1 )
  {
   step[i] = (size_t)_strides[i];
   default_step = step[i] * size[i];
  }
  else
  {
   step[i] = default_step;
   default_step *= size[i];
  }
 }
 //....
 
//這一步直接用PyObject初始化Mat m
 m = Mat(ndims, size, type, PyArray_DATA(oarr), step);
 m.u = g_numpyAllocator.allocate(o, ndims, size, type, step);
 m.addref();

上面是將PyObject對象轉為Mat的部分代碼，具體可以參考opencv的cv2.cpp文件：..\OpenCV\sources\modules\python\src2

//將Mat轉換為PyObject*
template<>
PyObject* pyopencv_from(const Mat& m)
{
 if( !m.data )
  Py_RETURN_NONE;
 Mat temp, *p = (Mat*)&m;
 //確保數據拷貝不會對原始數據m產生破壞
 if(!p->u || p->allocator != &g_numpyAllocator)
 {
  temp.allocator = &g_numpyAllocator;
  ERRWRAP2(m.copyTo(temp));
  p = &temp;
 }
 //將Mat封裝好的userdata指針轉給Pyobject*
 PyObject* o = (PyObject*)p->u->userdata;
 //引用計數器加一
 Py_INCREF(o);
 return o;
}

3.不是所有C++的語法都能轉為python可調用的pyd文件

一個很重要的知識點是，pyd文件跟dll文件非常相似，所以生成dll比較困難的C++代碼同樣難以生成pyd，C++跟python編譯器各自編譯特性的區別也會使得轉換存在困難，比如C++的動態編譯。

下面是可以進行相互轉換的C++特性（可以用swig生成）：

類；構造函數和析構函數；虛函數；（多重）公有繼承；

靜態函數；重載（包括大多數操作符重載）；引用；

模板編程（特化和成員模板）；命名空間；默認參數；智能指針。

下面是不能或者比較困難進行轉換的C++特性：

嵌套類；特定操作符的重載比如new和delete。

以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。如有錯誤或未考慮完全的地方，望不吝賜教。

推薦閱讀：