MPI学习笔记:MPI_Type_vector与打包解包

用两种方式实现了进程间三维矩阵的通信。
MPI_Type_vector没什么好说的。而关于打包解包操作,虽然会占用额外的内存,但是在某些情况下还是比较方便的,例如需要发送一个矩阵中的子块。在这里,我使用两层循环来将一个三维矩阵打包到一个连续的缓冲区并发送,接受进程接收后将接收缓冲区中的数据解包到自身的矩阵中。
在使用打包解包操作时需要注意C语言中多维数组按行优先存储,而在fortran中则是列优先。

#include<stdio.h>
#include"mpi.h"
#include"stdlib.h"
#define mat_size 10
int main(int argc,char **argv)
  //定义矩阵,连续存放,使用mpi_type_vector生成新的数据类型来发送。
  struct vect{
    int vec[mat_size];
  struct matrix{
    vect vecs[mat_size];
  struct matrix3d{
    matrix matrixs[mat_size];
  MPI_Datatype mpi_vec_type;
  MPI_Datatype mpi_3d_type;
  MPI_Aint extent[2];
  //使用mpi_pack打包的矩阵
  int matrix_for_pack[mat_size][mat_size][mat_size];
  int *buffer_for_packed;
  int buff_size;
  int position;//打包位置偏移
  int myrank,proc_nums;
  MPI_Status status;
  MPI_Init(&argc,&argv);
  MPI_Comm_rank(MPI_COMM_WORLD,&myrank);
  MPI_Comm_size(MPI_COMM_WORLD,&proc_nums);
//定义并提交三维矩阵数据类型
  MPI_Type_contiguous(mat_size,MPI_INT,&mpi_vec_type);
  MPI_Type_commit(&mpi_vec_type);
  MPI_Type_vector(mat_size,mat_size,mat_size,mpi_vec_type,&mpi_3d_type);
  MPI_Type_commit(&mpi_3d_type);
//测试新数据类型
  MPI_Type_extent(mpi_vec_type,&extent[0]);
  MPI_Type_extent(mpi_3d_type,&extent[1]);
  matrix3d matrix_3d;
  if(myrank==0)
    printf("mpi_vec_type extent is %d\n",extent[0]);
    printf("mpi_3d_type extent is %d\n",extent[1]);
    for(int i=0;i<mat_size;i++){
      for(int j=0;j<mat_size;j++){
        for(int k=0;k<mat_size;k++){matrix_3d.matrixs[i].vecs[j].vec[k]=1;}
  MPI_Send(&matrix_3d.matrixs[0].vecs[0].vec[0],1,mpi_3d_type,1,0,MPI_COMM_WORLD);
  if(myrank==1)
    MPI_Recv(&matrix_3d.matrixs[0].vecs[0].vec[0],1,mpi_3d_type,0,0,MPI_COMM_WORLD,&status);
    for(int i=0;i<mat_size;i++){
      for(int j=0;j<mat_size;j++){
        for(int k=0;k<mat_size;k++){
          //printf("matrix_3d[%d][%d][%d] is %d \n",i,j,k,matrix_3d.matrixs[i].vecs[j].vec[j]);}
  //接下来使用MPI_PACK来打包不连续的数据
  MPI_Barrier(MPI_COMM_WORLD);
  buff_size=mat_size*mat_size*mat_size*sizeof(int);
  buffer_for_packed=(int *)malloc(buff_size);
  if(myrank==0){
    for(int l=0;l<mat_size;l++){
      for(int m=0;m<mat_size;m++){
        for(int n=0;n<mat_size;n++){matrix_for_pack[l][m][n]=l*100+m*10+n;}
    //打包到连续的缓冲区
    position=0;
    for(int ii=0;ii<mat_size;ii++){
      for(int jj=0;jj<mat_size;jj++){
        MPI_Pack(matrix_for_pack[ii][jj],mat_size,MPI_INT,buffer_for_packed,buff_size,&position,MPI_COMM_WORLD);
    MPI_Send(buffer_for_packed,buff_size,MPI_PACKED,1,0,MPI_COMM_WORLD);
    printf("matrix has been packed and send!\n");
  if(myrank==1){
    MPI_Recv(buffer_for_packed,buff_size,MPI_PACKED,0,0,MPI_COMM_WORLD,&status);
    position=0;
    for(int ii=0;ii<mat_size;ii++){
      for(int jj=0;jj<mat_size;jj++){
        MPI_Unpack(buffer_for_packed,buff_size,&position,matrix_for_pack[ii][jj],mat_size,MPI_INT,MPI_COMM_WORLD);
    printf("recieved and unpacked!\n");
    for(int l=0;l<mat_size;l++){
      for(int m=0;m<mat_size;m++){
        for(int n=0;n<mat_size;n++){
          //printf("hu%d\n",matrix_for_pack[l][m][n]);
  MPI_Finalize();
  return 0;
                    MPI学习笔记:MPI_Type_vector与打包解包用两种方式实现了进程间三维矩阵的通信。MPI_Type_vector没什么好说的。而关于打包解包操作,虽然会占用额外的内存,但是在某些情况下还是比较方便的。在这里,我使用两层循环来将一个三维矩阵打包到一个连续的缓冲区并发送,接受进程接收后将接收缓冲区中的数据解包到自身的矩阵中。在使用打包解包操作时需要注意C语言中多维数组按行优先存储,而...
				
在写按块矩阵乘时,会遇到将矩阵按块划分,然后分发给各个节点。此时方便的做法是定义MPI_Type_vector数据类型,表示矩阵的一小块,然后通过MPI_Scatter将矩阵散发到各个节点。但通过简单的MPI_Scatter进行操作时,一直出现错误,最终发现是我把MPI_Scatter想的太简单了。 //row_block_data为每块的行数(分块矩阵行列数相同) //N代表原始...
下面程序中MPI_Type_hvector改为MPI_Type_vector 就错了,我以为是这样的,因为这时是用的新类型stype构造ntype。stype为矩阵的一列数据的类型。ntype为整个转置后的矩阵类型。 MPI_Type_vector第三个参数stride代表的是number of elements between start of each block (integer) 。
2。计算机读取数组时,一次会读入一行,要最大限度的利用已读入的数据,减少频繁读写的次数。 3。多线程内存共享,多进程需要消息传递来交换变量。 4。利用管道在不同程序之间传递内容(可以是管道符|或mkfifo mypipe) 5。平均不同节点的计算量,尽量做到负载平衡。 6。数据分块是每块大小尽可能为cache的1/3。 7。MPI_CHAR 为一个字符,但不一定是一个字节。 8。在MPI_Init()之后再处理命令行参数。 9。MPI_Recive()出现在MP
MPI学习笔记MPI_Type_struct与MPI_Type_contigouos 关于MPI中的派生数据类型,比较难理解,尤其是在没有太多编程基础的情况下。需要对类型图,跨度等概念有一定的了解。这些在书上都有较为详细的介绍。 在下面的测试代码中,定义了一个新的数据类型,该数据类型由3个整数型,4个双精度浮点型和5个字符型构成。数据类型的跨度为56个字节。并将该数据类型重复十次构成新的数据类型...
将数据块分配给所有组进程 MPI_Scatter函数将根进程发送缓冲区的消息分割成大小相等的sendcount部分,并将第i部分发送到第i号进程(包括它自己)的接收缓冲区。 int MPI_Scatter(void* sendbuf, int sendcount, MPI_Datatype sendtype, void* recvbuf, int recvcount, MPI_Datatype recvtype。 int root, MPI_Comm comm) IN sendbu...
MPI_Type_extent(MPI_Datatype datatype,MPI_Aint extent) return the extent of a datatype. MPI_Type_size(MPI_Datatype datatype,int *size) return the total size,in bytes,of the entries in the type signa
Connon矩阵乘是通过循环移位,通过相邻节点上的数据进行交换,然后最终实现矩阵乘法。特点是每个节点占用空间比较少,传输比较少。本篇以MPI_Comm_split为循环移位基础。以下为具体做法。 以MPI_Comm_cart循环移位为基础的请参考: https://blog.csdn.net/xll_bit/article/details/103114386 MPI_Type_vector和...
mbedtls_mpi_size() 是 mbed TLS 库中的一个函数,它用于计算一个多精度整数 (Multi-Precision Integer, MPI) 的字节数。 MPI 是一种用于表示大整数的数据结构,它通常用于加密算法中。mbedtls_mpi_size() 函数可以计算出给定 MPI 的二进制表示所需的存储空间大小,即 MPI 的字节数。 该函数的原型为: size_t mbedtls_mpi_size( const mbedtls_mpi *X ); 它的参数 X 是指向一个 mbedtls_mpi 结构体的指针,该结构体存储了一个 MPI 数。函数会返回该 MPI 数的字节数。 示例代码如下: mbedtls_mpi X; size_t size; mbedtls_mpi_init( &X ); // 将 X 赋值为一个大整数 size = mbedtls_mpi_size( &X ); printf( "X 的字节数为 %d\n", size ); mbedtls_mpi_free( &X ); 希望这些信息对您有帮助。