udp 视频传输_webrtc视频流传输开发者社区

udp 视频传输_webrtc视频流传输

// 实例化一个VideoCapture，选择从本地文件读取视频
private VideoCapture capture = new VideoCapture("../../video/04.mp4");
// 设置读取的图片宽度
const int WIDTH = 1920;  
// 设置读取的图片高度
const int HEIGHT = 1080; 
// 切片数量
const int NUM_SLICE = 24;

private void Form1_Load(object sender, EventArgs e)
// 设置图像大小
capture.SetCaptureProperty(Emgu.CV.CvEnum.CapProp.FrameWidth, WIDTH);
capture.SetCaptureProperty(Emgu.CV.CvEnum.CapProp.FrameHeight, HEIGHT);
// 获取面板控件的大小
int w = panel_imgs.Width;
int h = panel_imgs.Height;
// 在面板panel_imgs上添加显示控件，用于显示每个切片
for (int i = 0; i < NUM_SLICE; i++)
ImageBox imgb = new ImageBox();
imgb.Left = 0;
imgb.Top = i * h / NUM_SLICE;
imgb.Width = w;
imgb.Height = h / NUM_SLICE - 1;
imgb.SizeMode = PictureBoxSizeMode.StretchImage;
imgb.Visible = true;
imgbox[i] = imgb;
panel_imgs.Controls.Add(imgbox[i]);
// 在下拉文本框cbb_localIP中显示该计算机中的IPv4地址
cbb_localIP.Text = GetLocalIPv4Address().ToString();
}

private void ProcessFram() // 图像读取、切片、发送
DateTime startDT = System.DateTime.Now;
while (true)
// 计算两次循环间的间隔，并显示在左上角
DateTime stopDT = System.DateTime.Now;
TimeSpan ts = stopDT.Subtract(startDT);
this.Text = "图片处理耗时：" + ts.TotalMilliseconds + "ms";
startDT = System.DateTime.Now;
// 读取一张图片
Mat currentImage = capture.QueryFrame();
// 显示摄像头/视频流的图像
imageBox0.Image = currentImage;
int N = HEIGHT / NUM_SLICE;
// 对图像进行切片，并将切片压缩后发送到接收端 
Parallel.For(0, NUM_SLICE, i => // Parallel并行加速
// 从原图中切割，输入参数：原始图片 行范围row 列范围col
img[i] = new Mat(currentImage, new Range(i * N, (i + 1) * N - 1), new Range(0, WIDTH));
// 显示
imgbox[i].Image = img[i];
// 转换格式
Image<Rgb, Byte> img_trans = img[i].ToImage<Rgb, Byte>();
// JPEG压缩
byte[] bytes = img_trans.ToJpegData(95);
// UDP配置
UdpClient udpClient = new UdpClient();
//IPAddress ipaddress = IPAddress.Parse("192.168.0.105");
IPAddress ipaddress = remoteIP;
IPEndPoint endpoint = new IPEndPoint(ipaddress, 8000 + 10 * i);
// UDP发送
udpClient.Send(bytes, bytes.Length, endpoint);
udpClient.Close();
}

Thread transFrames = new Thread(ProcessFram);
transFrames.Start();

 // 切片数量，与发送端保持一致
const int NUM_SLICE = 24; 
// 为每一个切片创建一个显示控件
PictureBox[] imgbox = new PictureBox[NUM_SLICE];
// 为每一个切片创建一个UDP套接字
Socket[] udpServer = new Socket[NUM_SLICE];

int w = panel_imgs.Width;
int h = panel_imgs.Height;
// 在面板panel_imgs上添加显示接收到的图片的控件
for (int i = 0; i < NUM_SLICE; i++)
// 设置PictureBox的位置、大小等参数
PictureBox imgb = new PictureBox();
imgb.Left = 0;
imgb.Top = i * h / NUM_SLICE;
imgb.Width = w;
imgb.Height = h / NUM_SLICE + 1;
imgb.SizeMode = PictureBoxSizeMode.StretchImage;
imgb.Visible = true;
// 添加到面板panel_imgs上
imgbox[i] = imgb;                
panel_imgs.Controls.Add(imgbox[i]);
}

for (int i = 0; i < NUM_SLICE; i++)
new Thread(new ParameterizedThreadStart(ImgReceive))
IsBackground = true
}.Start(8000 + i * 10); // 输入参数为端口号，依次增加
}

private void ImgReceive(object arg)
// 网络端口号
int port = (int)arg;
int index = port % 8000 / 10;
// 创建套接字
udpServer[index] = new Socket(AddressFamily.InterNetwork, SocketType.Dgram, ProtocolType.Udp);
// 绑定IP和端口
udpServer[index].Bind(new IPEndPoint(IPAddress.Parse(cbb_remoteIP.Text), port));
// 开启数据接收线程
while (true)
EndPoint remoteEndPoint = new IPEndPoint(IPAddress.Any, 0);
// 设置一个64k的字节数组作为缓存
byte[] data = new byte[65536];
int length = udpServer[index].ReceiveFrom(data, ref remoteEndPoint);//此方法把数据来源ip、port放到第二个参数中
MemoryStream ms = new MemoryStream(data, 0, length);
// 将图像显示到对应的PictureBox控件上
Image img = Image.FromStream(ms);

udp 视频传输_webrtc视频流传输

udp 视频传输_webrtc视频流传输

基本流程

实验环境

发送端

接收端