用Rust通过网络摄像头构建实时流媒体服务器

在当今快速发展的技术环境中，实时多媒体流已经成为数字体验中不可或缺的一部分。无论是视频会议、直播还是远程监控，实时捕获和传输视频帧的能力都是一项强大的功能。

在本文中，我们将探索如何使用Rust和OpenCV crate通过实时网络摄像头构建一个简单的流媒体服务器。

我们的目标是创建一个服务器，从网络摄像头捕获帧，并通过HTTP实时传输到连接的客户端。我们将利用OpenCV crate进行网络摄像头交互和图像处理。

创建项目

安装OpenCV：

brew install opencv

新建一个Rust项目：

cargo new rust-opencv

在Cargo.toml文件中加入依赖项：

[dependencies]
opencv = "0.84.5"

如果出现找不到libclang.dylib的错误，参考下面的解决方法：

mdfind -name libclang.dylib
sudo ln -s /usr/local/Cellar/llvm/16.0.6/lib/libclang.dylib /usr/local/lib

下面让我们一步一步地分解实现：

1，导入依赖项

在src/main.rs文件中，写入以下代码：

use opencv::{
    core::{Mat, Vector}, imgcodecs, prelude::*, videoio,
};

use std::net::TcpListener;
use std::io::Write;

首先从OpenCV crate和标准Rust crate中导入必要的依赖项，OpenCV crate用于图像和视频处理。

2，绑定TCP监听器

代码使用TcpListener::bind函数将TCP侦听器绑定到IP地址“127.0.0.1”和端口“8080”上。这将设置服务器侦听该IP和端口上的接入的客户端连接。

fn main() {
    let listener = TcpListener::bind("127.0.0.1:8080").unwrap();
    println!("服务器在端口8080上监听 ... ");
}

3，初始化摄像头

初始化一个视频捕获对象(cam)来从默认的webcam(设备索引0)捕获帧，并设置主循环。

fn main() {
    ......

    let mut cam = videoio::VideoCapture::new(0, videoio::CAP_ANY).expect("视频捕获失败");
    let mut frame = Mat::default();
    let mut buf = Vector::new();
    loop{
        // ... 
    }
}

4，接受客户端连接

在循环中，服务器使用listener.accept()函数等待客户端连接。一旦建立连接，它将返回一个TCP流(stream)，该流将用于与客户端通信。

fn main() {
    ......

    loop{
        let (mut stream, _) = listener.accept().expect("无法接受连接");
    }
}

上面的代码进入一个主循环，在这个主循环中，它不断地监听传入的客户端连接，并为它们提供实时视频帧。

5，捕获和编码帧

建立连接后，使用cam.read(&mut frame)函数从网络摄像头读取视频帧，然后使用imgcodecs::imencode函数将捕获的帧编码为JPEG图像。编码后的图像数据存储在buf向量中。

fn main() {
    .....

    loop{
        let (mut stream, _) = listener.accept().expect("Failed to accept connection");

        cam.read(&mut frame).expect("捕获帧失败");
        buf.clear();
        let _ = imgcodecs::imencode(".jpg", &frame, &mut buf, &Vector::new());
    }
}

6，创建响应头

该代码创建了一个内容类型为“multipart/x-mix -replace”的HTTP响应头，并指定了一个名为“frame”的边界。这个响应头表示多个图像帧将依次发送，这将使客户端实时接收和显示帧，而无需为每个新帧关闭和重新打开连接。

fn main() {
    ......

    loop{
        ......

        let response = format!(
            "HTTP/1.1 200 OK\r\nContent-Type: multipart/x-mixed-replace; boundary=frame\r\n\r\n"
        );

        stream.write_all(response.as_bytes()).unwrap();
    }
}

使用stream.write_all函数响应头被写入客户端的流，这通知客户端，服务器已准备好发送图像帧。

7，内部循环：发送视频帧

在嵌套循环中，服务器连续捕获帧，对它们进行编码，并以连续流的形式将它们发送给客户端。这个循环确保新帧一旦可用就被捕获并发送。

fn main() {
    ......

    loop{
        ......

        loop {
            cam.read(&mut frame).expect("捕获帧失败");
            buf.clear();
            let _ = imgcodecs::imencode(".jpg", &frame, &mut buf, &Vector::new());

            let image_data = format!(
                "--frame\r\nContent-Type: image/jpeg\r\nContent-Length: {}\r\n\r\n",
                buf.len()
            );

            stream.write_all(image_data.as_bytes()).unwrap();
            stream.write_all(buf.as_slice()).unwrap();
            stream.write_all(b"\r\n").unwrap();
            stream.flush().unwrap();
        }
    }
}

在内部循环中，服务器再次捕获帧，对其进行编码，并将编码后的数据存储在buf向量中。然后，它为图像构造一个具有适当内容类型和内容长度的HTTP响应。使用stream.write_all函数将图像数据发送到客户端。

发送图像数据后，服务器使用stream.flush()刷新流，以确保数据立即发送到客户端。

完整代码：

use opencv::{
    core::{Mat, Vector}, imgcodecs, prelude::*, videoio,
};

use std::net::TcpListener;
use std::io::Write;

fn main() {
    let listener = TcpListener::bind("127.0.0.1:8080").unwrap();
    println!("服务器在端口8080上监听 ... ");

    let mut cam = videoio::VideoCapture::new(0, videoio::CAP_ANY).expect("视频捕获失败");
    let mut frame = Mat::default();
    let mut buf = Vector::new();

    loop{
        let (mut stream, _) = listener.accept().expect("无法接受连接");

        cam.read(&mut frame).expect("捕获帧失败");
        buf.clear();
        let _ = imgcodecs::imencode(".jpg", &frame, &mut buf, &Vector::new());

        let response = format!(
            "HTTP/1.1 200 OK\r\nContent-Type: multipart/x-mixed-replace; boundary=frame\r\n\r\n"
        );

        stream.write_all(response.as_bytes()).unwrap();

        loop {
            cam.read(&mut frame).expect("捕获帧失败");
            buf.clear();
            let _ = imgcodecs::imencode(".jpg", &frame, &mut buf, &Vector::new());

            let image_data = format!(
                "--frame\r\nContent-Type: image/jpeg\r\nContent-Length: {}\r\n\r\n",
                buf.len()
            );

            stream.write_all(image_data.as_bytes()).unwrap();
            stream.write_all(buf.as_slice()).unwrap();
            stream.write_all(b"\r\n").unwrap();
            stream.flush().unwrap();
        }
    }
}

运行

输入“cargo run”命令运行程序，然后打开浏览器，输入IP地址127.0.0.1:8080开始接收视频数据。

总结

恭喜你！你已经成功地使用Rust和OpenCV crate构建了一个实时网络摄像头流媒体服务器。你可以通过添加身份验证、多摄像头支持和客户端等功能或将其与web界面集成来进一步增强该服务器的功能。

实时流只是Rust和OpenCV支持的众多令人兴奋的功能之一。通过掌握这些工具，你可以探索广泛的多媒体应用，从计算机视觉到视频处理等等。

本文由微信公众号coding到灯火阑珊原创，哈喽比特收录。
文章来源：https://mp.weixin.qq.com/s/DA0GttKaSoEH_CN7a-088Q