首页/文章/webrtc

使用Web RTC实现微信一对一视频通话竟如此简单

2024-05-08
14695 分钟
...

随着前端之路的不断探索,当今的前端时代可谓是大前端时代。当今的前端能做的事情太多太多了,这也有弊端就是前端开发人员们需要不断的学习不断的探索。希望大家可以在前端的道路上越走越远。

回到正题,今天想和大家聊一聊Web RTC相关的知识,Web RTC可以干什么?它主要是做通信相关的业务比如:视频聊天、语音聊天、直播等。

结果展示

移动端

pc端

Web RTC API

这里的API有很多,我这里就只介绍一下实现一对一视频通话所需要使用到的API

SDP

SDP 全称 Session Description Protocol,即会话描述协议。SDP 是一份具有特殊约定格式的纯文本描述文档(类似 JSON / XML),其中包含了 WebRTC 建立连接所需的 ICE 服务器信息、音视频编码信息等。

RTCPeerConnection

它是一个构造函数,用来创建一个Web RTC链接。

const rtc = new RTCPeerconnection();

createOffer(方法)

生成一个发起方的SDP Offer

const session = await rtc.createOffer()

createAnswer(方法)

生成一个应答方的SDP Answer

const session = await rtc.createAnswer()

setLocalDescription(方法)

设置本地的SDP Local

await rtc.setLocalDescription(session)

setRemoteDescription

设置对端的SDP Remote

await rtc.setRemoteDescription(session)

addTrack

addTrack方法将媒体轨道添加到将传输给其他对等端的轨道集合中。

localStream.getTracks().forEach((track) => rtc.addTrack(track, localStream));

addIceCandidate

addIceCandidate方法将新的远程候选者添加到连接的远程描述中,该远程描述描述了连接的远程端的状态。

rtc.addIceCandidate(candidate);

onicecandidate(事件)

当完成媒体协商步骤时会执行icecandidate事件,该事件的监听器需要将更改后的描述信息传送给远端RTCPeerConnection,以更新远端的备选源。

rtc.addEventlistern('icecandidate',(event)=>{
    console.log(event.candidate)
})

ontrack(事件)

执行addTrack方法会调用onTrack事件,会返回一个event对象,其中包含了对端的媒体流。

rtc.addEventlistern('track',(event)=>{
    console.log(event.streams[0])
})

通信流程

我们需要获取不同客户端的相同的编解码方式,这个步骤我我们称之为媒体协商

具体步骤如下:

完成了媒体协商之后就到了媒体流的发送了,这里具体步骤如下:

至此整个流程就完成了,接下来用代码的方式来实现一下整个的流程。

实现

这里html+css的部分很简单就不做过多介绍了,主要介绍一些js关键部分的逻辑,下面我会附带github地址有兴趣的可以下载查看具体代码。

获取摄像头

获取用户摄像头媒体流使用navigator.mediaDevices.getUserMedia方法


async function getUserMedia() {
  const stream = await navigator.mediaDevices.getUserMedia({
    audio: true,
    video: true,
  });
  console.log(stream);
  localVideo.srcObject = stream;
  localStream = stream;
  
  createRTCPeerConnection();
}

浏览器加载完成创建Web Socket链接。

window.addEventListener("load", () => {
  
  createWebSocket();
  
  callBtn.addEventListener("click", async (e) => {
   ....
  });
  
  closeEl.addEventListener("click", () => {
   ....
  });
  
  connectionEl.addEventListener("click", async () => {
    .....
    socket.send(JSON.stringify({ cmd: "connection", userId }));
  });
});

上方代码可以看到,当我们点击接听电话时,会发送一个connection指令发送到服务端,服务端会接收到这条信息并发送给远端用户提示该用户需要获取摄像头了。具体代码如下:

server端代码具体如下:


function connection(message, conn) {
  const user = getRemoteUser(message.userId, conn); 

  user && user.conn.sendText(JSON.stringify({ cmd: "connection" }));
}

客户端代码具体如下:


async function connection() {
  ....
  await getUserMedia();
  await createOffer();
}

接下来到了最主要的步骤就是媒体协商。上方在接听电话时会创建offer

媒体协商

创建offer


async function createOffer() {
  const session = await rtc.createOffer();

  await rtc.setLocalDescription(session);

  socket.send(JSON.stringify({ cmd: "offer", content: session, userId }));
}

创建answer


async function createAnswer(message) {
  await rtc.setRemoteDescription(message.content);

  const session = await rtc.createAnswer();

  await rtc.setLocalDescription(session);

  socket.send(JSON.stringify({ cmd: "answer", content: session, userId }));
}

服务端收到offer和answer的处理


function offer(message, conn) {
  const user = getRemoteUser(message.userId, conn);

  user &&
    user.conn.sendText(
      JSON.stringify({ cmd: "offer", content: message.content })
    );
}


function answer(message, conn) {
  const user = getRemoteUser(message.userId, conn);

  user &&
    user.conn.sendText(
      JSON.stringify({ cmd: "answer", content: message.content })
    );
}

媒体协商完成后会执行Web RTConicecandidate事件,这是我需要获取candidate来互换对方的candidate

客户端监听icecandidate事件,发送candidate指令给服务端。

  rtc.addEventListener("icecandidate", (event) => {
    
    socket.send(
      JSON.stringify({ cmd: "candidate", candidate: event.candidate, userId })
    );
    console.log(event);
  });

服务端获取candidate,并发送给远端的用户。


function candidate(message, conn) {
  const user = getRemoteUser(message.userId, conn);
  user &&
    user.conn.sendText(
      JSON.stringify({ cmd: "candidate", candidate: message.candidate })
    );
}

远端用户获取candidate调用setCandidate发送来设置。


function candidate(message) {
  rtc.addIceCandidate(message.candidate);
}

调用ontrack事件将远端的流设置到video标签中显示。

  rtc.addEventListener("track", (event) => {
    remoteVideo.srcObject = event.streams[0];
    console.log(event);
  });

当我们通过局域网IP访问时,浏览器会拒绝我们的摄像头权限,我们需要更改浏览器配置来允许访问摄像头。

我们在Edge浏览器输入edge://flags/这个地址,找到Insecure origins,将IP地址加端口号写在输入框内并更改为已启用状态,点击重启即可。

移动端我们下载Edge浏览器修改配置也是和pc端一样的流程,这样就可以移动端和pc端之间进行通话了。

如果是Chrome的话输入chrome://flags/即可

到这里主要的逻辑就已经完成了,这里我建议对照源代码来看会更容易理解。其实逻辑不是很复杂,只要把媒体协商这一部分搞懂那么这个一对一的视频通话就会非常简单。

github地址:github.com/Yi-Wo-Zuo/W…

如果您觉得这篇文章有帮助,请点个赞吧~

分享文章

相关文章

更多文章 →
webrtc2024-10-08
什么是 WebRTC
WebRTC(Web 实时通信)是一种可以在浏览器中实现点对点(Peer to Peer)通信的技术标准和开源项目。它使得浏览器和移动应用能够进行实时语音、视频和数据交换,无需安装插件或第三方插件。WebRTC 提供了一组 API,使开发者可以轻松地构建各种实时通信应用程序,如视频会议、语音电话、文件共享等。 基本概念 WebRTC 的核心包括三个主要 API: 1. MediaStream API : 获取摄像头和麦克风的访问权限,并...
学习
webrtc2024-03-08
用 Wavesurfer.js 和 React 快速打造你的音频录播功能
背景 最近正在做一个开源的项目 ,pear rec 是一个跨平台的截图、录屏、录音、录像软件。截图功能上篇文章已经讲过了,如果没有看过的可以去看看这篇文章———— ,并且项目的框架搭建也可以参考上一篇文章,开发到现在我想要一个音乐(录音)预览、播放功能,说干就干,下面我介绍一下我的开发过程。 介绍 实现音频的录音和播放已经是许多应用程序的基础功能。这可能包括社交媒体平台,音乐创作软件,甚至是一些教育应用。在本教程中,我们将引导你如何使用...
学习
AI2026-09-01
Deep Agents 01:何为 Agent Harness,以及如何开始
1、本篇任务:完成一份多步骤、带证据的技术调研 普通客服 Agent 的问题短、工具少、输出即时。技术调研或编码任务会持续很久,产生计划、搜索结果、文件和中间结论。Deep Agents 在 LangChain/LangGraph 之上预装规划、虚拟文件系统、上下文压缩和子 Agent,适合这类开放任务。 本课让 Agent 比较两种向量数据库,并交付一份可验证报告。 2、什么时候需要 Deep Agent 满足以下两项以上再考虑:任务...
学习
AI2026-09-01
Deep Agents 02:子 Agent、虚拟文件系统与长期记忆
1、本篇任务:让主管只看结论,让子 Agent 处理细节 技术调研会产生几十次搜索和大量文件。如果全部进入主管上下文,真正的目标会被噪音淹没。本课用两个子 Agent: 收集证据, 检查结论;主管负责计划与最终合成。 2、什么时候委派,什么时候直接调用工具 适合委派:子任务有多步;需要专门提示或工具;会产生大量中间结果;只需返回有限结论。不适合:一步查询;主管需要全部中间上下文;协调成本超过任务本身。 3、配置专门子 Agent Pyt...
学习
AI2026-09-01
Deep Agents 03:生产化、Sandbox、权限与上线验收
1、本篇任务:让 Deep Agent 在隔离环境中分析代码 只读研究 Agent 风险有限;编码 Agent 需要读写文件、安装依赖和执行测试。本课不讲如何让模型写更漂亮的代码,只讲执行环境、权限、恢复和上线验收。 2、先做威胁模型 资产包括源代码、用户文件、云凭证、生产网络和发布权限;攻击入口包括用户消息、仓库内容、网页、依赖包、MCP 返回和命令输出。 Prompt injection 不是靠一句 system prompt 解决...
学习
AI2026-09-01
LangChain 01:全景、原理与学习路线
1、本篇学完要得到什么 这一篇只解决三个问题:LangChain 到底负责什么;它与 LangGraph、Deep Agents、LangSmith 是什么关系;后面应按什么顺序学习。 贯穿整套课程的项目是“退款政策与订单助手”。它最终能够:回答知识库中的退款规则;查询当前用户的订单;生成结构化答复;对真正的退款操作进行人工审批;断线后恢复;通过评测后发布。 先记住一句话: 模型负责理解与生成,应用负责数据、权限、状态和副作用。 如果把...
学习

评论

请登录后发表评论

去登录
加载评论中...

目录