第六十七 虚拟现实和物理世界

虚拟现实（Virtual Reality, VR）用计算机生成沉浸式三维环境；增强现实（AR）把数字信息叠加到现实世界；混合现实（MR）让虚拟与真实对象实时交互。它们共同构成“虚实融合“的交互形态，而物理引擎、数字孪生等技术则让虚拟世界越来越接近物理世界。

一、虚实光谱

1.1 从现实到虚拟的连续谱

真实世界 ←───────────────────────────────→ 完全虚拟
   │          │           │          │
  物理环境    AR          MR         VR
（无数字）   （叠加）   （虚实交互）  （沉浸）

1.2 发展简史

1838  立体镜发明，双目视觉原理确立
1968  Sutherland 发明第一台头戴式显示器"达摩克利斯之剑"
1993  Sega VR 等早期消费级尝试失败
2012  Oculus Rift 众筹成功，VR 复兴
2016  Pokémon GO 引爆 AR；VR 元年
2019  5G 商用，云 VR 成为可能
2021  Meta 押注元宇宙，Quest 系列放量
2023  Apple Vision Pro 发布，空间计算时代开启
2020s  空间智能：AI 重建真实世界、虚实双向驱动

二、虚拟现实（VR）

2.1 VR 系统的组成

┌──────────────┐   ┌──────────────┐   ┌──────────────┐
│  显示子系统   │   │  交互子系统   │   │  计算子系统   │
│  头显/屏幕   │   │  手柄/手势   │   │  渲染/追踪   │
└──────────────┘   └──────────────┘   └──────────────┘

2.2 沉浸感的关键指标

2.3 防眩晕

VR 眩晕（模拟器病）源于前庭觉与视觉冲突。缓解手段：

三、增强现实（AR）

3.1 AR 的实现方式

3.2 AR 核心技术

3.3 AR 的应用

四、混合现实与空间计算

4.1 MR 的关键：虚实交互

MR 不止是“叠加“，而是让虚拟物体理解并响应真实环境：

真实房间 ──三维重建──> 空间网格（Mesh）
     │
     ├──> 虚拟沙发 落到真实地面上、被墙遮挡
     ├──> 虚拟宠物 绕过真实桌子行走
     └──> 真实的手 抓取虚拟物体

4.2 空间计算

空间计算（Spatial Computing）是苹果 Vision Pro 等设备推动的新范式：以空间为界面，摆脱屏幕的二维限制。

传统计算:  键盘 + 鼠标 + 屏幕（二维）
空间计算:  手势 + 眼动 + 语音（三维空间操作）

五、物理引擎

5.1 物理引擎是什么

物理引擎模拟真实世界的力学规律，让虚拟物体遵循物理法则运动：重力、碰撞、摩擦、弹性。

每帧更新循环:
输入力/速度 → 积分运动 → 碰撞检测 → 碰撞响应 → 更新位置

5.2 物理模拟的三大要素

#![allow(unused)]
fn main() {
// 简单的碰撞检测：两个圆的相交判断
struct Circle { x: f64, y: f64, r: f64 }

fn circles_collide(a: &Circle, b: &Circle) -> bool {
    let dx = a.x - b.x;
    let dy = a.y - b.y;
    let dist_sq = dx * dx + dy * dy;
    let r_sum = a.r + b.r;
    dist_sq <= r_sum * r_sum
}
}

5.3 渲染管线与物理的配合

游戏循环:
输入 → 物理更新（固定步长） → AI/逻辑 → 渲染（插值）
              │
       固定时间步长保证物理稳定

六、数字孪生

6.1 什么是数字孪生

数字孪生（Digital Twin）是物理实体在数字世界中的实时镜像：通过传感器数据驱动虚拟模型，实现监控、预测与反向控制。

物理世界                    数字世界
┌──────────┐   数据流    ┌──────────┐
│ 真实设备  │ ──────────> │ 虚拟模型  │
│ 工厂/城市 │ <────────── │ 仿真/预测 │
└──────────┘   控制流    └──────────┘

6.2 数字孪生的组成

6.3 应用场景

七、从虚拟到物理：空间智能

7.1 空间智能

李飞飞提出“空间智能“概念：让 AI 理解三维空间、预测空间变化并生成行动——它是虚拟现实、机器人与 AGI 的交汇点。

7.2 三维重建

7.3 3D 内容生成（3D AIGC）

文本/图片
   │
   ▼
大模型（如 TripoSR、Meshy）
   │
   ▼
三维网格/高斯 → 纹理 → 动画 → 引擎（Unity/Unreal）

八、XR 设备与 Rust 生态

8.1 主流设备

8.2 Rust 相关生态

// 用 bevy 创建最简单的 3D 场景
use bevy::prelude::*;

fn main() {
    App::new()
        .add_plugins(DefaultPlugins)
        .add_systems(Startup, setup)
        .run();
}

fn setup(
    mut commands: Commands,
    mut meshes: ResMut<Assets<Mesh>>,
    mut materials: ResMut<Assets<StandardMaterial>>,
) {
    // 相机
    commands.spawn(Camera3dBundle::default());
    // 立方体
    commands.spawn(PbrBundle {
        mesh: meshes.add(Cuboid::new(1.0, 1.0, 1.0)),
        material: materials.add(StandardMaterial::default()),
        transform: Transform::from_xyz(0.0, 0.0, -3.0),
        ..default()
    });
}

九、伦理与挑战

十、总结与练习

本章小结

练习建议

1. 碰撞检测：用 Rust 实现圆与圆、AABB 与 AABB 的碰撞检测，并模拟小球反弹。
2. 三维变换：用 nalgebra 实现三维物体的平移、旋转、缩放矩阵变换，验证组合顺序的影响。
3. 3D 场景：用 bevy 搭建一个可旋转的 3D 场景，加入光照和材质，观察渲染效果。
4. AR 实践：用手机 AR 工具（如 ARCore/ARKit 示例或 WebAR）把一个虚拟物体放到桌面上，观察光照与遮挡。
5. 物理仿真：用 bevy 的物理插件（Rapier）模拟一堆积木倒塌，调节摩擦与恢复系数观察差异。
6. 数字孪生设计：为一个工厂设备设计数字孪生方案：传感器选型、数据流架构、虚拟模型与预测分析。