本文作者保罗·查普曼是格拉斯哥艺术学院模拟和可视化学院（SimVis）的院长兼教授，他在文中介绍了该学校开展的采用沉浸式环境的几个项目，让我们了解到，除了游戏等娱乐行业，VR还可以用虚拟的方式解决真实世界中的很多现实问题，应用于医疗、制药领域以及危险工作环境。

“人们总是高估一项科技所带来的短期效益，却又低估它的长期影响。”

——美国研究员、未来学家罗伊·阿玛拉（RoyAmara）

1

医学可视化

十多年来，模拟和可视化学院与世界解剖学专家、医学专家密切合作，一直在开发新的可视化系统，以改善医疗保健。我们重点开发的是用于学习和培训的准确的、交互式人体解剖学3D模型。我们还创建了沉浸式、交互式的模拟培训，用于模拟药剂师或牙医在其职业生涯中可能面临的具有挑战性的情景。

解剖可视化

传统学习复杂人体解剖学的方法仍然集中在参考医学教科书中的2D图像和插图上。过去十年里，模拟和可视化学院一直在开发一种极为细节化的临床标准的人体解剖模型。

这一模型是由多学科团队依据第一性原理精心制作的。团队包括医学专家、计算机科学家和艺术家，他们从采集包括定向尸体解剖、现场手术、电子计算机断层扫描（CT）和磁共振成像扫描（MRI）在内的创新数据开始了这项开发。

由此开发的模型DefinitiveHuman已得到包括来自多个国家的世界著名解剖学家在内的领域权威专家的验证。

DefinitiveHuman数据集

上图显示的是不同构造水平下的完整的DefinitiveHuman。通过使用装有标准版gamesready驱动的电脑，所有医学生和执业医生现在都能够对人体进行系统化和局部化的拆解，从而获得一种全新的、有启发性的解剖学习体验。

近年来，我们将完整的DefinitiveHuman模型与VR界面相结合，这极大地提高了有意义的交互的潜力，并有助于理解这一极其复杂的数据集。

目前，用户可以选择真人大小的男性，通过双手操作将DefinitiveHuman拆分，以满足个人探索需求。每个解剖组件都有清晰的标识，选择和检查后，只需按下按钮便可使其返回到原始位置。为了增强体验感，用户可抓住虚拟顶灯并将其照射在感兴趣的组件（例如头骨）上，光和阴影会展示骨骼复杂形态的细节。

作为一种新的可靠资源，DefinitiveHuman被证明是解剖学学生首选的学习方法，同时它在手术培训中也得到了成功的应用。我们的头颈部解剖模型是NHS（英国国家健康体系）的重要学习资源，也为全英国的牙医们提供支持。

DefinitiveHuman数据集的虚拟现实交互

上图是一名医学生使用新的惠普Z移动VR背包与DefinitiveHuman数据集进行交互，移动型背包使体验者能够在逼真的虚拟环境中自由移动，不受电缆束缚。

制药业和牙医业的虚拟化身培训

面对和处理高难度对话是医学界人士的日常挑战，牙医、医生、护士和药剂师们必须成功地与患者沟通。这些对话可能是为了试图改变和处理饮食、吸毒、酗酒、儿童保护等相关问题。谈话可能关乎对患者饮食选择的支持，拒绝患者所要求的药物或帮助抑郁症患者。

该领域传统的医疗保健培训包括场景角色扮演，但演员费用昂贵，培训也可能因时间而异。

为了解决这一问题，年模拟和可视化学院与在苏格兰国家健康体系教育（NHSEducationScotland）工作的同事合作，从久经考验的传统方法中创建了一套新的、基于虚拟场景的培训计划——TheVirtualPatient，用以支持物质滥用（主要是毒品和酒精）领域的医疗保健提供者的教育工作。

其关键成果是创建了由该领域专家编写的沉浸式训练情景。如今，学生或医疗保健专员可将培训作为可重复教程或基于讲座的培训课程的一部分。如果他们愿意，还可以下载应用程序，并在家中舒舒服服地进行培训体验。

使用的故事情节是由苏格兰国家健康体系教育（NES）精心打造的，允许用户扮演首席药剂师或牙医角色。选择角色后，用户可以与患者进行对话，并了解自身决定会产生何种后果。用户随后可返回到特定决策点，以便研究不同的回应会产生何种结果。

物质滥用虚拟培训

TheVirtualPatient情景是通过运动捕捉系统获取现实人物动作进行开发的，包括复杂的人体动作，如药物注射相关动作。由于该软件是在Unity中开发的，因此用户可以在沉浸式VR环境中体验培训，就好像他们是坐在桌前的专业医疗人员一样。

使用TheVirtualPatient程序作为培训研究生学员向物质滥用患者提供药学监护的手段已被证明是非常成功的，这种手段也会让学员增强信心、增长知识。相比传统的课堂培训，在测试阶段有80％以上的学生更喜欢虚拟培训系统。

2

制药工程中的沉浸式环境

科学、工程和制造业的数字化存在许多重大挑战。部分原因在于数据生成的复杂属性以及创建有效数据集时面临的挑战，如允许大数据方法去识别模式、趋势和有用知识所需的数值范围，像脸书、亚马逊和谷歌这样的公司可以有效地将功能强大的预测数据分析融入到运营中。遗憾的是，许多制药研究和开发团体很落后，只能使用一般的、互联性差的数据集，这些数据集的使用寿命普遍较短。

这些差的、利用不足的数据集导致了在研制每款所需新药时，都要从头开始。当然，这种新药的成本极高，目前来说每九年成本增加一倍（目前10亿美元仅可为一种新药提供50％的资金）。很明显，解决这一问题对行业的可持续性和未来药品的供应是至关重要的。

ARTICULAR（集成性ICT支持制药生产的人工智能）是模拟和可视化学院与思克莱德大学药学与生物医学科学学院之间令人兴奋的全新合作项目。在ARTICULAR项目中，我们探索、开发新颖的机器学习方法。

作为人工智能研究的一个分支，该方法旨在从过去和现在的生产数据中学习，并创造出有助于关键性生产决策的新知识。机器学习方法已成功应用于药物研制上游的药物发现领域。其中，大型基因组和分子筛选数据集为分析和培训人工智能提供了丰富的信息源。

此外，它们在药品生产中使用的个体单元操作（如结晶作用）产出的分类和预测方面亦崭露头角。这是第一次有机会使用人工智能的方法学习先前多个开发和制造工作中的数据和模型，用以解决制造新药品时最常遇到的问题。具体地说，包括采用的过程和操作，最佳展现产品的传感器和测量工具的配置，潜在过程的颠覆，以及它们在未来对医药生产质量的影响。

所有这些数据和人工智能“习得”都可通过特制版VR界面获得，这类界面包含手势、语音输入和一些传统的方式，如仪表板。这些沉浸式界面已经让我们了解到药物生产的过程设计和实时捕获的复杂数据。

剂型、产品、设备和生产过程中精细交互的3D可视化以及创建的相关数据，使人们可以直接访问药物分子转化为最终药物产品的过程。这提供了一种独特的工具，允许用户在上游和下游过程及性能数据的环境下查看工作并接触数据。实验室/工厂环境下的虚拟技术和增强现实技术使得过程设备的实时数据流可视化，这明显改善了用户体验，提供了大量数据。可定制的交互式可视化帮助研究人员开展工作，使他们从低级的手动数据管理中解放出来，能专注研究结果的意义所在。

显示温度的结晶器数字化双胞胎

上图是一部精准的结晶器虚拟现实“数字化双胞胎”，它构成了制药生产线的一部分。首先，通过激光扫描和摄影测量技术创建一部精准的结晶器3D数字模型和其他实验室设备。随后，这些摄影测量和点云数据集在3DStudioMax中建模并被导入到实时游戏引擎Unity中。与温度相关的数据和成型的结晶块将从结晶器流入网络和VR系统中，随后VR系统将适当的调色板直接应用于数字化双胞胎，使得温度或成型的结晶块可视化。

用户可进入用于实验的精准实时VR模型，在更直观的环境中查看实验数据和硬件情况。此外，用户可以实现物理上与实验的分离，比如人在另一个国家时仍然可以在实验室“四处走动”并实时查询实验结果。

VR交互及制药实验室硬件培训

这个VR数字化双胞胎还提供了一个极好的培训机会，通过它我们不需要组织“堵塞”实验室的训练活动就可以教授制药专业学生如何操作复杂的实验室设备。远程上，例如在舒适的家中，学生就可以走向VR中的实验设备，体验并与硬件交互（上图），这是基于实验室的沉浸式培训计划的一部分。

此外，对于拥有数百名需要在第一学期内就接受复杂设备培训的学校来说，学期之初一直是个挑战，在这一方面VR培训具有节省成本的优势。

3

VR危险环境

模拟和可视化学院感兴趣的另一个领域是在危险环境中促进培训。例如，危险的运动、离岸和危险的拆撤活动。

当人的身心感受到压力时，做出正确决定的能力就会崩溃。在受到胁迫时，我们多次重复做过的简单任务可能会在眨眼之间就被遗忘。

跳伞运动学员就是一个很好的例证。在训练期间，他们会根据看到的几张图片被询问在特定情况下该做什么。

例如，他们可能会看到一系列照片，照片上是部分展开的降落伞，他们会被要求对此做出回应。问题是，观看照片或视频对学生来说并不是一种身临其境的体验，尽管学生可能当场全部回答正确。如果他们处于真的经历降落伞故障的不幸状态，那么每小时英里的下降速度、不受控制地旋转、耳边狂风呼啸所导致的总体感官超负荷状态会增加降落失败的变量。在这种情况下，他们可能不记得在地面上所学的内容，这就是为什么跳伞运动学员和滑翔伞飞行员会发生一些事故。

由查普曼（本文作者）、沃德（Ward）和科勒（Currer）开发的世界上第一个VR滑翔伞模拟器

一种解决方案是在实际飞行前为受训者提供更逼真的沉浸式训练，类似于为专业航空飞行员准备的飞行模拟器。年，大不列颠悬挂滑翔及滑翔伞协会（BHPA）招募了模拟和可视化学院和赫尔大学的员工，开发了世界上第一个虚拟现实滑翔伞模拟器。（上图）

开发模拟器很重要的一个方面是要求开发人员自身需要对模拟的内容有很好的理解。因此，作为一个开发团队，我们参加了跳伞和滑翔伞训练，获得了所有必要的资格，以便我们能够驾驶滑翔机，并确保我们创建的模拟器尽可能地准确。专业滑翔伞飞行员和大不列颠悬挂滑翔及滑翔伞协会也为该项目提供了重要的技术支持。

模拟器能够让滑翔伞飞行员在不离开地面的情况下体验空中数百英尺高的感觉。飞行员系好真正的滑翔伞安全带，戴上头盔（头盔包括一个VR头戴式可视设备），通过VR头盔看到前方的景观移动。模拟器使用真正的滑翔伞控制器，因此飞行员实际上感觉是在飞行状态。除了转向之外，飞行员还可以在固定背带中通过移动身体来进行“重量转移”。

模拟器还模拟了暖气流，以便受训者可以了解身在热流中或突然遇到另一个滑翔者时的感觉。通过模拟器，受训者可安全地在地面上对潜在威胁生命的情况做出应对决策。

在为危险活动创建模拟情境时，必须尽可能准确地创建模型。举例来说，如果构建的VR滑翔伞模拟器上有错误的失速点，那飞行学员建立的将是等效错误的用户模型和失速点的肌肉记忆。他们在模拟器中花费的时间越多，自身不正确的模型就会越强大、越难改变。由于之前预制了错误的操作体系，飞行员在真正操控滑翔伞时很可能导致失速情况。

在退役核电站四处行走的VR训练

虚拟现实在危险环境培训和健康与安全培训领域具有巨大潜力。模拟和可视化学院VR的其他项目中有帮助工程师提前体验在退役核电站走动的项目。（上图）该核电站没有电子设备，因此除工程师安全帽上的灯外没有其他光源。通过VR训练，工程师可以基本了解进入漆黑电站时的状态。

另一个例子是针对特立尼达岛的离岸工人如何将液化天然气输送到油轮这一极其危险和复杂操作的训练。模拟和可视化学院开发了一个模拟器来训练离岸工人如何控制连接到船舶歧管的设备。VR模拟器可以按正确的顺序模拟、实践和监控复杂的程序。该系统的未来的版本将允许人们修改与天气和海况相关的参数。

4

点云艺术

本文所描述的案例都是通过应用激光扫描仪和摄影测量，以生成已建模的（人类尸体、实验室设备和核电站）复杂数据集。然而，在表面重建之前，原始点云数据就非常美丽，并应用了如同“化妆”般的真实感绘制渲染。

点云图像融合了科学和艺术，具备精确度、可测量性、美学和创造力，它是奇迹和探究的催化剂，它为传统观点提供了新的视角。

点云让我们对所见之物产生好奇：这个图像从何而来又是如何创建的？这个数据背后有什么故事吗？

点云通常是在X、Y、Z的笛卡尔坐标系中显示的一组数据点。每个数据点通常表示一个物体的表面，因此点云的生成通常与表面详细图像的调查工作相关联。我们使用3D扫描设备生成精确的点云。例如一个小小的考古文物、古老城堡的大型城墙，或者是病人断腿上的表面细节。3D扫描将为我们提供及时的永久性快照——一张空间精确的3D照片。警方可以使用3D扫描重新查访复杂的犯罪现场，以便进行之前错过的重要测量活动。对遗址的3D扫描可用于创建精确的数字模型，可在全球范围内共享VR，使人们可以虚拟性地访问这些网站。医生也可以使用医疗3D扫描为复杂的脑部手术制定方案。

所有的这些示例都需要不同的3D扫描技术来捕获点云。随着硬件和软件的更新进步，如今我们能够快速且经济高效地生成极其精确和大型的点云数据集。

点云是如何生成的？

有许多不同的扫描技术可用于创建点云。最流行的系统和技术包括激光扫描、摄影测量、电子计算机断层扫描和声呐。

激光扫描

激光扫描是最常见的一种点云生成方法，被广泛用于测量。3D激光扫描（也称为高清晰度测量或激光雷达）是一种使用激光捕获和测量3D真实世界环境的系统。激光扫描仪发射激光脉冲，再经扫描物表面反射回来。在接收阶段，扫描仪将使用所耗时间（TOF）或基于相位的系统，用以比较输出信号和返回信号的相位，以计算波束行进的距离。该过程每秒执行高达百万次，可生成代表环境表面的极其密集的点云。原始激光扫描数据的美感可如下图所见。

激光扫描点云：《奇异的果实》，斯科特·佩奇（StrangeFruitScottPage），奥克兰，加利福尼亚

摄影测量

运动摄影测量的结构是一种通过2D图像序列预估3D结构的技术。通过处理测量对象的大量高分辨率图片（从不同角度拍摄），不同相机的“射线”可用于计算其对应在测量对象上的点。随后，这些在数学层面上交叉的射线产生构成点云的X、Y、Z坐标。计算机的处理器功率及数码相机的最新发展，使得摄影测量方法生成的3D模型在质量和普及度方面均有提高。

声呐

与激光扫描方法（计算光束的返回信号时长）类似，我们可以计录声波返回信号的时长来测量海床的深度。声呐系统测量的是声音从船载传感器到海底和返回所需的时间。随后，我们通过测量返回的回声信号的时间来了解水的深度，并生成表示海床或海床上物体的深度点（点云）。我们经常使用“水深测量”这一术语来指代水深。就像地形图可用来表示陆地地形的3D特征，水深图可精确地显示海底地形和水下物体。

沉没的理查德·蒙哥马利号战船（SSRichardMontgomery）及其周围海床的美丽点云图像（下图），就是通过声呐生成测深数据集的实例。

声呐点云：理查德·蒙哥马利号战船

理查德·蒙哥马利号战船年搁浅于希尔内斯附近的泰晤士河口，上图是通过万声呐围绕战船残骸探测后生成的。理查德·蒙哥马利号战船在当时装载了1,吨炸药，由于船上有未引爆的军火，时至今日，这艘船的残骸依旧对周围航运具有危险性。

颜色表示深度，高光区为残骸周围潮汐冲刷的海床残屑。右下方可看到主要的船运通道，考虑到船上的货物，不免让人对如此接近的距离感到惊讶。

电子计算机断层（CT）扫描

3D扫描技术广泛用于医学领域。CT[或CAT（计算机X射线轴向分层造影）扫描]使用X光生成人体的横截面图像。CT已经成为人体成像的主要手段，并被广泛用于诊断骨骼和器官损伤等疾病。MRI（磁共振成像）扫描仪也广泛应用在医学领域。不同于使用电子计算机断层的X光，MRI是通过强大的磁铁和无线电波来生成人体内部3D图像的。MRI扫描仪在扫描软组织时可提供更清晰的细节，而CT扫描仪更适合用于骨骼结构的成像。

这些扫描技术为我们提供了高分辨率的数据，但令人惊羡的，是作为整体过程一部分的、异常漂亮的生成图像。在我们近期的一本书《点云的艺术》（TheArtofthePointCloud）里，我们赞赏了一些来自世界各地的、最美丽和引人注目的3D扫描，书中所选均使用了上述的扫描技术。

当这些数据集进一步与VR等沉浸式技术相结合时，我们还有另一种交互方式和创造新艺术品的方法。如今，用户可以获取“内部”数据集及作品。此外，借助一些软件，如谷歌的Tilt

Brush、Artists，用户可以摆脱传统的2D平面画布，体验三维绘画，实现真正意义上的“四处画画”。

5

结语

虚拟现实终于发展到了成熟期。我们终于能够摆脱那些技术贸易展上无处不在的噱头装置和怪异的演示。现在，已经有真正可应用的技术为最终用户带来实实在在的好处。

/18年加德纳技术成熟度曲线-现实（AR）和虚拟现实（VR）。年，VR已经足够成熟，故将其移除创新概况中新兴技术之列

年VR在加德纳技术成熟度曲线上消失，这说明VR成熟了。行业快速且增多的采用、应用VR解决现实问题，这些都是VR成熟的证据。（上图）

模拟和可视化学院已成功应用VR，使其用于医疗培训、药品生产、危险运动和危险工作环境。此外，我们还研究了扫描技术如何生成令人惊叹的图像，这些图像既可在传统环境中查看，也可在沉浸式环境中查看。接下来的五年，更高质量的沉浸式头盔显示器将激增，它们将提升分辨率和视野效果，同时将改善人体工程学。

这一切只是虚拟现实的开始。

来源：《装饰》年第10期

原文：《沉浸式环境：真实的问题，虚拟的应对》（本文经删减和编辑。）

作者：保罗·查普曼

翻译：中央编译翻译服务有限公司

编辑：某个远方

本文为原创文章，未经允许，请勿转载。

欢迎转发到朋友圈并留言~

《装饰》杂志欢迎您的来稿

E-mail：zhuangshi

北京看白癜风哪间医院权威
北京白癜风治疗的好医院


欢迎转载,转载请注明原文网址：http://www.xc99love.com/mlhx/8402.html