沪江动态

沪江CCtalk亮相GMTC 2018 AR黑科技实力圈粉

 戴上头盔在虚拟世界里遨游,感受全新的视觉盛宴,充满视觉冲击力的体验让VR(虚拟现实)这一前沿技术异常火爆。近年来,AR(增强现实)技术与现实世界高度融合,在真实场景中加入虚拟物品,将视觉冲击体验带上了新的高峰。在直播环境下,利用AR技术,我们可以看到虚拟巨鲸在现实体育场中跃水而出,可以对停在现实马路上的虚拟汽车进行360度的观摩。

2017年,随着苹果在WWDC上发布ARKit,AR技术一时间占据各种有利区位,成为市场和资本聚焦的重点。

“大众对全新视觉体验的需要和市场旺盛的需求,让AR历经蜕变,从之前的象牙塔走入了‘寻常百姓家’。ARKit的推出,推动了AR在全行业的快速发展。此外,作为当前最前沿的视觉体验技术之一,AR技术在直播中的价值也在不断被挖掘。”在6月22日的GMTC2018全球大前端技术大会现场,沪江CCtalk音视频架构专家李超向在场技术大咖分享AR技术在直播中的运用现状及挑战。

GMTC全球大前端技术大会是由极客邦科技和InfoQ中国主办的顶级技术盛会,关注移动、前端、AI应用等多个技术领域,促进全球技术交流,推动国内技术升级。GMTC为期2天,主要面向各行业对移动开发、前端、AI技术感兴趣的中高端技术人员,大会聚焦前沿技术及实践经验,旨在帮助参会者了解移动开发&前端领域最新的技术趋势与最佳实践。

深耕音视频领域十余年,李超在GMTC 2018音视频会议专场进行了主题为《AR在直播中的应用》的技术分享。

“不同于VR技术完全的虚拟环境,AR技术基于现实的环境加入了虚拟的元素,让视觉体验更加真实”,李超举例说,“例如利用VR技术,我们可以重现虚拟的物品、环境;而AR技术,可以让虚拟汽车在现实的马路上‘驰骋’,还可以在我们的手臂上‘戴上’虚拟的手表,而且手表上的时间与现实中的时间能够保持一致,我们还能根据需要‘换’手表,‘调’时间。这种真实与虚拟交叉的特性增加了AR更加逼真的体验。”

互联网技术飞速发展带动了直播领域的热情高涨,在线教育互动直播风口重起。作为大前端的重要子领域,音视频如何优化,如何做好实时处理,如何将AR技术应用于在线教育场景,也是目前深受关注的话题。

以VR、AR、MR之间的区别联系、AR技术的现状与发展方向为线索,李超详细梳理了AR的核心概念、ARKit与ARCore的运行机制,分享了AR在各种直播系统中的真实应用、开发过程中的技术难题、解决方案,与与会者探讨了AR技术的未来以及对整个生态的展望。

在现场,李超还列举了CCtalk平台上利用AR技术在线教学的网师案例——“剖哥”李哲。李哲曾在电视节目上淡定自若地解剖烤鸭,是名副其实的实践3D解剖教学、玩转AR技术实景模拟教学的“解剖达人”,将看似冰冷的解剖学成为平台用户追捧的对象。

现场展示视频中,李哲打开AR设备,从屏幕里“取出”右心室的图片,让它呈现在学员眼前,可以看到心脏内部的三尖瓣正在不停跳动……这是李哲日常使用AR技术授课的场景。

在“剖哥”李哲看来,学员在学习结构类知识时,需要视觉的刺激。对于学习者、授课者来说,内容是整个教学过程中的灵魂,而教学手段的多元化是极为重要的途径。

“AR给直播环境带来了诸多可能,让直播中的交互变得更富趣味性与吸引力,”李超表示,“但目前直播真正完美呈现AR技术,还需要解决很多问题。诸如远端视频如何在虚拟屏幕上渲染,AR与非AR客户端、ARKit与ARCore如何互通,AR端无法直接从AR Camera获取视频,帧率过高导致传输码流过大等问题。这些都制约AR技术的实现,当然也是诸多工程师致力突破的挑战。”

目前AR发展尚属初级阶段,李超乐观地说,“但通过手机我们可以实现部分‘黑科技’,可以将 AR 认为是一个瓶子,这个瓶子可以装天下。我们可以畅想,可以共同营造生态,尽管AR之路并非坦途”。

沪江CCtalk联合创始人、CTO杨继珩认为,从当前技术发展分析,短期内AR比VR更容易找到实际应用场景,而且在CCtalk平台已经有些老师很扎实的把AR和MR带到了授课过程中,授课效果、质量都很棒,很多学员第一次看到的时候非常震惊。事实上,很多技术现在已经不是科幻了,更多场景技术的出现也只是产业链条和时间问题。

相关报道:央广网      网易新闻