"甩开"手柄 爱奇艺正在通过高精度3D重建 让用户在虚拟世界也能拥有"一双灵巧的手"
日期:2021-11-04 09:16:42 来源:网络整理
如何在沉浸环境中真正感受到沉浸式体验?那就是,在虚拟场景中,依然可以实现与现实世界中一样的交互。例如,在体验一款游戏时,你可以直接使用你在虚拟世界的“数字化分手”,自然地与同伴打招呼、握手、击掌,还能完成各种抓取动作…..随着计算机视觉、AI等技术对自然肢体语言的识别,不再仅通过手柄定义你在虚拟世界中的动作,正在成为可能。
这种通过手势识别打破次元壁,获得更佳临场感的方式,已成为当前VR、AR消费级头显设备重点研究的方向之一,但如果手部识别精度不够,则可能无法做到对真实双手姿态的完美复刻。为达到更好的效果,如何以更精准的方式同步还原人类双手在物理世界的灵动姿态,完成比手柄控制更精细的操作,就显得尤为重要。
近日,爱奇艺的深度学习云算法小组通过题为《I2UV-HandNet: Image-to-UV Prediction Network for Accurate and High-fidelity 3D Hand Mesh Modeling》(I2UV-HandNet:基于图像到UV Map映射的3D手部高保真重建网络)的论文,针对现有模型在手部姿态识别方面不够精细等问题,提出一套I2UV-HandNet高精度手部重建系统,并依托爱奇艺在业内首提的将点的超分转化为图像超分这一先进技术思考,能够做到识别21个关节点和26自由度的手部运动信息,从而更有效地实现更高等级的手部还原。这将使得在VR、AR等使用场景下,用户通过更精细的手势追踪与识别,更准确、流畅地完成更多操作,享受在虚拟世界更佳的临场感。基于该系统的行业首创性和卓越应用价值,该篇论文成功被今年接收率仅为25.9%的国际计算机视觉大会(ICCV)成功收录,并在业内颇受认可的HO3D以及Freihand在线测评榜持续数月排名第一,超越目前的SOTA水平(若某篇论文能够被称为SOTA,就表明其提出的算法(模型)的性能在所在领域为最优)。
I2UV-HandNet高精度手部重建系统技术实现示意图
通常而言,要让手势识别实现更高的精度,首先需要好的手部模型,只有好的模型才能预测出来更多3D点。同时需要有足够的高精度数据,才能不断训练重建模型。基于大量手部数据对深度学习算法的“喂养”,爱奇艺自研的I2UV-HandNet高精度手部重建系统,能够通过UV重建模块AffineNet,完成由粗到精的人手3D模型重建。这样一来,即使在大遮挡或多姿态状态下,该系统仍可有效改善现有人手模型识别不准确等问题,为手势识别提供更为完整且精准的参考。
同时,考虑到不同虚拟场景对手部3D模型的精度要求不一,该系统还可通过SRNet网络实现对已有人手3D模型更高精度的重建。该系统基于落实“点的超分转化为图像的超分”的先进技术思考,通过算法从低精度UV图到高精度UV图的学习,可完成MANO(778个点/1538个面)人手模型向高精度(3093个点/6152个面)乃至更精细(上万点云)的人手模型的重建,这可以实现双手的“虚拟分身”在不同背景色彩、景深下,表现得如物理世界双手一样灵活。
值得一提的是,未来该系统将应用于下一代奇遇VR中,赋能爱奇艺VR更佳的沉浸感,让用户不仅仅是浏览内容,更有机会“走进内容”。可以预见,该系统基于更低成本的深度学习算法完成的高精度手势识别,相比通过自带深度信息识别的摄像头,将更具性价比和规模化落地的商业潜力,也将为爱奇艺更多业务场景或硬件终端增强“沉浸体验”带来更为强大助力。
免责声明:新闻资讯来源于合作媒体等,不代表本网观点,仅供参考,并不构成投资建议,风险自担。如涉版权,联系处理。
- "甩开"手柄 爱奇艺正在通过高精度3D重建 让用户 ...
- 多重保障式“真人认证标签”,爱聊用技术与态度开 ...
- 重庆传音研发新大楼落成!传音控股研发新动能加 ...
- 为梦起航!萨卡里携阿迪达斯新一代BARRICADE荣耀 ...
- 正确使用糖猫词典笔,孩子自己看懂英文绘本的捷 ...
- 德施曼&明源云采购 | 强强联合,加速发力B端合作 ...
- 华为16款新品价格一览:从449元到29999元谁是你 ...
- 华为“造车”换帅的三种可能 ...
- iPad Air 5曝光:A15处理器加持、升级双摄四喇叭 ...
- 云天爵:国际金价延续低多! ...
- 日本没能普及5G,在中国却是新基建重点,一文速 ...
- 多次力挺后!马斯克晒特斯拉拥有比特币:价值14 ...
- 有老师才有教育,童程童美“向日葵计划”发力科 ...
- 百度游戏召开品牌发布会,公布23款游戏发行新品 ...
- 腾讯投资大乐装,后者为装配式建筑云平台 ...
- 8500万美元的交易告吹 联发科中止收购Intel旗下 ...
- "甩开"手柄 爱奇艺正在通过高精度3D重建 让用户在虚拟世界也能拥有"一双灵巧的手"
- 多重保障式“真人认证标签”,爱聊用技术与态度开辟未来真实社交新通路
- 重庆传音研发新大楼落成!传音控股研发新动能加速启航
- 九十三度老白茶 | 如何辨别白茶中的白毫银针是不是头采?
- 报喜鸟:专注西服制造 铸就大国品牌
- 广汽丰田雷凌减震器漏油、变速箱顿挫、机油增多问题频发
- 为梦起航!萨卡里携阿迪达斯新一代BARRICADE荣耀焕新登场!
- 正确使用糖猫词典笔,孩子自己看懂英文绘本的捷径在这里
- 德施曼&明源云采购 | 强强联合,加速发力B端合作,品牌智能锁成供应链强动力
- 华为16款新品价格一览:从449元到29999元谁是你的菜?
- 海南试行零关税营运车辆管理实施细则
- 华为“造车”换帅的三种可能
- 商务部:30年来中国―东盟贸易规模扩大85倍
- 香港新增2例输入性新冠肺炎确诊病例
- 中国银行东营分行深入贯彻落实“内控合规管理建设年”活动
- 蔚来车主回应“站车顶维权当事人” 蔚来总裁也笑了
- 尬得飞起!特斯拉微博又翻车,复旦教授也看不下去了:失败的公关文示范
- 下一代云原生开发工具华为云CloudIDE技术揭秘
- “十四五”数字化关键之年 如何下好网络安全的“大棋局”?
- 锐见数字化未来,新华三大学重磅发布2021H3C认证体系战略
- 新华热评:遛狗拴绳,守住法律和道德的底线!
- 道指冲破30000点 QDII基金收获超90%收益
- 二季度政信信托规模占比同比下滑2.11个百分点
- 特斯拉维权引全网关注 国家市场监管总局发声
- 长安UNI对手荣威ME来了 荣威孙亦炯:国民车不代表没个性
- 现代汽车计划到2030年在中国推出13款新能源车型
- 外媒:苹果mini-LED屏iPad Pro由富士康独家代工
- 因天气状况不佳 SpaceX和NASA将第二次商业载人飞行任务推迟24小时
- FOF资深大咖掌舵 华商基金旗下首只FOF基金5月6日重磅首发
- 特斯拉商标被抢注,包含特斯拉面等