97色姐姐 FBEC2023 | 普罗米修斯CEO张煜：数字生命——大模子可运转的体积视频
FBEC2023改日买卖生态贯穿大会暨第八届金陀螺奖于2023年12月8日在深圳福田大中华喜来登货仓6楼汜博召开，本次大会由广东省游戏产业协会、深圳市互联网文化阛阓协会联结，陀螺科技足下97色姐姐，中国光谷、游戏陀螺、VR陀螺、陀螺财经、陀螺电竞聚拢足下。
大会以“协力共生·韧者行远”为大会主题，以具有行业前瞻知悉的“飘零者”为视角，破冰之旅为干线，关心AI、元宇宙、XR、游戏、电竞、数字经济等科技与互联网前沿限制，全场合呈现科技前沿后果，聚焦期间与买卖热门议题，计划新科技、新买卖、新模式的改日价值，与真的的勇者共赴巨变翻新下的凛冬破冰之旅!
FBEC2023分会场A：全球3D本事诓骗论坛邀请到普罗米修斯视觉CEO张煜带来主题为“数字生命——大模子可运转的体积视频”的精彩演讲。张煜指出，普罗米修斯视觉在相机矩阵蚁集系统限制已深耕10年，全栈贬责有规画均为自研。
以下为演讲实录：
大众好，我是普罗米修斯的CEO张煜，咱们公司主要作念大模子可运转的体积视频。滥觞先容一下咱们公司，普罗米修斯视觉是一家专注于接头体积视频本事及诓骗的高新本事企业，中枢本事团队由清华大学博士团队和香港科技大学博士团队等顶尖院校的高精尖东谈主才构成，咱们在相机矩阵蚁集系统限制已深耕10年，是寰宇唯独一家全栈贬责有规画王人是自研的企业。迄今戒指领有发明专利70多项，目下估值不到10亿，董事长是北航软件学院的首创院长孙伟。
目下我跟大众共享一下公司作念了10年的比拟熟习的贬责有规画，其中一个中枢标的是专科相机矩阵的同步、标定、蚁集+传输、存储的全栈贬责有规画。它涵盖以下四个特质，亚毫秒级别的同步、亚像素级别标定、万兆蚁集的传输和蚁集，以及高速固态硬盘存储。
第一个特质是相机同步，整套系统缓助从5fps到120fps的可自主疏浚蚁集，相机从几台、几十台到几百台王人不错缓助毫秒级别同步的蚁集步地。这是咱们自研的一套同步系统，它是一个波形发生器，精度可达到亚毫秒级别，最高缓助120fps的曝光。况兼算法会自动篡改跟着时期带来的累计罪恶，保险万古期蚁集拍摄历程中的踏实同步。
第二个特质是自动标定，行业东谈主士王人知谈，几百台相机的标定是很勤苦的问题，咱们如故自研超高精度标定算法，所有这个词相机全局络续，全局罪恶小于0.5个像素，况兼通盘历程全自动化，10分钟以内就能完成几百个相机的同步标定。
丝袜英语第三个特质是高速蚁集+传输，从相机输出、传输蚁集到存储系统输入王人是万兆网架构，保证海量数据蚁集传输顺畅无延时，无卡顿。
第四个特质是存储系统，在存储上，咱们遴荐了M.2高速固态硬盘蚁集系统 + 企业级HHD硬盘阵列，既保证高速蚁集，又确保存储可靠。
这个产物主要有四大诓骗场景，第一是无符号点动捕东谈主体骨骼数据蚁集，第二是三维东谈主体动态模子重建数据蚁集，第三是三维东谈主体动态点云数据蚁集，第四是语音神采动态数据蚁集。
在可选相机内部，咱们同期缓助卷帘快门相机以及全局快门相机。有些诓骗对深度有条目，因此咱们还提供一个模组，这个模组由两个IR相机、彩色相机和立地散斑投射器的POD构成，不错完成相称准确的深度蚁集。该模组适用于三维建模，点云蚁集，像流行的NeRF、NeuS等王人不错通过这个步地蚁集数据。
在可选软件包里，滥觞讲下IR两边针stereo，这即是一个典型的IR相机拍出来的图像，身上的散斑王人是咱们研发的一些非均匀散斑，通过这种散斑和自研的stereo的一些算法不错作念到高精度的深度臆测打算，之后再用基于神经蚁集的步地让它变得愈加精准。
图片上涌现的是一个骨骼检测软件包，可达周全身骨骼点检测以及高精度的脸部扫描。在通过多相机的拟合和检测后，骨骼点和脸部的神采点会相称准，这个软件包比拟合适一些动捕东谈主体骨骼数据蚁集的需求。
除了环节点的蚁集，咱们还缓助比拟典型的SMPL和SMPLX的一些参数东谈主体模子的蚁集。对于脸部的环节参数模子等，整套系统也相通缓助。是以不论是全身如故脸部王人不错遴荐这套相机矩阵，通过增减未必选不同的模块去达成。
接下来先容一些奏效案例，港科大有咱们一套动态的重建及诓骗元本质室数字东谈主重建拍摄系统。深圳第二高档本事学院、江西软件处事本事大学、贵州盛华处事本事学院、北京容积视觉有限公司等，他们的整套有规画亦然咱们提供的。
终末转头一下，公司研发的这套相机矩阵蚁集系统的相机数目从几台到几百台可选，相机类型不仅可选2K、4K、卷帘快门、全局快门，红外IR相机王人是可选的，占大地积7米乘7米，可拍摄鸿沟是5米乘3米高的圆柱体。
此外97色姐姐，咱们产物有三大上风，滥觞10年的产物研发，迭代，广阔客户长久使用，系统踏实，好用，好意思满;清华，港科大博士团队从底层研发，底层可控可定制，算法水平属国外第一梯队;软硬件寰宇产，本钱可控有上风。
