8月29日的“ABC SUMMIT 2019”百度云智峰会在京举行。百度智能云带着20大新产品,与近万名的客户、合作伙伴及开发者们共同见证了这场席卷而来的“人工智能工业化”时代浪潮。

而在智能视频展台及智能视频分论坛,备受关注的百度智能云小视频解决方案以智能、创新、开放、便捷的姿态重磅亮相。

智能小视频解决方案上线,端到端全链路需求一站式解决!-大数网

据第三方数据显示,2018年小视频行业月独立设备数已近7亿台,2019年更是持续增长。随着大视频时代的到来,小视频已应用到各类场景中,不论是以短/小视频内容运营为主营业务的APP,还是美食、母婴、电商、生活等垂直APP,纷纷以小视频UGC/PGC的方式,争夺用户时长。其中小视频内容的差异性、创新性、丰富性成为各大APP的核心抓手。 

小视频+AR
激发内容创作新玩法

百度智能云移动端小视频创作SDK结合了DuMix AR 5.0人脸肢体手势环境一体化交互技术,让视频拍摄更美、更具趣味性。

人脸特效能力能精准定位150个2D关键点,涵盖78个骨骼关键点,能输出3D人脸姿态。对于嘴部和眼球这两个最“出戏”的部位,我们提供了更加精准的解析,以保障应用层可实现更多更优的玩法。此外,我们还对人脸平面进行了三角剖分,分成264个三角形,并进行了5210个三角形人脸立体剖分,基于这个面部网格可以制作各种2D/3D贴纸、脸部变形等其他拓展。

同时,我们预设了32个人脸表情基和15个表情语义,包含如微笑、大笑、睁眼、闭眼等一些常见的表情。通过内置的19套塑形参数、5种基础美妆、3D立体妆容等更加高阶的能力,可以满足开发者对于人脸特效玩法的各种需求,如美妆美体、微整形、多人实时换脸和个性化美颜需求等。并且在应对光照剧烈变化、大角度追踪、抖动遮挡这些复杂情境都能表现出很强的稳定性和鲁棒性。

智能小视频解决方案上线,端到端全链路需求一站式解决!-大数网

手势特效预设了8种手势语义,包含21个关键点,能够复原出3D的手掌姿态;肢体特效提供59个轮廓点、18个关节点两种输出方式,其中18个关节点的识别速度,全机型测试最多不超过6.7毫秒;人像分割更是达到IOU 93.76%的高指标。

从人体跟踪到物理世界大场景跟踪,依靠低成本的地图采集和在线融合跟踪方案,百度AR推出了VPAS视觉定位与增强服务,用户在打开时省去了扫描平面这一步骤,体验路径更加顺畅。开发者可以在真实世界中构建更加宏大的虚拟场景,我们提供的实时渲染能力对于26万面大场景在普通手机上的渲染帧率也达到了30fps。

开放架构+创意工具+生态闭环
自主可控,灵活扩展

大多数厂商的小视频AR特效SDK是以一个黑盒的方式提供给开发者,开发者无法融入自己更多的算法和能力,无法灵活扩展迭代自己的需求,只能强依赖于供应商的迭代速度和基础能力。因此,为了降低使用门槛,让开发者们自主可控,百度DuMix AR平台对架构进行了整合和改造,确保开发者可以自主高效地进行能力和玩法扩展。

如下图所示,在算法层,开发者可以灵活加入自研或外采的其他算法和能力;在架构层,提供了标准的管线搭建API、算法调度API、场景操作API以及易扩展、可编程的渲染管线;在应用层,针对不同需求的互动特效贴纸的制作者,百度DuMix AR特效开放平台也提供了两套不同的工具:具备创意技术能力的PGC企业组织可以应用Maya插件工具进行内容制作,也可以通过生态合作伙伴进行定制化生产;而广泛的个人开发者则可以使用PC端的编辑器DuMix AR Studio和移动端预览工具DuMix AR Cam进行开发和实时调试。

智能小视频解决方案上线,端到端全链路需求一站式解决!-大数网

AI赋能
让视频编辑更高效更便捷

除了AR特效外,百度智能云小视频创作SDK工具还提供了强大专业的后编辑能力:

  • Vlog剪辑:支持多段视频剪辑、拼接、添加、删除,以及视频/图片混编,可灵活调整片段的顺序,可进行画面旋转,可添加转场特效,缩略图时码线可实时预览视频内容等。
  • 双语字幕:通过语音识别能力一键将语音转化成文本叠加字幕,并通过智能翻译自动实现双语字幕。此外还提供了多种字幕包装样式,支持编辑字幕颜色、字体等,支持设置字幕背景、逐字运动等效果。
  • 编辑特效:除了拍摄特效外,在视频编辑阶段,也提供了丰富的特效能力,包括:画面特效-黑白、放大、灵魂出窍、抖动等;分屏特效-三屏、六屏、九屏特效等;时间特效-反复、变速、倒放等等;转场特效-淡入、渐变等基础特效和多种绚丽高级转场。
  • 时光相册:利用AI图像理解技术,根据人脸/地点等实现照片智能聚合,并根据风格内容理解,自动匹配最优的主题模版、标题字幕和背景音乐。
  • 音频编辑:我们联合太和音乐提供了60w+的音乐版权库,支持资源灵活对接和配置等。同时,我们提供音轨分离,多段音频的剪辑,音频的转场特效等编辑能力。

一站式智能小视频解决方案,助您一天搭建小视频业务

除了小视频SDK外,百度智能云构建了智能小视频端到端全链路解决方案,提供了采、编、播、管、存、发等小视频一站式服务,开发者仅需简单几步即可拉起一个小视频APP。在小视频竞争白热化的阶段,让您能更快更高效的上线小视频业务,专注业务运营,赢在起点。

智能小视频解决方案上线,端到端全链路需求一站式解决!-大数网

智能小视频解决方案涵盖了移动端和服务端,移动端包含了小视频创作SDK、播放器SDK、FEED流、完整APP模版,服务端包含了小视频的管理、存储、转码、抽帧、审核、去重、标签化、分发、个性化推荐等。其中,小视频创作SDK提供了全面智能的AR特效和视频编辑能力,激发用户创新玩法,打造内容差异化。而MCT智感超清转码在保证同等画质的情况下,大大降低了视频码率,大幅度降低了带宽存储成本。自动审核/智能去重/智能标签更是提高了内容管理运营的效率和小视频分发推荐的质量。

智能小视频整体优势如下:

  • 全面赋能:全面的能力矩阵,端到端全流程解决方案,AI加持,全面赋能创业团队;
  • 简单快捷:标准易用的配置操作引导,小视频业务上线,快人一步;
  • 创新引领:最智能的AR特效拍摄工具,最IN的视频生产玩法,引领业界风向标;
  • 开放源码:APP模版和对应server服务开放源码,方便个性化定制开发;

基于百度智能云在ABC领域的技术实力,智能小视频解决方案充分展现了AR、AI、渲染能力上的优势,为视频企业带来了最IN、最全、最智能的解决方案,助力企业及广大开发者快速、高效、低价上线短视频业务。未来,百度智能云将继续赋能行业,全面引领短视频行业新风向。