2022 年 4 月 1 日晚上 8 点,张国荣《热情》演唱会来了,造型邪魅又灵气、颓废又神气。
第一首歌是《梦死醉生》,歌声与灯光打在张国荣一袭白色身上,如天使般降临人间,“当 云飘浮半数公分/是 梦中的一生 你 共我磨擦得天摇地撼/不开心 再睡到开心”。
我们以“梦”开始。
这场《热情》演唱会不在中国香港红磡体育馆,而是在微信视频号、腾讯视频、腾讯音乐娱乐集团等多个网络平台里,朋友圈迅速被这场演唱会的视频链接刷屏,足见张国荣的影响力。
缅怀张国荣已成为一种仪式,每年的 4 月 1 日是全球无数歌迷、影迷们的重要时间节点。播出的内容是原本录制剪辑好的,原版视频很模糊,这次视频播出最大的特点之一是清晰度足够高。
腾讯音乐娱乐集团携手环球音乐旗下厂牌宝丽金,共同呈现“张国荣 2000 年《热情》演唱会超清修复版”。 2022 年,在张国荣辞世 19 周年的纪念日上,一方面为了缅怀哥哥;另一方面也为推动中国经典艺术的传承与发展。
谁来修复?
关于《热情》演唱会的溢美之词言之不尽,这是张国荣生前的经典绝唱,他亲自担任艺术总监,知名时尚设计师Jean Paul Gaultier负责服装设计。整场演唱会无论从艺术构思,还是剧情式曲目编排,亦或是“天使到魔鬼”的系列造型,皆为彼时首创,时至今日,都为之惊叹。
张国荣在《热情》演唱会开始前六个月筹备,从 2000 年 7 月 31 日开始举行全球巡回演出,最后回到中国香港红磡体育馆。 2003 年 4 月 1 日晚上 18 点 41 分,张国荣悄然离开,终年 46 岁。
中央电视台音乐频道曾评价道:张国荣的《热情》演唱会从表演形态,艺术理念,服装道具,观众反响都代表着中国演唱会的最高水准,至今无人超越。美国时尚杂志《Time Magazine》也用“Top in Passion and Fashion”来评价这场演唱会。
这场演唱会的视频版权归属于环球音乐旗下厂牌宝丽金唱片, 2022 年 3 月一次偶然的机会,腾讯音乐娱乐集团与宝丽金一拍即合,达成共识,利用腾讯云多媒体实验室智能影像修复技术,修复《热情》演唱会视频,并计划在 2022 年 4 月 1 日进行首场全球直播。
对于双方而言都是一次很宝贵的机会和有价值的尝试。宝丽金希望把自身原有的经典影像拿出来修复,腾讯本身是一家基于科技的文化公司,希望用自身技术助力经典的影视剧、电影以及演唱会等历史影像修复,做好文化传承,践行腾讯可持续的社会价值。
但演唱会视频面临不少技术难点。
时间跨度不小,因岁月带来的划痕、噪点等问题。相比于修复影视作品,演唱会视频数据较少,不便于算法系统识别准确场景,如何利用少量对比数据,提升学习效果,是腾讯不得不面对的难题。
腾讯曾经修复过《康熙王朝》《天下人家》等影视剧,积累了不少修复经验,但《热情》演唱会的整体环境整体环境较暗,细节不够丰富,场景切换快,灯光环境复杂,颜色丰富,对算法带来一定的挑战。
面对清晰度较为欠缺部分,无法精确建模,需要尝试不同的算法去达到最佳的修复效果。
图片来自腾讯云多媒体实验室
修复视频影像的重要任务落到腾讯云多媒体实验室身上。这个团队的负责人叫刘杉,本科毕业于清华大学电子工程系,硕士和博士毕业于美国南加州大学电机工程系,管理着一个会说 8 国语言的团队。
刘杉是腾讯公司旗下多个重要产品背后的技术推手,带领团队研发和交付多项多媒体核心技术,全面上线腾讯会议、投屏、微视、企鹅电竞等产品并持续服务QQ空间和腾讯视频等业务,进而积极投入开源云平台和生态建设。
而腾讯云多媒体实验室是腾讯旗下的多媒体通信和处理研发团队,隶属于CSIG事业群,参与国际国内行业标准制定,包含多媒体数据压缩,多媒体传输、系统与5G,以及多媒体AI等。自 2018 年参与新一代国际编解码标准制定以来,实验室已有超过 500 项提案被多个国际标准采纳,数量全球领先。
此外,腾讯云多媒体实验室还会把自身积累的技术提供给腾讯内部产品部门使用。腾讯云多媒体实验室专家研究员夏珍表示,这些技术内容的核心指向是视频处理,老片修复是其中的一个子类。
更专业的名词叫“超清沉浸感修复引擎”,在智能模式驱动下自动为老电影匹配最佳的算法组合和参数,发挥人工智能算法组合的最大效用,实现最佳的修复效果。
怎么修复?
在超清修复后的版本视频里,张国荣的面部、舞台、服装等细节都清晰可见,似乎梦回 2000 年。
修复历史影像作品甚至残损影像,对于经验丰富的多媒体实验室来说并不在话下,但接到这一需求时,腾讯云多媒体实验室专家研究员夏珍和他的团队还是比较忐忑。
“借助实验室的修复引擎等技术积累,可以极大限度地还原演唱会视频的清晰度。但对于演唱会视频中的色彩、画面切换较快,外加视频素材清晰度不高等问题,如何做到修旧如旧,给观众带来融入其中的沉浸感体验,对于团队来说是一个不小的挑战。”
拿到演唱会母带之后,距离 4 月 1 日只有不到 3 周的时间。
在刺猬公社(ID:ciweigongshe)等多家媒体的访谈中,夏珍透露,经过多次研判和技术验证,他和团队为这项修复工作制定了一个硬标准,即修复后的影像能够给荣迷带来“现场感”的观影体验。
修复老片有两种方式,一种是物理修复,另一种是数字修复。物理修复多用于胶片修复,数字修复是大多数互联网公司正在做的事情,其中运用到的核心技术是算法。
“希望可以通过比较少的人力介入,用算法自动化减少后续的人工修复成本。”腾讯云多媒体实验室总监李松南称。
腾讯云多媒体实验室团队修复《热情》演唱会母带第一步是智能分析,“主要分析视频的质量。”
具体而言,利用多种人工智能评估算法,对视频内容进行帧级别、场景级别和视频级别等多维度的智能分析,评估视频的运动和纹理复杂度、ROI区域、压缩失真程度等,得到不同维度的内容分析结果,为后续画质修复、增强和智能编码提供参考信息。
图片来自腾讯云多媒体实验室
很多人关心技术团队是怎么修复张国荣面部表情的。据了解,技术团队自研了一个人脸修复模型,利用人脸检测、人脸修复和融合模块,将图像修复迁移到视频过程中加入帧间稳定性处理,解决人脸检测稳定性,优化多角度人脸效果,解决视频中动态人脸遇到的复编程客栈杂场景问题。
但由于演唱会场景比较暗,智能算法没能完成的部分场景画面,技术团队用手工进行一些修复工作,以及调整参数。在更多种的视频类型修复中,技术团队更希望迭代算法,增强自适应能力。
而另外一套算法引擎针对老片场景下进行训练和优化,可修复多种破坏画质内容的因素,主要针对老片中常见的竖线、雪花点、噪声、压缩失真、抖动等问题进行修复。
修复工作也是一套相对复杂的系统工程,修复了细节,还要考虑怎么把色彩画质增强。
“我们修复完,对比以前的视频,要更清晰、更真实,能看到脸部一些轮廓、毛孔、胡子。”夏珍说,从视频来看,母带分辨率非常低,只有720x480 的分辨率,修复完成后,分辨率接近4K,整体提升了 6 倍。
实现这项效果,是在修复模块基础上,结合智能分析模块信息,选择最佳视频增强算法,对画面进行多维度画质提升。画质增强主要在空间上和时间上对视频的分辨率和帧率进行提升,在空域上提升细节清晰度、色彩丰富度。
正在修复中的演唱会画面图片来自腾讯云多媒体实验室
每个算法都由腾讯云多媒体实验室自研QjDHnYaEi自发,重点是划痕修复和“超分辨率”,超分辨率,在放大视频分辨率时,明显提升细节清晰度,同时通过GAN生成一些细节。
“为了呈现最真实的哥哥,我们清晰地还原了他脸上的皮肤、皱纹、毛发,甚至胡渣。”夏珍说。
在新领域,腾讯已经迈出重要的一步
据刺猬公社了解,本次修复版演唱会能得到高质量、清晰、流畅地现场直播,还有一项“黑科技”:视频编解码。
腾讯技术修复团队称,如果说自研算法是视频修复的引擎,那么“视频编解码”可以说是如期达成 4 月 1 日全球直播的重要保障。这项技术很容易被忽略,因为它过于底层了。
它可以让视频自适应调整输出码率以及各种编码参数,保证质量的前提下,可以压缩视频的大小,在各个平台上播出。
腾讯云多媒体实验室能顺利修复演唱会视频,并且顺利播出,并不完全因为自身能力,而是一个系统性结果。技术团队的成长也得益于超高清技术发展,它极大提升了视频的清晰度,但同时也让文件大小成倍增长。
这是《热情》演唱会母带首次被超高清修复,此前一直珍藏于宝丽金唱片。得益于数字修复技术加持,这个被尘封 21 余年的“时代符号”被首度解锁。
张国荣不是一个简单的名字,而是一个时代的文化象征。随着粤语流行音乐的兴起,宝丽金也见证了香港唱片行业的黄金年代,而张国荣是宝丽金旗下最具影响力的歌手之一,保留着非常多珍贵的影像资料待修复。
实际上,中国有许多的经典影视剧作品和文化影响都需要修复,腾讯曾经在与敦煌博物馆、故宫博物馆的合作中,用数字技术修复保护了大量文物,促进了文化传承与保护。在新领域,腾讯已经迈出重要的一步。
在数字内容行业,《超高清视频产业发展行动计划》提出,到 2022 年超高清视频产业总规模要超 4 万亿元,超高清内容制作每年要超 3 万小时。但实际上,该行业存在着高成本、效率低等痛点,极大制约了产业发展。
腾讯在这方面的布局已经开始。腾讯云多媒体实验室内部已形成较为完整的智能老片修复技术矩阵。
本次直播的一个重要阵地是视频号,结合近几次案例来看,音乐与视频号的关联性越来越强,微信视频号“音悦会”生态正繁荣。
2021 年 12 月,西城男孩(Westlife)全球首场线上直播演唱会现身视频号,吸引超 2700 万人围观,破圈势头非常旺盛,该项目被写进腾讯 2021 全年财报。 2022 年 1 月,微信视频号与共青团中央共同举办“追光”大型直播,“追光”创意源自 2020 年末微信团队对生命的朴素质问与追求,在新年第一天便给观众带来力量和温暖。
在视频号生态中,线上演唱会逐渐增多,特别是来自于用户自己发起的直播,增添着无限活力与生机,科技与文化每一个次的演绎都焕发新色彩。
烟火绽放,话尽衷肠,“春天该很好,你若尚在场”。
夜里 9 点 48 分,演唱会直播最终在张国荣一袭浴袍的歌声中结束:
快乐是
快乐的方式不只一种
最荣幸是
谁都是造物者的光荣
不用闪躲
为我喜欢的生活而活
不用粉墨
就站在光明的角落