摘要:上海广播电视台与上海图书馆携手探索打造传统文化沉浸式体验场


“第一次参加这种沉浸式的活动,感觉很新奇!能把AI技术、**传统文化,以及光影这些不同的元素结合在一起,我觉得这是一个非常棒的体验。”来自阿根廷的吴飞得连连称赞。

2024上海国际光影节“静安光影奇妙夜”系列活动《千年之约·入画屏》数字光影展,以“AI换脸入画”体验,吸引众多市民游客前来探索。线下展览虽已落幕,线上“换脸”仍在火热进行。记者了解到,由上海广播电视台商业创新中心策划,携手上海图书馆推出的这一全球首个大型AI装置展览,后续有望移师上图继续与读者共赴“千年之约”。


2024上海国际光影节“静安光影奇妙夜”系列活动《千年之约·入画屏》数字光影展

《千年之约·入画屏》历经半年打造,深度挖掘宋朝生活风貌与民俗特色,依托SMG生成式人工智能媒体融合创新工作室的尖端技术,以超高清和AI技术还原宋画场景。展览突破性地采用4K超高清视频技术,结合数字艺术家的精妙笔触,对宋徽宗《听琴图》等传世名画进行二次创作。创作团队首先从碑帖、宋画中提炼背景元素,按比例复原宋代妆容、服饰及民俗场景,并通过特效演员的情景实拍和数字图像的精准拟合,借助超高清4K分辨率,将古画中记录的一千多年前的场景栩栩如生地展现在观众面前。


《千年之约·入画屏》数字光影展

值得一提的是,AI换脸技术的运用,让每位参观者都能成为画中人。在SMG生成式人工智能媒体融合创新工作室的支持下,此次展览实现AI即时互动的突破,成为全球首个将实时互动视频生成技术应用于线下展览的案例。由SMG人工智能专家顾问、上海交通大学教授倪冰冰领衔的技术团队,采用AI面部特征编辑、生成与驱动技术,通过高精度摄像头捕捉观众静态面部特征,并采用人脸编辑和生成技术,将这些特征融入古画中随机选取的人物形象,最后借助表情驱动技术,模拟出栩栩如生的面部动作。


外国友人体验AI换脸,“走入”画中。

与20多位外国友人一起参观展览的传统文化推广者徐悦尔表示,“千年之约”促成“古今中外”在一个空间的相交和融合,“不同**、不同民族、不同文化背景的小伙伴都被**传统美学深深震撼和感动,这是一条个人与传统文化之间独特的情感纽带。”


变身“画中人”

“千年之约”项目技术负责人、上海交大文创学院元宇宙创新中心首席科学家陈炫宏介绍,展览应用的算法模型是目前业界最成熟的换脸算法之一,基于simswap++/simswap技术,以实时性、保真效果出众及人脸身份一致性高度稳定为特点,契合了消费级市场对高效时效性的需求,这是用户能在短短几十秒甚至十几秒实现入画穿越的核心技术保障。未来,这一系统还将实现多模态的用户输入交互,以声光电、屏显等多模态输出方式,提供沉浸式中华文化体验的更多进入路径。

作为联合出品方,上海图书馆为展览提供文化支持与资料保障,图书馆员们深入挖掘宋朝文人雅士的日常生活与民俗特色,与展览团队共同打造这场文化盛宴,通过引入现场语音导览系统、复原宋朝韵味的香氛设计和体验空间的精心布置,全方位调动观众的感官体验,使展览“可观、可感、可触”。


展览“可观、可感、可触”

上海两大文化传媒机构的携手,搭建起一座连接过去与未来、艺术与科技的桥梁。“这场展览不仅是上海广播电视台创新打造沉浸式中华传统文化体验场的尝试,也是从为播出服务向为传播服务,在智能化、超清化方向推进媒体数字化转型的重要实践。”SMG商业创新中心总经理潘伟表示,展览沉浸式展现现代科技与中华传统文化的融合,以场景化的创新方式让典籍中的传统文化焕发新的生命力,“未来我们会继续探索将超高清与AI技术应用于更多文化场景,充分发挥媒体在城市美好建设和流量创造中的价值,为市民游客提供更多沉浸式的文化体验。”