博物馆是记忆收藏之地，也是美与智慧汇集之处。
每一位来访者都可以在这里开启一段属于自己的博物馆时光，找到与文物对话的方式；每一句展品介绍都凝结着文博人的心血，想要以最简练的字句最到位地传达最丰富的内容；每一次与文物的交流，无论是实体、声音、图像还是文字，都是跨越时空的共鸣，是历史与当下悄然交汇的瞬间，更是文化传承在心灵深处激起的回响。
2025年12月，上海博物馆与上海科技大学合作，推出全国首个纯AI驱动的博物馆手语服务站及AI手语导览，以技术打破“声音”的壁垒，定向服务于听障群体，让文物不仅能被“看见”，也能被“读懂”，让所有人群均能更好地感受中国古代艺术的魅力、享受博物馆优质文化资源。
首个AI实时手语交互系统便民问答
站在服务站前，听障观众先用3秒时间伸手和屏幕中的AI数字人建立联系，随即就可用手语直接询问：“雕塑馆在几楼？”“洗手间在哪里？”“博物馆里是否有餐厅？”……不论是馆内服务设施、展厅导览路线，还是预约信息、餐饮服务等内容，数字人都会以自然流畅的手语实时回应，从打出手语到数字人回复，端到端响应<1秒，并且支持来访者自由提问，不限于固定问题库，问题匹配成功率>90%。即使手语表达不标准，AI数字人也能结合上下文“猜”出正确意图，给出正确答案。
为了确保AI实时手语交互的内容丰富和准确，项目组训练了规模庞大的模型矩阵，使TA具备人类一样的理解能力，可以深度感知对话语境，即时生成准确的手语应答。不仅如此，基于系统所用的核心算法模型具备极强的泛化能力，识别带有地方特色的手语也“信手拈来”。
这一成果依托上海科技大学的高性能计算集群累计训练时长超200小时，构建了“双模融合”的智能引擎：5亿参数的高精度视觉识别模型，用于准确捕捉手语动作细节；140亿参数的大语言理解模型，负责深层语义解析与上下文连贯生成。这套系统具备极强的敏捷性，每当新增一批高质量数据，模型可在24小时内完成优化更新，持续提升服务的准确性与包容性。
团队累计采集超过2000小时的高清手语视频，由30余位来自全国各地的听障人士实地录制，涵盖国家通用手语和多种地方自然手语“方言”，有效破解了因地域差异导致的理解障碍。团队还专门面向博物馆场景，打造了包含43000余条专业术语与解说内容的手语视频数据库，并以此对大模型进行深度特化训练，确保每一次手语翻译都精准贴合展览语境与文化内涵。
AI技术普惠让听障观众能够以自己更加熟悉、顺畅的沟通方式第一时间解决问题、获得答案，馆内工作人员遇到听障观众询问或求助时也不必只凭感觉猜测或通过文字了解，多了一个无障碍交流的“翻译官”。
手语导览成看展新“搭子”
不仅仅是让日常交流更顺畅，上海博物馆还为听障观众引进了一位新的看展“搭子”——AI手语导览，把抽象的文物专业术语转变为直观的“图像”语言。
观众打开“东馆导览”小程序，在“手语导览”板块中就能找到与眼前文物对应的导览视频，AI手语“讲解员”会以清晰、准确的手语配合简洁、美观的画面，详细描述文物的艺术细节、工艺特点、功能用途与文化深意，使听障观众也能轻松、便捷地探索文物之美。
关注“上海博物馆”微信公众号，点击“服务-GO上博-东馆导览”，进入“手语导览”页面即可体验
不同于此前已经推出的35条“国宝路线”人工手语导览视频，本次新上线的100条文物导览视频，是由AI手语技术主导完成的，内容覆盖青铜馆、陶瓷馆和考古馆的大部分重点文物。在文物选择上，不仅兼顾了器型、纹饰、工艺和历史年代的全面多样，也特别关注听障群体对文物可看性、趣味性和珍贵性的偏好。
为了帮助大家理解博物馆中常见的专业表述，项目团队专门梳理了100条导览中出现最频繁、最具普适性的知识背景，补充制作了6条博物馆探索指南视频，提升听障观众的参观体验。此外，还特别制作了“如何参观博物馆”AI手语视频，提供一种渐进式的参观方法，助力听障观众建立参观信心，鼓励更多人主动走进博物馆，在自主探索中收获充实而美好的文化体验。
与开发AI手语服务站相似，“AI手语导览”的推进也面临重重挑战。第一重难题是如何在1-2分钟的视频时长内，针对听障群体完成对文物信息的有效阐释。为此，上海博物馆在充分开展听障群体调研的基础上，结合手语表达的视觉化特点，重新构建了手语导览文本编写原则。在选取文物重点信息时，以“可视化”和“故事化”为导向，着重呈现工艺信息、文物功用、制造流程以及背后的历史故事，突出文物的意义与价值，从而更贴合手语的表达逻辑。
即使如此，以AI手语“翻译”导览文本也并非易事。手语不同于口语或书面语，它不是由一个个词汇排列组成的线性语言，而是由连续动作组成的“图像化”语言。在日常生活中，人们使用较多的大都是具象化词汇，而博物馆领域存在大量抽象词汇，且多是专有名词，长期以来，这都是手语翻译的难点。如果简单地采用逐词翻译模式转译文本语言，像是眼前划过了一串无法释读的乱码。本次项目开发的AI手语导览，在遇到这些词汇时，会先思考词义，甚至分解背后的原理过程，再对内容进行“视觉重构”。
例如瓷器的“支烧”工艺。如果将“支”与“烧”两个字分别翻译为手语，是无法传达有效信息的。AI手语导览则是先通过手部动作演示器物底部被支钉支起悬空的状态，再模拟将器物送入窑炉中烧制的动作，也就是以具象的连贯动作还原大致的工艺过程，左侧配合显示瓷盘底部的“支钉”痕迹，清晰明了地传达“支烧”的含义。
为了保证AI手语导览的准确性，团队还对AI手语数据建立了“双重校验”标准——由上海博物馆文博专家和资深教育人员审核AI分解的文博术语，对偏差进行修正；中国聋人协会和上海聋人协会专家则对手语转译的准确性与可读性进行审核。在此基础上，形成了小型文博手语词库，未来有望填补通用手语的部分空白。
技术的真正价值，在于让每个人都能平等地走近文明、感受乐趣、拥抱美好。上海博物馆始终秉持这一信念，持续致力于构建无障碍的博物馆空间，切实保障包括听障人士在内的特殊群体平等享有文化权益。
上海博物馆携手前沿人工智能团队共同打造无障碍的博物馆空间，跨越文理边界的协作，不仅是技术与文化的融合，更是一种相互滋养：人文精神为AI注入关怀与意义，技术创新则为人人都能平等参与的文化体验铺就通路。
用科技弥合沟通鸿沟，让文物的故事被更多人看见、理解与共鸣。全国首个纯AI驱动的博物馆手语服务站及AI手语导览，不仅是一项功能更新，更是一次博物馆“包容性与可及性”的重要实践，让AI不仅能“看懂”手势，更能“理解”语境、“传递”温度。用AI赋能无障碍博物馆建设，不仅是文博领域关注的焦点，更彰显了一座城市的高度与温度，是践行人民城市理念的生动注脚。
期待在上博与你相遇，一起开启这场无声却生动、静默却饱含深情的对话！
AI手语服务站位于上海博物馆东馆
二楼玺印篆刻馆入口对侧
扫码即可开始体验“AI手语导览”
供稿丨教育部
初审丨石维尘
终审丨汤世芬
