在人工智能时代，设计师与产品经理比以往更加须要关注一个事实：那就是如何利用人工智能和数据分析技术，打造让用户心动的信息交互产品和用户体验，开释人 - 机协同共创的微小潜能，是决定设计产能和竞争力的要害。
在产业的巨变之下，北京邮电大学侯文军传授联结百度飞桨团队，独特设计了《从情节到交互：UX+AI，打造多模态信息交互产品》特色工作坊，在这个为期一周的工作坊中，在飞桨 Jungle 老师团队的率领下，同学们通过学习多模态数据分析与大模型技术，以影视片为多模态信息源，逐渐从图像、声音和文本中发展数据驱动的设计剖析，最终将电影的多模态信息转化为引人入胜的多通道交互产品，产出实在我的项目。
课程培养目标
多模态人工智能技术了解与利用能力
理解多模态人工智能技术的原理、算法和利用，把握如何利用这些 AI 技术来剖析电影中的文本、图像和声音等多模态信息，并联合飞桨和大模型工具，转化为交互式利用的设计素材与流程。
数据分析与翻新思维
学会应用多样化的数据分析工具和办法，从电影数据中提取有价值的信息和洞见。造就翻新思维和以用户为核心的设计理念，挖掘电影的被动式参观与主动式交互利用之间的结合点，从电影情节中，策动产品的独特性能价值和交互流程。
交互设计能力
利用多模态的设计能力，在视觉、听觉和触觉等方面，设计直观且吸引人的多感官界面，将电影元素与界面设计相结合，发明出令人印象粗浅的交互式利用设计，提供良好用户体验，无效和舒服地传播信息和故事。
团队合作与项目管理能力
与其余参与者组成团队，独特合作开发一个电影交互式 APP 原型。学会无效的团队合作，包含任务分配、沟通和协调。取得项目管理的实践经验，学会布局、执行和监控我的项目停顿。
局部课程内容
- 小学期主题及实际工作解析
- 人工智能技术现状、多模态人工智能技术与设计的联合
- 多模态与智能交互设计交融系列课程
- 我的项目课题：基于电影多模态信息的多通道交互产品设计
局部我的项目成绩
为期 5 天的工作坊，工夫非常缓和。在这么短的工夫内，要求同学们不仅要学习和消化全副的课程内容，还须要高质量实现课题我的项目——这对他们的学习力、创造力，特地是爆发力，都提出了微小的考验。工作坊的 57 名大三同学，均来自享誉全国的北邮智能交互设计业余，该业余依靠北京邮电大学的信息科技劣势，立足“新工科”造就理念，造就“人工智能 + 交互设计”的复合型精英人才。57 名同学，通过互相组队，最终产出了 25 个内容饱满的我的项目。
我的项目示例一
杨闪、孙沛然和车皓远同学，选取电影《爱乐之城》发展多模态信息开掘与产品设计。他们通过 K-Means 聚类办法，剖析和提取了象征不同节令和情感阶段的主题色，以及代表不同情绪格调的音效，将其作为交互产品的设计素材。
在影片中，男女配角载歌载舞，洋溢着生机与优雅，此时此刻，三位同学提出了一个问题：对不会跳舞的人，他们如何能享受歌舞所带来的高兴？借助 PP-TinyPose，产品能够将特定的用户照片，转化为电影中经典舞蹈的视频进行复刻，让用户也能像电影中的角色，载歌载舞！
我的项目示例二
朱芃宇、范星兰和程力昊同学，摸索的电影是《天使爱美丽》。他们基于故事情节、画面和声音等多模态信息，打造了全新的照片社交产品——Moment。
该产品旨在驱动身在不同时空的用户，为彼此拍摄一张将实体明信片与周围环境进行合影的照片，使用户感到明信片与四周风光，都是专门为他们而拍摄的。以此通过强调该照片的独特性和定制性，让用户在收到照片时感触到被特地器重和关注，并从此与陌生人建设一种美好的时空关联。
借助 文心跨模态大模型 ERNIE-ViLG 的参考图模式，用户照片能够被产品进行风格化，这样既防止了个人信息的泄露，又失去了更多的艺术可能性；在社交网络数据提取及用户匹配方面，团队抉择 ERNIE-UIE 模型，能更精准地提取和匹配地理位置、机构、修建等信息，辅助用户找到“远方的敌人”；在明信片内容辅助生产方面，产品则是利用飞桨版 SAM，从摄影照片失去语义内容，并作为 ERNIE-BOT 的文本提醒词，从而帮忙用户更快地产出明信片设计与文字稿。
相干链接
- “宰割所有”大模型 SAM、超轻量 PP-MobileSeg、工业质检工具、全景宰割计划，PaddleSeg 全新版本等你来体验！
- 通用信息抽取技术 UIE 公布！
我的项目示例三
侯家祺、徐瑞宁和秦一硕同学，选取的电影是《佛罗里达乐园》。通过图像与音频聚类，提取主题色和具备代表性的音效，而这些梦幻的色调和冷落的声音，精确反映了孩子们视听世界的特色。
三位同学的产品定位，则是通过 AR 交互式虚构恶作剧，来帮忙用户进入到《弗罗里达乐园》的世界，以第一视角体验各类恶作剧，取得解压。
这款多模态 AR 实景交互 AR 游戏，具备极强的电影内容关联性，借助 PaddleSeg 的能力，许多事实元素可能被主动拆散和提取，并融入到剧情，在用户与其交互过程中，产生更深层次的剧情体验。
我的项目示例四
徐茗和陳珮雯同学，则是基于电影《浪矢解忧杂货店》多模态信息，打造了一款事实版 AI 浪矢爷爷。他们将电影海报中的“杂货店”，通过 ERINE-ViLG 进行了“翻新”；并提取了浪矢爷爷的回信文本，作为小样本数据集，在 AI Studio 大模型社区 打造了雷同“话风”、同样可能进行回信的“AI 浪矢爷爷”。
我的项目示例五
杨若望、杜尧和刘先胜同学，从电影《阿凡达》中，提取了“冥想”的设计理念和独特的色调模式。利用文心跨模态大模型 ERNIE-ViLG，团队的三位男生，通过简略的 prompt，就能为本人生成特定主题且具备肯定连续性的系列设计素材，成为本人产品中的要害元素减速了产品的创意表白。
因为篇幅无限，还有很多同样优良精彩的团队我的项目没有介绍，置信在将来，咱们将有更多的机会和场合进行分享。
北京邮电大学侯文军传授示意，大模型正在真真切切地驱动企业与产品的代际改革，并在理论落地的过程中，产生实在的价值。大模型 + 设计，将带来企业与产品改革的全新势能，这次校企交融的实际课程，让同学们发展前沿科技的利用摸索，产生丰硕的成绩，大家都获益匪浅。以后面向新一轮产业改革，更多的任何学科和产业，都将在大模型技术的推动下，迎来本人的“iPhone”时刻。
期待你的退出！ 方才的我的项目，和“创意”很相干。说起“创意”，这里，咱们要显著地做一个广告了：欢送创意有限的你，带着幻想与技术，加入中国高校计算机大赛人工智能创意赛！
报名链接
https://aistudio.baidu.com/aistudio/competition/detail/1026/0…