港科大×腾讯视频:音视频大模型后训练往哪儿使劲?边学边改,不再提前定死
导读|你一定见过这样的 AI 视频:主播张嘴却没声音,狗叫声响了嘴还闭着,人物说着说着就「换了张脸」。音视频联合生成模型越做越大,但让画面好看、声音好听、语义对得上、口型还同步,几个目标经常互相「打架
2026-10-15 22:26 · 摘要已收录,可打开文章获取原文内容
导读|你一定见过这样的 AI 视频:主播张嘴却没声音,狗叫声响了嘴还闭着,人物说着说着就「换了张脸」。音视频联合生成模型越做越大,但让画面好看、声音好听、语义对得上、口型还同步,几个目标经常互相「打架
2026-10-15 22:26 · 摘要已收录,可打开文章获取原文内容
想象一下:你有一张产品照片,想让它从“办公室白光”切换到“夕阳余晖”,或是“霓虹夜景”...传统方法会让你崩溃:重建3D模型,估计材质,最后渲染...一步错,步步错。今天,香港理工大学vLAR团队提出
2026-10-14 23:09 · 摘要已收录,可打开文章获取原文内容
生成长视频,难道只能一边向前,一边遗忘?删掉早期画面,主角容易变样;把历史压成摘要,又可能找不回关键细节。美国东北大学与Adobe Research提出的OmniMem,首次实现完整历史的长视频生成,
2026-10-14 23:09 · 摘要已收录,可打开文章获取原文内容
想把世界模型 (World Model)、视觉语言动作模型 (VLA) 或具身策略 (Embodied Policy) 放到具体任务中检验?RoboWorld Challenge 2026 已开放报名
2026-10-13 23:50 · 摘要已收录,可打开文章获取原文内容
同一个问题、同一段视频,直接交给模型时能答对,放进几轮对话后,却可能答错。问题究竟出在看不懂,还是没有用对上下文?随着多模态助手从单次问答走向连续交流,用户的提问也会自然地承接上文,或回到之前看过、听
2026-10-13 23:50 · 摘要已收录,可打开文章获取原文内容
团队介绍小红书创新业务算法团队,主要负责小红书新业务、新产品的 AI 技术探索与算法研发,聚焦大模型、Agent、多模态等前沿技术方向,推动从 0 到 1 的产品创新与技术落地。团队直接面向创新业务核
2026-10-12 23:36 · 摘要已收录,可打开文章获取原文内容
让 AI 描述一张图片,或者根据一句话生成图片,已经越来越常见。但如果给它一张照片,再说一句“把桌上的红色杯子改成蓝色,其他地方保持不变”,问题就变得复杂了。它需要知道哪个物体是杯子,也需要保留杯子的
2026-10-12 23:36 · 摘要已收录,可打开文章获取原文内容
分享最近做的一个流式视频生成的工作:SGF+: Decoupling Gradient Flows for Autoregressive Video Generation。在只使用 5 秒训练窗口的情
2026-10-11 21:10 · 摘要已收录,可打开文章获取原文内容
长视频理解中,模型答错问题,有时并非因为推理能力不足,而是关键证据没有进入它的视野。一段一小时的视频,即使每秒只采样一帧,也会产生约 3600 帧。面对有限的视觉输入预算,如何选出真正有用的画面,直接
2026-10-11 21:10 · 摘要已收录,可打开文章获取原文内容
论文标题: Flow-JEPA: Robust Latent Dynamics for JEPA World Models via Flow Matching作者: Yanchen Huo、Ziyin
2026-10-10 22:41 · 摘要已收录,可打开文章获取原文内容
项目内容论文标题Can We Model the Artifacts Explicitly? Disentangle Artifacts via Pairwise Edit Relations for
2026-10-10 22:41 · 摘要已收录,可打开文章获取原文内容
2026 年 10 月 1 日,第 29 届国际医学图像计算与计算机辅助干预大会(MICCAI 2026)在法国斯特拉斯堡举行,脑肿瘤分割挑战赛(BraTS 2026)脑转移瘤分割赛道(BraTS-M
2026-10-09 22:33 · 摘要已收录,可打开文章获取原文内容
Transformer 架构包含两类看似泾渭分明的核心模块:注意力模块(Attention)与前馈网络(Feed-Forward Network,FFN)。由于标准注意力的平方复杂度,研究者提出了许多
2026-10-09 22:33 · 摘要已收录,可打开文章获取原文内容
立即投稿|OpenReviewhttps://openreview.net/group?id=robot-learning.org/CoRL/2026/Workshop/GroundedDriving
2026-10-08 23:46 · 摘要已收录,可打开文章获取原文内容
扩散模型个性化定制(DreamBooth、Textual Inversion 等)只需几张图就能“学会”一个人脸或一件作品,随之而来的是肖像盗用、作品抄袭等版权风险。为此,Anti-DreamBoot
2026-10-08 23:46 · 摘要已收录,可打开文章获取原文内容
在三模态及以上的多模态对齐中,不同传感器如同“盲人摸象”,所捕捉的视觉、语言、音频本质上皆是现实世界的侧影。然而,ImageBind、VAST 等传统方案强行钦定文本或图像为“绝对中心锚点”,导致表征
2026-10-07 23:54 · 摘要已收录,可打开文章获取原文内容
更多在读方向、学生去向、申博攻略,欢迎访问课题组主页 https://zdzheng.xyz博士 / 博士后 / 硕士申请:zhedongzheng@um.edu.mo一、导师:郑哲东(Zhedong
2026-10-06 23:28 · 摘要已收录,可打开文章获取原文内容
近年来,以 DeepSeek-R1 为代表的大推理模型通过显式生成中间推理过程,在数学、代码和复杂逻辑任务上展现出强大能力。随着这一范式扩展到视觉语言场景,多模态大推理模型(Multimodal La
2026-10-06 23:28 · 摘要已收录,可打开文章获取原文内容
在计算机视觉的高分辨率密集感知场景中,二次计算复杂度一直是 Softmax 全局注意力的绕不开的瓶颈——随图像 Token 激增的计算与显存开销如同沉重镣铐,让边缘端部署的“极致精度”与“实时吞吐”常
2026-10-04 23:25 · 摘要已收录,可打开文章获取原文内容
在真实图像编辑中,擦除一个物体从来不仅是涂抹掉物体轮廓本身。物体投射在地面的阴影、水面的倒影或半透明玻璃的折射痕迹,往往会蔓延至常规涂抹掩码之外。如果模型只按掩码消除,往往会在边缘留下显眼的倒影残渣;
2026-10-02 23:15 · 摘要已收录,可打开文章获取原文内容
论文:RawVLA: Embodied Neural Image Signal Processor for Robotic Manipulation作者:Shuhong Liu、Heng Zhou、L
2026-09-30 23:55 · 摘要已收录,可打开文章获取原文内容
项目、论文与代码已公开:项目主页:https://arlo0o.github.io/KVLR-project/论文 PDF:https://arlo0o.github.io/KVLR-project/
2026-09-29 23:28 · 摘要已收录,可打开文章获取原文内容
在生成式视频压缩领域,速度与画质的矛盾同样犹如一道难以逾越的天堑:采用 2D 图像扩散先验逐帧修复,高频纹理在帧间不断漂移,极易造成剧烈的“频闪”;而引入 Wan2.1 等十亿级参数的视频原生大底座虽
2026-09-28 23:17 · 摘要已收录,可打开文章获取原文内容
一场大火,画面里火焰猛烈蹿起,声音却没有在关键时刻跟上;一位小提琴手正在演奏,旋律与画面中的动作却未必合拍。联合音视频生成要做好两件事:各自生成得好,也要在同一个事件上配合得好。针对这一难题,我们提出
2026-09-27 23:29 · 摘要已收录,可打开文章获取原文内容
联合嵌入预测架构(Joint Embedding Predictive Architecture, JEPA)摒弃了繁重的像素级重构损失,直接在高度抽象的潜空间中预测未来演化,被视作构建任务通用型隐空
2026-09-25 23:49 · 摘要已收录,可打开文章获取原文内容
让 AI 根据一张图片生成视频,已经不是什么新鲜事。但如果告诉 AI 当前的世界状态,再给它一个动作,它能不能真正推演之后会发生什么?比如,一辆自动驾驶汽车准备左转,它能否提前“想象”其他车辆的反应?
2026-09-24 23:49 · 摘要已收录,可打开文章获取原文内容
我们所处的世界,本身就是多模态的。一辆车从街口驶过,它同时产生图像、声音、深度、热辐射和振动。这些观测的形式天差地别,但它们描述的是同一个物体——只是各自切下了它的一个侧面。于是一个非常自然的问题浮上
2026-09-23 23:46 · 摘要已收录,可打开文章获取原文内容
01先说结论我们常被问同一个问题:「为什么我这么努力,复现了那么多论文、跑了那么多实验,论文还是发不出来?是不是我不够聪明?」9 年里我们看过几万个这样的提问。答案是:你与顶会论文的差距,就是三件看不
2026-09-22 21:55 · 摘要已收录,可打开文章获取原文内容
准备做多模态融合方向的朋友看过来,我这次整理了260篇多模态融合论文+多模态代码库,其中论文部分包括:6篇入门必读论文103篇今年最新顶会论文151篇前沿高分论文这里的顶会论文筛选自CVPR/ICLR
2026-09-22 21:55 · 摘要已收录,可打开文章获取原文内容
“理解与生成统一”已成为多模态大模型演进的核心趋势:让视觉语言大模型(VLM)充当“认知大脑”,先深入推演物理时空因果,再指挥下游扩散模型精准生成连贯画面。然而在视频领域,这一范式常陷入“鱼与熊掌不可
2026-09-21 23:56 · 摘要已收录,可打开文章获取原文内容