领域 ALL
特色 ALL
请选择
速览
今日热度
我的收藏
CupOFMoCA: Coupled Objective-Guided Discrete Flows for Molecular Conjugate Assembly
ML Generative Models AI4S DSMSD
101
热度
2026年11月11日
分子偶联物(包括PROTAC和多肽-药物偶联物PDC)的功能源于其多个耦合组分的协同作用;然而,目前大多数生成式方法均独立设计各组分,仅在生成完成后再进行组装。此类分阶段流水线式方法忽略了组分间的跨组分依赖关系,往往导致所生成的偶联物存在化学结构无效、偏离实测偶联物分布范围,或组装后丧失功能等问题。本研究提出了“面向偶联物组装的耦合目标引导离散流生成方法”(CupOFMoCA),这是一种离散型生成模型,可在偶联物生成过程中显式施加跨组分的化学约束。CupOFMoCA将引导式更新严格限定于化学上可行的偶联物状态,并依据分子设计目标对局部转移概率进行重加权。在三个PDC体系上的实验表明:采用耦合式生成策略后,所有有效多肽所对应的偶联物100%满足共价连接有效性要求,且其有效产出率显著高于匹配的“先生成后过滤”策略;同时,在全部有效偶联物集合中,其预测结合得分与对照方法相当。在针对三个PROTAC体系开展的三种子集评估中,CupOFMoCA在其中两个体系上实现了最高的组装有效性,并在单位时间内生成的组装有效分子数量上超越所有对比基线方法。我们进一步采用DegradeMaster对生成的PROTAC分子进行事后评分,并结合显式溶剂分子动力学模拟对其展开评估,结果支持了模型对其降解活性及构象特性的预测可靠性。综上所述,本研究证实CupOFMoCA是一种高效、可靠的分子偶联物生成工具,可通过协同调控偶联物组装过程与分子性质,有力支撑靶向蛋白降解等新型治疗策略的研发进程。
PDF
许愿
Probing Transformer Representations Layer by Layer, Module by Module
LLM Other LLM ML Transformer CV Backbone
78
热度
2026年11月08日
在基于Transformer的基础模型中,究竟应探测哪一类表征?近期研究表明,当前普遍采用的仅探测最终层的做法往往并非最优,因为中间层有时能提供更优的特征。然而,现有研究仍主要沿“深度”这一单一维度考察表征,将每个Transformer模块块(block)视为不可分割的原子单元。本文则对Transformer的表征进行逐层、逐模块的细致分析。我们针对视觉基础模型(VFMs)和大语言模型(LLMs),开展了逾14.4万次线性探测评估,结果表明:层(layer)与模块(module)的选择应联合考虑——相较于固定使用残差流(residual stream)而仅优化选择哪一层,选取最优的“层–模块”组合能在最终层残差流基础上带来显著更大的性能提升。此外,同一模块在不同层上的表现差异可能极大,这说明仅凭深度无法充分刻画表征的有用性。基于上述发现,我们进一步评估了两种简单且固定的探测策略:对视觉任务采用最终层的前馈网络激活值(Act@100),对语言任务则采用位于模型60%深度处的第二个归一化层输出(LN2@60)。实验表明,这两种策略在多数评估任务中均优于标准探测基线;平均而言,它们分别可恢复最优“层–模块”组合探测增益的42%(视觉)和86%(语言)。对于视觉基础模型,此类增益随预训练数据与下游任务数据之间迁移难度的增大而进一步提升。
PDF
许愿
Object- and Task-Aware Active Perception for Safe Navigation of Mobile Manipulators in Semi-Static Environments
Embodied AI and Robotics Robust MPC OAARTN Active Perception RP
75
热度
2026年10月21日
移动操作机器人需在物流、制造及服务等应用场景中,于杂乱且部分未知的环境中安全导航。机器人两次访问之间发生的半静态变化,可能导致场景认知过时,从而增加碰撞风险。为此,我们提出一种主动感知框架,使具有高自由度(DoF)的移动操作机器人在导航过程中,能够利用其手部相机对存在不确定性或关乎安全的关键区域进行自主检测。该框架采用一种概率化、面向对象且兼顾任务需求的“下一最佳视角”(Next-Best-View, NBV)建模方法,优先选择靠近期望路径、以及围绕不确定物体或潜在动态变化物体的观测位姿。该感知目标被嵌入分层任务模型预测控制(Hierarchical-Task Model Predictive Control, HTMPC)架构中,在确保底盘轨迹跟踪这一更高优先级任务的前提下,充分利用机械臂的运动学冗余性实现视角调整。整个系统将导航、地图维护与主动感知三者闭环统一。真实环境实验表明,相较于被动感知或非任务驱动的基线方法,本系统显著提升了地图的一致性、降低了任务相关地图的熵值,并减小了导航过程中的风险。此外,补充的仿真与真实场景序列实验进一步验证了系统对受控半静态场景变化的有效响应能力。
PDF
许愿
DeepSeek-V3 Technical Report
LLM PTSAD MoE
74
热度
2024年12月27日
我们推出了DeepSeek-V3,这是一个强大的专家混合(MoE)语言模型,总参数量为6710亿,每个token激活的参数量为370亿。为了实现高效的推理和成本效益的训练,DeepSeek-V3采用了多头潜在注意力(MLA)和DeepSeekMoE架构,这些架构在DeepSeek-V2中已经得到了充分验证。此外,DeepSeek-V3首创了一种无需辅助损失的负载均衡策略,并设定了多token预测的训练目标以提升性能。我们在14.8万亿个多样且高质量的token上预训练了DeepSeek-V3,随后通过监督微调和强化学习阶段充分发挥其潜力。全面评估表明,DeepSeek-V3的表现优于其他开源模型,并且达到了与领先的闭源模型相当的性能。尽管性能出色,DeepSeek-V3的完整训练仅需2,788,000 H800 GPU小时。此外,其训练过程非常稳定。在整个训练过程中,我们没有遇到任何不可恢复的损失激增或进行任何回滚操作。模型检查点可在https://github.com/deepseek-ai/DeepSeek-V3获取。
PDF
许愿
Breaking Bad: "Going Badly" Activations Drive Reward Hacking
LLM RLHF AI Safety / AI Ethics AVAR XAI
72
热度
2026年11月11日
当任务进展不顺、目标看似遥不可及之时,人类往往倾向于作弊。我们探索并验证了语言模型中一种类似的现象:它们在实施“奖励劫持”(reward hacking)之前,会进入一种类似的内在压力状态。我们采用日常故事(关键在于其中完全不包含任何奖励劫持的示例)来提取一个“任务恶化方向”(task badness direction);该方向在我们所研究的三个模型(Qwen3.6-27B、GPT-OSS-20B 和 Gemma-4-31B)中均随失败次数累积而持续上升。在无法完成或难度极高的编程任务中,该“任务恶化”程度会在劫持行为发生前的若干推理步中逐步升高。进一步实验表明,适度减去该方向向量,可显著降低 Qwen 模型的作弊倾向——其抑制效果甚至优于针对“绝望感”或“任务不可解性”的定向干预。然而,若减去幅度过大,则会使智能体对自身失败彻底“失明”,导致其将本应失败的测试结果错误地解读为通过。不过,该状态与劫持行为之间的关联在不同模型间存在差异:在 GPT-OSS 中,该状态能清晰区分劫持行为与诚实求解,却无法有效区分诚实求解与诚实失败。我们的结果提示,可通过持续监测和调控这一“任务恶化”状态,设计相应的监控与缓解策略。此外,随着智能体被赋予愈发困难、时间跨度更长的任务,此类内部状态可能促使它们转向难以理解、隐晦难察的思维链(chain-of-thought),因此,对包括此类状态在内的内部表征进行监督,将成为未来不可或缺的一环。
PDF
许愿
Are Scaling Laws of Universal MLIPs Universal?
ML NNGTB GNN and MP GNNs AI4S IMMPP
64
热度
2026年11月11日
神经尺度定律可用于预测增大训练数据集所带来的性能提升,但机器学习原子间势(MLIP)的数据集具有高度异质性,且生成成本高昂;相同数量的结构未必蕴含等量的有效信息。本文在固定模型配置的前提下,研究了M3GNet、MACE和PET三种模型在MatPES-MP-ALOE联合训练池子集上的数据规模扩展规律。实验覆盖了从10,000至640,000个训练结构的多个子集,并包含全部含116万个结构的完整训练集;对比了五种采样策略:均匀随机采样、三种基于化学组成与结构特征的分层采样策略、迭代式DIRECT采样,以及利用三个预训练MLIP模型所提取嵌入表示进行的最远点采样(furthest-point sampling)。模型评估采用内聚能、原子力、应力及综合损失四项指标,并分别在两个测试集上进行:一是从原始母分布中独立留出的测试集,二是分布发生偏移的MP-r²SCAN测试集。我们观察到,随着训练数据量增加,各项指标普遍呈现幂律形式的性能提升;但拟合所得的幂律指数、表观误差下限(apparent error floor)以及相对采样效率,均显著依赖于模型架构、预测目标量(如能量、力或应力)、数据采样策略,以及测试集所属的分布类型。值得注意的是,不同采样策略的优劣排序会随测试分布的改变而发生反转:例如,基于化学组成的分层采样可能提升跨数据集泛化能力,却同时损害对原始分布的拟合精度;而基于嵌入空间多样性的采样策略则往往表现不如随机采样。此外,模型在测试集上的相对损失与测试集和训练集在化学空间中的偏离程度呈强相关性。上述结果表明,结构数量虽是MLIP规模扩展中不可或缺的变量,却远非充分变量。在训练MLIP时,额外开展的第一性原理计算所能带来的收益,不仅取决于新增结构的数量,更关键地取决于这些结构在化学组成与原子构型上的内容,是否契合该势函数模型预期部署的具体应用场景。
PDF
许愿
NarrativeFlow: Flow-Based Vision-Language-Action Model Using Robot Velocity Fields
Embodied AI and Robotics MLMRD IL ML Generative Models
47
热度
2026年10月01日
我们聚焦于语言驱动的基于流场的机器人操控任务,其中“机器人流”(即机器人速度场)作为一种与具体机器人本体无关、以运动为核心的表征方式,可有效利用从多种机器人平台采集的数据。该任务至关重要,因为语言驱动的操控能力是实用化机器人系统不可或缺的核心功能;然而,当前机器人基础模型的规模化发展仍受限于针对特定机器人本体、费时费力的数据采集过程。现有方法要么仅用稀疏关键点位移对机器人流进行粗略近似,要么无法支持语言驱动的操控任务。为克服这一局限,我们提出了NarrativeFlow:该方法采用以语言为条件的流匹配(flow-matching)建模范式,将机器人流表示为连续的速度场,从而生成在物理上与真实世界操控过程高度一致的机器人运动轨迹。为验证NarrativeFlow的有效性,我们在多个标准的语言驱动操控数据集上开展了实验评估。结果表明,NarrativeFlow在各项标准评测指标上均显著优于代表性基线方法。此外,通过真实机器人平台上的实际操控实验,我们进一步证实:NarrativeFlow在多项操控任务中均取得了高于基线方法的成功率。项目主页详见:https://shota0520.github.io/NarrativeFlow-project-page/
PDF
许愿
Zero-SM NCCL: A Systematic Guide to Designing and Deploying SM-Free GPU Communication
AI Systems and Hardware OLPP DPS
38
热度
2026年11月13日
诸如NCCL之类的GPU通信库利用流式多处理器(SM)执行数据传输与同步操作,这会拖慢计算与通信的重叠执行,且其性能开销随互连带宽的提升而增大。我们提出“零SM版NCCL”(Zero-SM NCCL),该方案在单个Scale-up域内及跨Scale-up域进行通信时,完全不启动任何SM内核。它通过CUDA流内存操作实现同步,在Scale-up域内借助专用拷贝引擎异步移动数据,并由一个按流排序的CPU代理驱动网络RDMA。该方案支持AllGather、AlltoAll等数据移动类规约操作,同时提供单边通信API——ncclPutSignal与ncclWaitSignal。在GB200 NVL72与B200 NVL8系统上,“零SM版”规约操作的AllGather带宽最高可达传统基于SM内核的NCCL的1.36倍;同时,重叠执行的GEMM运算所受的中位性能下降幅度亦从33%大幅降低至4%,代价是单次操作延迟略有升高。在Megatron-LM训练中,该通信方案使FSDP(全分片数据并行)训练速度最高提升3.5%;而单边put操作则可将流水线并行效率最高提升15%。然而,“零SM通信”并非在所有场景下均具优势。我们通过覆盖多种模型与并行策略的端到端实证研究发现:该方案仅在GPU计算受限型工作负载中的大容量数据传输场景,以及存在较大空泡(bubble)的深层流水线中才真正获益;而在小消息传输或主机(CPU)受限型工作负载中,其性能反而劣于传统方案。我们据此提炼出若干实践指南,用于指导如何在NCCL中启用零SM通信功能,并为将其集成至其他通信库提供设计参考。
PDF
许愿
D2ML: Models for Direct-to-Biology Small Molecule Screening
AI4S DSMSD
37
热度
2026年10月29日
“直接面向生物学”(D2B)筛选技术可在无需纯化的情况下,快速测试新合成分子的生物活性。然而,粗产物混合物中化合物浓度不确定,加之经纯化的化合物测定数据有限,给这类数据在机器学习中的应用带来了挑战。本文表明,针对D2B数据结构专门设计的模型,可提升预测性能,并有效指导更具活性与选择性的化合物的发现。我们构建的“检测方法感知型”(assay-aware)模型能够:基于单点筛选结果预测分子活性;利用粗产物剂量-反应实验数据,预测同一分子在不同靶标间的相对活性;并借助纯化化合物的测定数据,预测其绝对活性。对于粗产物实验,即便浓度未知,只要多个靶标在同一孔中同步测试,其测得的活性比值仍能保留关键的选择性信息。进一步地,我们开发了一种联合模型,该模型在不同实验阶段间共享信息,并动态平衡各阶段数据对模型训练的贡献,其预测性能显著优于为各阶段单独训练的神经网络模型。其中提升最为显著的是粗产物剂量-反应实验中的选择性预测能力,其排序相关系数(rank correlation)由0.27提升至0.40。在另一项独立实验中,我们使用分别训练的模型指导筛选出84个全新化合物,在增强ROS1激酶抑制活性的同时,严格限制其对反靶标TRKB的活性。经实际合成与测试验证,所获化合物拓展了实测的帕累托前沿(Pareto front),实现了较训练集化合物更优的活性与选择性协同组合:其中选择性最优的新化合物对ROS1的IC₅₀达14.7 nM,且对TRKB的选择性高达233倍;相比之下,训练集中选择性最优的化合物对ROS1的IC₅₀为20.3 nM,对TRKB的选择性仅为79倍。ATLAS平台为此方法提供了完整的实验支撑体系,可在两到三周的周期内,完成由模型推荐的1,000–10,000个化合物的自动化合成与生物学筛选。综上,本研究展示了如何通过“检测方法感知型”建模策略,充分利用整套D2B筛选流程所产生的多源异构数据,实现面向多重优化目标的分子理性设计。
PDF
许愿