跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

6 条精选近 30 天 4 条共收录 46 条

更新

部署工程的精选

10月22日周四第 1–6 条
  1. Hugging Face Blog66

    NVIDIA 发布 Kumo Relational 关系数据基础模型,无需训练即可超越监督学习

    NVIDIA 发布预训练关系数据基础模型 Kumo Relational,可直接在企业数据库上做预测查询,无需任务训练、特征工程或展平表格。在 15 个数据库的 41 项任务上超越监督式关系深度学习和专家梯度提升树管线,SAP SALT 基准上 MRR 超过 AutoGluon 集成 8%,微调后领先 16%。

    推荐理由:原文给出基准对比数字和开源获取方式,读者可以据此评估是否用它替代现有 XGBoost 关系数据管线。

10月21日周三
  1. Latent Space79

    Latent Space AINews:DeepSeek 开源 DeepInfer 推理栈,155T tokens/天与约 80% 利润率测算引发讨论

    Latent Space 本期 AINews 聚焦 DeepSeek 开源 DeepInfer 生产推理栈,报道其宣称单集群每天服务 155 万亿 tokens、非高峰时段每加速器小时收入 38 美元,社区据此测算约 80% 以上的推理利润率和 81 天回本周期。

    推荐理由:Latent Space 汇总了 DeepSeek DeepInfer 开源后的独立回应与财务测算,指出缓存命中率与成本假设如何左右 80% 推理利润率的结论。

10月17日周六
  1. Google Research64

    Google Research 发布 VERID 框架与闭环湿实验进展,推进自主化湿实验室

    Google Research 介绍三项研究进展,让 AI 智能体在湿实验室中自主设计、执行并学习实验。VERID 框架基于 PyLabRobot 构建实验室数字孪生,提供 3D 状态追踪、虚拟预演、硬件安全检查和视频动作日志。

    推荐理由:Google 自述其 AI 智能体闭环湿实验的三项进展,附 VERID 框架细节和 aptamer、蛋白设计的具体实验数据。

10月8日周四
  1. Microsoft Research67

    微软亚洲研究院开源 Agent Lightning v1.0:3500 行代码的轻量级 Harnessed Agentic RL 训练框架

    微软亚洲研究院发布 Harnessed Agentic RL 训练范式并开源重建的 Agent Lightning v1.0,让部署时使用的同一 agent harness 直接参与强化学习,无需在训练框架内重新实现智能体。

    推荐理由:框架让部署用的真实 agent harness 直接参与 RL 训练,还给出端到端编码智能体训练管线,读者可评估是否接入现有工作流。

9月9日周三
7月29日周三
  1. Berkeley AI Research62

    Berkeley Sky Lab 团队用 K-Search 将 CUDA 内核优化经验迁移到 Apple Silicon 的 MLX 框架

    Berkeley Sky Lab 的 K-Search 框架通过新增 MLX 后端和结构化 CUDA-to-MLX 翻译层,将 NVIDIA 生态多年积累的内核优化知识自动迁移到 Apple Silicon。

    推荐理由:原文给出可复现的方法和具体数字,说明结构化 CUDA 翻译层在 Apple Silicon 上带来的性能差异。