跳到正文

技术方向

端侧 AI 最新动态

直接跑在手机、电脑等设备上的 AI：小模型、在本机运行模型的工具与端侧芯片。

2 条精选近 30 天 1 条共收录 3 条

更新

端侧 AI的精选

10月7日周三第 1–2 条
  1. Google DeepMind65

    Google DeepMind 发布开源轻量多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 发布 EmbeddingGemma 2，基于 Gemma 4 架构、740M 参数，采用 Apache 2.0 许可，将文本、代码、图像、视频与音频映射到统一嵌入空间，面向端侧推理。

    推荐理由：原文给出参数量、模块化编码器、维度截断与端侧内存占用等具体规格，便于评估本地多模态检索方案的可行性。

7月29日周三
  1. Berkeley AI Research62

    Berkeley Sky Lab 团队用 K-Search 将 CUDA 内核优化经验迁移到 Apple Silicon 的 MLX 框架

    Berkeley Sky Lab 的 K-Search 框架通过新增 MLX 后端和结构化 CUDA-to-MLX 翻译层，将 NVIDIA 生态多年积累的内核优化知识自动迁移到 Apple Silicon。

    推荐理由：原文给出可复现的方法和具体数字，说明结构化 CUDA 翻译层在 Apple Silicon 上带来的性能差异。