享未来数码网
首页 > 测评 > 微软DeepSeek-R1模型优化Copilot PC本地化AI推理能力大提升

微软DeepSeek-R1模型优化Copilot PC本地化AI推理能力大提升

在科技日新月异的今天,人工智能正以前所未有的速度向边缘计算领域迈进,而Copilot+ PC在这一进程中占据了举足轻重的地位。近日,随着DeepSeek R1模型的横空出世,微软也敏锐地捕捉到了这一变革的先机。

微软官方近日宣布,已正式推出针对NPU(神经网络处理器)深度优化的DeepSeek-R1模型。该模型现已在Azure AI Foundry和GitHub平台上架,首批将针对搭载高通骁龙X系列芯片的Copilot+ PC进行适配,随后将逐步扩展到英特尔酷睿Ultra 200V等其他平台。

据悉,DeepSeek-R1的首个版本——DeepSeek-R1-Distill-Qwen-1.5B,将率先在AI Toolkit中亮相。而7B和14B两个更大规模的版本也将紧随其后,助力开发者充分利用Copilot+ PC中强大的NPU性能。

微软方面表示,Copilot+ PC上的NPU开启了一种全新的工作模式。在这种模式下,生成式AI不仅能够按需执行,还能够支持半连续运行的服务。这一特性使得开发者能够利用AI推理引擎,打造出更加主动、持续的用户体验。

微软在Phi Silica项目上的研究成果,为DeepSeek模型的NPU优化提供了宝贵经验。通过高效的推理技术,DeepSeek在首次生成token的时间和吞吐率方面均表现出色,同时对电池续航和PC资源消耗的影响降到了最低。DeepSeek还借鉴了多项关键技术,包括模型分离以实现性能与效率的最佳平衡、低比特率量化以及Transformer到NPU的映射等。同时,微软还利用Windows Copilot Runtime(WCR)通过ONNX QDQ格式在Windows生态系统中实现了广泛扩展。

对于想要体验DeepSeek的用户来说,只需下载AI Toolkit VS Code扩展即可。而经过ONNX QDQ格式优化的DeepSeek模型也将很快出现在AI Toolkit的模型目录中,用户可以直接从Azure AI Foundry中拉取。下载完成后,用户只需打开Playground加载“deepseek_r1_1_5”模型,并给出提示词,即可开始体验DeepSeek的强大功能。

除了为Copilot+ PC优化的ONNX模型外,用户还可以在Azure Foundry中尝试云托管的源模型。只需点击“DeepSeek R1”下的“Try in Playground”按钮,即可轻松上手。

为了直观展示原始模型与NPU优化模型之间的差异,微软还提供了以下示例图。从图中可以看出,在相同提示下,原始模型与NPU优化模型的响应虽然大致相同,但在推理能力等方面仍存在微小但确实存在的差异。

标签:

上一篇 目录 下一章

猜你喜欢

数码电器测评 城市交通流畅之...
城市交通流畅之道:智能监控系统的崭新篇章 在当今快速发展的城市中,交通问题已经成为人们生活中的一个重要议题。为了解决这一问题,智能交通监控系统逐渐被推广应...
数码电器测评 科技进步与伦理...
科技进步与伦理问题报告:人工智能带来的道德困境如何解决? 在信息时代的快速发展中,人工智能(AI)作为一项前沿技术,不仅在工业、医疗、教育等领域取得了巨大...
数码电器测评 智能仪表方案我...
在日常生活中,我们总是希望家中的设备能够更加智能化,既能提高效率,又能让我们更方便地管理和维护。尤其是在工业生产领域,智能仪表方案就显得格外重要,它不仅可...
数码电器测评 智能装备与系统...
在当今这个信息化和数字化的时代,技术不断进步,智能装备和系统正变得越来越重要。它们不仅改变了我们的生活方式,也对就业市场产生了深远的影响。随着这些新兴技术...

强力推荐