标题：微软 Foundry Local - 设备 AI 推理解决方案
出处：gOxiA=苏繁=SuFan Blog
时间：Sat, 18 Oct 2025 13:26:12 +0000
作者：gOxiA
地址：https://sufan.maytide.net/read.php/2168.htm

内容：
 
微软 Foundry Local - 设备 AI 推理解决方案
        微软在其 2025 Build 大会上发布了 Foundry Local，能够在本地设备上执行 AI 推理，意味着可以利用本地的 AI 算力，如：CPU/GPU/NPU；也让用户在隐私方面得到了充足的保障，还能有改善成本效益！Foundry Local 默认除了支持 CLI外，还支持 SDK、REST API 和 Catalog API，用户可以自行基于 Foundry Local 进行开发。在未来 Foundry Local 还将内置对 Agent/MCP 的支持。
        Foundry Local 还支持跨平台，除了能够运行在Windows 11 上，还能够运行在 macOS。由于需要本地存储和运行模型，请确保有足够的算力和存储，Foundry Local 支持硬件加速：NVIDIA GPU（2000系列或更高版本）、AMD GPU（6000系列或更高）、Intel iGPU、Intel NPU（32GB或更多内存）、高通 Snapdragon X Elite（8GB或更多内存）、高通 NPU，以及 Apple 系列。
        要在本地以 Foundry Local 运行 AI 模型，首先需要安装 Foundry Local。
Windows：winget install Microsoft.FoundryLocalmacOS：brew tap microsoft/foundrylocalbrew install foundrylocal        运行模型只需要执行：
foundry model run <model>
        在 Foundry Local 上可运行的模型有很多，可使用以下命令查看：
foundry model list
        还可以加载 --filter 参数对显示列表进行筛选。

        其他有用的参数还有：
foundry model info <model> 显示有关特定模型的详细信息
foundry model download <model> 在不运行模型的情况下只下载模型到本地缓存
foundry model load <model> 将模型加载到服务中
foundry model unload <model> 从服务中卸载模
        要查看本地已经下载缓存的模型，可执行：
foundry cache list

        要检查 Foundry Local 服务状态，可执行：
foundry service status

        Foundry Local CLI 详细使用可参考：Foundry Local CLI reference | Microsoft Learn
        Foundry Local SDK 目前支持 JavaScript、Python、C# 和 Rust，也可以使用 REST API 去调用 Foundry Local Service。gOxiA 这几天就用官方的样例代码改了一个支持 Windows 和 macOS 跨平台运行的 AI 推理程序，可在启动后自动检测 Foundry Local 运行状态获取服务地址和端口，并列出可用 AI 模型，如果未在运行，则执行 Foundry Local 启动。也可以手动指定 Foundry Local 地址，或配置 Azure AI 接口使用基于云的模型。

        项目地址：FoundryLocalChat | Github
        FoundryLocalChat 视频演示：http://t.cn/AXw2NWB1



Generated by Bo-blog 2.1.1 Release