文章
文章用户商铺文档快讯圈子网址导航
全部标签

技术落地

    • 概述

      概述

      AI 原生基础设施概览AI 原生基础设施正推动云原生与智能化深度融合，成为新一代应用创新的坚实基石。理解其架构与趋势，是每位云原生开发者迈向 AI 时代的关键一步。AI Infra 全景图与核心组件AI Infra（AI 原生基础设施）是支撑生成式 AI 应用的新一代技术栈，融合了模型推理引擎、数据检索组件和云原生技术，为智能应用提供高效、可扩展的运行环境。从宏观上看，AI Infra 栈主要包括…
      技术落地
      • 0
      • 0
      探索X探索X
    • 从标准化到智能编排

      从标准化到智能编排

      AI 原生：从标准化到智能编排AI 的未来不只在云端，而在边缘；不只在模型，而在标准与编排。随着 AI 从实验室走向工业级落地，我们正经历一次从 Cloud Native 向 AI Native 的基础设施演化。这一趋势的三个关键面向：云向边缘迁移（Edge AI） 标准化协议（MCP） 智能编排系统（AI Orchestrator）AI 编排的本质，是让多个智能体协作变得高效、可控且可观测，从而…
      技术落地
      • 0
      • 0
      探索X探索X
    • MLOps vs AIOps

      MLOps vs AIOps

      MLOps vs AIOpsMLOps 和 AIOps 的本质区别是什么？理解它们的融合趋势，是 AI 平台工程的关键。在实际工作中，MLOps（Machine Learning Operations，机器学习工程运维） 和 AIOps（Artificial Intelligence for IT Operations，智能运维） 是两个极为关键但经常被混用的概念。本文将从体系定位、核心目标、关键…
      技术落地
      • 0
      • 0
      探索X探索X
    • 可观测性

      可观测性

      AI 基础设施的可观测性AI 可观测性让工程师重新获得对智能系统的解释权，打破“黑箱”，实现全链路治理。AI 系统的行为并非由固定逻辑驱动，而是由大型模型、检索链路、工具决策和动态上下文共同作用。可观测性因此不再是“监控几个指标”，而是重建系统的可解释性。工程师需要一种方式，让模型推理、Agent 决策、检索来源、治理策略、成本路径共同进入同一可视化视野。从传统监控到 AI 可观测性AI 可观测性…
      技术落地
      • 0
      • 0
      探索X探索X
    • 工程实体

      工程实体

      AI 作为工程实体AI 工程实体的出现，正在重塑软件开发的边界，让人机协作成为主流工程范式。现代软件工程正在从“以人类工程师为中心的生产线”向“人机协作的多主体工程体系”转型。随着大语言模型（LLM, Large Language Model）能力的增强，AI 不再只是编辑器中的自动补全工具，而是逐渐具备了承担完整工程任务的能力，包括维护、重构、诊断、实现、审计与文档同步。这一转变的关键点在于：A…
      技术落地
      • 0
      • 0
      探索X探索X
    • 展望

      展望

      AI 原生展望AI 原生的本质，是系统形态与工程原则的整体重塑，而非技术清单的简单升级。AI 原生并不是对已有技术清单的再次汇总，而是对系统形态、工程原则与组织能力的整体重塑。本章的目的不在于重复前文，而是提供一个面向未来的体系化判断框架：当技术继续演化、应用进一步复杂化时，哪些变化是确定性的、不可逆的？哪些原则值得在工程和组织层面提前布局？本章围绕三个问题展开：AI 原生的发展将朝哪些方向演进？…
      技术落地
      • 0
      • 0
      探索X探索X
    • 云端可信推理

      云端可信推理

      云端可信推理：下一代 AI 安全与隐私基础设施云端可信推理的本质是重建信任边界，而非仅仅阻止攻击。只有全栈可验证、可隔离，AI 安全才能真正落地。AI 安全基础设施已不再局限于传统“应用与网络安全”的升级，而是一个跨设备、跨边界、跨云端推理栈的整体体系。大语言模型（LLM, Large Language Model）时代带来了新的攻击面、新的风险模型以及新的信任结构。企业需要从底层运行时、模型执行…
      技术落地
      • 0
      • 0
      探索X探索X
    • 平台化

      平台化

      企业级 AI 平台化与多智能体基础设施演进平台化的本质，是用系统工程思维重塑 AI 的可扩展性与协作边界。前言AI 的快速普及推动了企业从“功能性 AI 应用”迈向“平台化 AI 基础设施”的建设。与此同时，AI 原生平台工程（AI-Native Platform Engineering）作为云原生体系的自然演进，正引领企业以云原生方式演化、治理与优化 AI 系统。企业级 AI 平台化的核心目标，…
      技术落地
      • 0
      • 0
      探索X探索X
    • Hugging Face LoRA 微调

      Hugging Face LoRA 微调

      Hugging Face 的 Transformers 库结合 PEFT（Parameter-Efficient Fine-Tuning，参数高效微调）提供了便捷的接口来对大语言模型进行参数高效微调（PEFT）。其中，LoRA（Low-Rank Adaptation，低秩适配）是一种流行的 PEFT 方法，通过在预训练模型的部分权重上添加低秩矩阵实现微调，而非调整原模型的大量参数。这样可以大幅减少…
      技术落地
      • 2
      • 0
      探索X探索X
    • AI 原生应用架构简介

      AI 原生应用架构简介

      AI 原生应用（AI‑Native Applications）是一类以大语言模型（LLM）为认知与推理核心，并与云原生工程协同构建的智能系统。与传统嵌入式 AI 不同，AI 原生应用将模型能力上升为系统级驱动：模型负责理解与推理，Agent/工作流负责编排与执行，检索增强生成（RAG）、长期记忆与提示词工程负责保证上下文与知识的可用性，工具调用和网关则负责与外部系统和实时数据联通。其设计目标是把大…
      技术落地
      • 2
      • 0
      探索X探索X
    • SGLang 工程化与性能优化

      SGLang 工程化与性能优化

      作为一名具备部署和调优能力的 AI 工程师，本文将深入探讨 SGLang（Structured Generation Language）的工程实践与性能优化。我们将分别从推理服务能力、部署方案、性能评估与优化方法、常见错误与排障以及与 vLLM 的差异化对比五个方面展开。本指南旨在帮助您在实际项目中充分发挥 SGLang 的高性能推理与可控生成优势。推理服务能力详解SGLang 集“前端 DSL …
      技术落地
      • 8
      • 0
      探索X探索X
    • PyTorch 入门与性能分析

      PyTorch 入门与性能分析

      作为云原生从业者，大多数时间我们围绕着 Kubernetes、Istio、容器和微服务展开工作，但随着 AI 落地场景越来越多，我们的基础设施正逐渐支撑起机器学习训练和推理任务。本文从云原生工程师的视角出发，系统梳理 PyTorch（深度学习框架 PyTorch）/TensorFlow 的基本训练与推理逻辑，提供可运行的示例，并通过 torch.profiler + TensorBoard 分析性…
      技术落地
      • 2
      • 0
      探索X探索X
    • LLM 推理与调度实操

      LLM 推理与调度实操

      项目背景与架构说明在本地无 GPU 的 Mac Mini M4 上，如何通过 Orbstack 的本地 Kubernetes 环境部署一个大语言模型（LLM）问答服务？本方案选用 Ollama 作为模型加载与管理工具，FastAPI 提供 HTTP 接口，vLLM 负责推理调度。整体架构为：用户请求 → FastAPI 服务 → vLLM 推理引擎 → Ollama 本地模型 → 返回回答。Oll…
      技术落地
      • 0
      • 0
      探索X探索X
    • 本地开发环境搭建

      本地开发环境搭建

      选择合适的开发工具选择适合你的开发工具和集成开发环境（IDE）是第一步。常用的 IDE 包括 Visual Studio Code、PyCharm 和 Jupyter Notebook。确保安装必要的插件，如 Python 扩展、Git 集成等，以提升开发效率。安装必要的库和框架根据你的项目需求，安装相关的 AI 库和框架。例如，常用的深度学习框架有 TensorFlow、PyTorch 和 Ke…
      技术落地
      • 0
      • 0
      探索X探索X
    • SGLang 结构化输出与函数调用

      SGLang 结构化输出与函数调用

      SGLang 架构下图展示了 SGLang 的整体架构，帮助理解其分层设计和各模块的作用。【iframe defaul_iframe_type】https://assets.jimmysong.io/images/book/ai-handbook/playbook/sglang/daa284ac6f0a5e4f74e14bd6898ba456.svg图 1: SGLang 架构图SGLang 的分…
      技术落地
      • 0
      • 0
      探索X探索X
    • 应用开发模板

      应用开发模板

      快速上手git clone <repo> pip install -r requirements.txt vim config/model_config.yaml python examples/hello_agent.py示例：Research Agent一个简单的 research agent 用于检索文档并生成摘要：from .base_agent import BaseAgen…
      技术落地
      • 0
      • 0
      探索X探索X
    • 开源模型结构与微调实战

      开源模型结构与微调实战

      开源大模型不仅仅是“能看源码”，更是“可加载、可训练、可微调”的智能资产。理解其结构与微调流程，是 AI 时代开发者的必备能力。引言在 AI 时代，越来越多的大模型以开源形式发布，例如阿里巴巴的 Qwen3-4B-Instruct-2507。它是一款中英双语、指令微调（Instruct）版的通用语言模型，拥有约 40 亿参数，是学习和实践开源模型结构、加载与微调的绝佳案例。本章将以该模型为例，讲解…
      技术落地
      • 0
      • 0
      探索X探索X
    • 降低幻觉

      降低幻觉

      本文系统梳理了 RAG 与 Agent 应用中降低幻觉、提升可靠性与可追溯性的工程实践，涵盖来源归因、声明校验、检索回退、输出约束、可观测性、在线评测与运行时保护等关键环节，助力构建高可信 AI 系统。来源归因与回答限定在高可靠性 RAG 系统与 Agent 应用中，确保输出可追溯、基于证据是基础。以下措施可有效提升透明度：引用检索源与知识库：模型输出需附带来源标识（如文档编号、链接、原句摘录），…
      技术落地
      • 0
      • 0
      探索X探索X
    • MCP 案例研究

      MCP 案例研究

      MCP（Model Context Protocol）正在重塑智能体的能力边界，使模型具备直接操作外部系统的“动手能力”。本章节收录多个典型实践案例，展示 MCP 在不同垂直领域中的落地方式、架构模式与复用潜力。市场营销与内容自动化在市场营销场景下，MCP 能力组合实现了端到端的内容自动化。下方流程图展示了个性化邮件生成的典型架构：【iframe defaul_iframe_type】https:…
      技术落地
      • 3
      • 0
      探索X探索X
    • JSON-RPC

      JSON-RPC

      在 AI 协议体系中，消息格式既是通信的桥梁，也是生态兼容的关键。深入掌握模型上下文协议（MCP）的 JSON-RPC 消息结构，是构建稳健智能系统的第一步。消息模型概览MCP 采用 JSON-RPC 2.0（Remote Procedure Call, 远程过程调用）作为基础通信协议，定义三种核心消息类型。下表总结了各类型的用途与响应要求： 消息类型是否需要响应用途 Request是发起调用，期…
      技术落地
      • 0
      • 0
      探索X探索X
    • MCP 代码执行模式

      MCP 代码执行模式

      智能体的工程化进化，离不开代码执行模式的突破——让 AI 真正具备开发者级别的自治与扩展性。模型上下文协议（MCP, Model Context Protocol）代码执行模式正在重塑智能体架构，从“模型驱动”走向“代码驱动”。最初 MCP 主要用于标准化模型与外部工具的通信，但随着工具数量与复杂度提升，传统的直接调用工具（Direct Tool Call）模式逐渐暴露出效率与扩展性的极限。“代码…
      技术落地
      • 0
      • 0
      探索X探索X
    • MCP 协议架构

      MCP 协议架构

      MCP 的架构让模型与工具像操作系统调用一样安全、可组合、可观测，是智能体生态的底层基石。模型上下文协议（MCP, Model Context Protocol）定义了一个通用的通信标准，用于连接 大语言模型（LLM, Large Language Model） 与 外部系统能力（工具 / 资源 / 上下文）。它通过统一的协议结构与传输语义，让智能体具备安全、可组合、可观察的执行环境。本章将从架构…
      技术落地
      • 0
      • 0
      探索X探索X
    • MCP 集成

      MCP 集成

      MCP 的引入，让提示词工程从“经验配置”跃升为可审计、可治理的协议化系统，推动 AI 生态标准化。在 AI 系统中，提示词工程（Prompt Engineering）往往是上下文管理与外部工具调用的核心枢纽。Model Context Protocol（MCP, Model Context Protocol）通过标准化上下文描述与工具接口，使提示词工程从“经验式配置”转向“协议化协作”。本章节将…
      技术落地
      • 0
      • 0
      探索X探索X
    • 背景

      背景

      AI 生态正处于“工具孤岛”与“接口碎片化”的十字路口，MCP 协议的诞生为模型与外部世界建立了统一、可扩展的连接标准。N×M 问题：模型与工具的碎片化集成在早期的 AI 系统中，每个模型与外部系统都需要编写独立的适配层，形成所谓的 N×M 问题。当模型数量（N）和工具数量（M）增加时，开发复杂度呈指数级上升。下表总结了碎片化集成带来的典型症状： 症状描述 重复开发每新增一个工具或模型都需重新集成…
      技术落地
      • 0
      • 0
      探索X探索X
    ❯
    个人中心
    购物车
    优惠劵
    今日签到
    有新私信 私信列表
    搜索

    • 扫码打开当前页

    返回顶部