文章
文章用户商铺文档快讯圈子网址导航
全部标签

技术落地

    • 开源模型结构与微调实战

      开源模型结构与微调实战

      开源大模型不仅仅是“能看源码”，更是“可加载、可训练、可微调”的智能资产。理解其结构与微调流程，是 AI 时代开发者的必备能力。引言在 AI 时代，越来越多的大模型以开源形式发布，例如阿里巴巴的 Qwen3-4B-Instruct-2507。它是一款中英双语、指令微调（Instruct）版的通用语言模型，拥有约 40 亿参数，是学习和实践开源模型结构、加载与微调的绝佳案例。本章将以该模型为例，讲解…
      技术落地
      • 0
      • 0
      探索X探索X
    • 降低幻觉

      降低幻觉

      本文系统梳理了 RAG 与 Agent 应用中降低幻觉、提升可靠性与可追溯性的工程实践，涵盖来源归因、声明校验、检索回退、输出约束、可观测性、在线评测与运行时保护等关键环节，助力构建高可信 AI 系统。来源归因与回答限定在高可靠性 RAG 系统与 Agent 应用中，确保输出可追溯、基于证据是基础。以下措施可有效提升透明度：引用检索源与知识库：模型输出需附带来源标识（如文档编号、链接、原句摘录），…
      技术落地
      • 0
      • 0
      探索X探索X
    • MCP 案例研究

      MCP 案例研究

      TL;DR：MCP（Model Context Protocol）正在重塑智能体的能力边界，使模型具备直接操作外部系统的“动手能力”。本章节收录多个典型实践案例，展示 MCP 在不同垂直领域中的落地方式、架构模式与复用潜力。 MCP（Model Context Protocol）正在重塑智能体的能力边界，使模型具备直接操作外部系统的“动手能力”。本章节收录多个典型实践案例，展示 MCP 在不同垂直…
      技术落地
      • 3
      • 0
      探索X探索X
    • JSON-RPC

      JSON-RPC

      TL;DR：在 AI 协议体系中，消息格式既是通信的桥梁，也是生态兼容的关键。深入掌握模型上下文协议（MCP）的 JSON-RPC 消息结构，是构建稳健智能系统的第一步。 在 AI 协议体系中，消息格式既是通信的桥梁，也是生态兼容的关键。深入掌握模型上下文协议（MCP）的 JSON-RPC 消息结构，是构建稳健智能系统的第一步。消息模型概览MCP 采用 JSON-RPC 2.0（Remote Pr…
      技术落地
      • 0
      • 0
      探索X探索X
    • MCP 代码执行模式

      MCP 代码执行模式

      TL;DR：智能体的工程化进化，离不开代码执行模式的突破——让 AI 真正具备开发者级别的自治与扩展性。 智能体的工程化进化，离不开代码执行模式的突破——让 AI 真正具备开发者级别的自治与扩展性。模型上下文协议（MCP, Model Context Protocol）代码执行模式正在重塑智能体架构，从“模型驱动”走向“代码驱动”。最初 MCP 主要用于标准化模型与外部工具的通信，但随着工具数量与…
      技术落地
      • 0
      • 0
      探索X探索X
    • MCP 协议架构

      MCP 协议架构

      TL;DR：MCP 的架构让模型与工具像操作系统调用一样安全、可组合、可观测，是智能体生态的底层基石。 MCP 的架构让模型与工具像操作系统调用一样安全、可组合、可观测，是智能体生态的底层基石。模型上下文协议（MCP, Model Context Protocol）定义了一个通用的通信标准，用于连接 大语言模型（LLM, Large Language Model） 与 外部系统能力（工具 / 资源…
      技术落地
      • 0
      • 0
      探索X探索X
    • MCP 集成

      MCP 集成

      TL;DR：MCP 的引入，让提示词工程从“经验配置”跃升为可审计、可治理的协议化系统，推动 AI 生态标准化。 MCP 的引入，让提示词工程从“经验配置”跃升为可审计、可治理的协议化系统，推动 AI 生态标准化。在 AI 系统中，提示词工程（Prompt Engineering）往往是上下文管理与外部工具调用的核心枢纽。Model Context Protocol（MCP, Model Cont…
      技术落地
      • 0
      • 0
      探索X探索X
    • 背景

      背景

      TL;DR：AI 生态正处于“工具孤岛”与“接口碎片化”的十字路口，MCP 协议的诞生为模型与外部世界建立了统一、可扩展的连接标准。 AI 生态正处于“工具孤岛”与“接口碎片化”的十字路口，MCP 协议的诞生为模型与外部世界建立了统一、可扩展的连接标准。N×M 问题：模型与工具的碎片化集成在早期的 AI 系统中，每个模型与外部系统都需要编写独立的适配层，形成所谓的 N×M 问题。当模型数量（N）和…
      技术落地
      • 0
      • 0
      探索X探索X
    • MCP 概述

      MCP 概述

      TL;DR：模型上下文协议（MCP, Model Context Protocol） 是一种为 AI 模型设计的通用上下文通信协议。它让模型与外部工具、数据资源和运行环境之间建立一个统一、安全、可扩展的接口。 模型上下文协议（MCP, Model Context Protocol） 是一种为 AI 模型设计的通用上下文通信协议。它让模型与外部工具、数据资源和运行环境之间建立一个统一、安全、可扩展的…
      技术落地
      • 0
      • 0
      探索X探索X
    • 生态系统

      生态系统

      TL;DR：MCP（Model Context Protocol）生态的快速发展，标志着 AI 应用层的标准化阶段已经到来。该协议不仅是一种通信机制，更是一个能力市场（Capability Marketplace）：任何工具、资源或提示模板，都可以在统… MCP（Model Context Protocol）生态的快速发展，标志着 AI 应用层的标准化阶段已经到来。该协议不仅是一种通信机制，更是一…
      技术落地
      • 2
      • 0
      探索X探索X
    • 未来趋势

      未来趋势

      TL;DR：Model Context Protocol（MCP, Model Context Protocol）不仅是一项协议，更是一种生态层标准。 Model Context Protocol（MCP, Model Context Protocol）不仅是一项协议，更是一种生态层标准。它将模型与外部工具的交互抽象为统一的上下文协议，使 AI 系统在执行任务时具备“调用、协作与自适应”的能力。这…
      技术落地
      • 0
      • 0
      探索X探索X
    • 提示词工程最佳实践

      提示词工程最佳实践

      TL;DR：高质量提示词是 AI 应用工程的“隐形代码层”，结构化与工程化管理是持续优化的关键。 高质量提示词是 AI 应用工程的“隐形代码层”，结构化与工程化管理是持续优化的关键。在 AI 应用开发过程中，提示词设计已成为决定模型输出质量与开发效率的核心环节。通过系统化原则、结构化方法和工程化流程，开发者能够显著提升提示词的专业性和可维护性。提示词设计核心原则下表总结了提示词设计的三大核心原则，…
      技术落地
      • 2
      • 0
      探索X探索X
    • 本地推理服务

      本地推理服务

      TL;DR：本地大模型推理不再遥不可及，vLLM 让你的 Mac 也能拥有“专属 GPT”，高效、安全、完全自主。 使用 vLLM 部署本地推理服务本地大模型推理不再遥不可及，vLLM 让你的 Mac 也能拥有“专属 GPT”，高效、安全、完全自主。注意vLLM 可作为生产级部署，本文只是对其的基本演示，未进行调优。在本书中的其余部分推荐使用 LM Studio 运行本地大模型。本节我们将在 Ma…
      技术落地
      • 0
      • 0
      探索X探索X
    • 部署与性能优化

      部署与性能优化

      TL;DR：vLLM 正在重塑大模型推理服务的生产范式，让本地化部署与极致性能兼得。如何用好它，决定了你的 AI 系统能否领先一步。 vLLM 部署与性能优化完整指南（Kubernetes 下部署 Qwen/Ollama 模型 & RAG 集成）vLLM 正在重塑大模型推理服务的生产范式，让本地化部署与极致性能兼得。如何用好它，决定了你的 AI 系统能否领先一步。本文系统梳理了 vLLM …
      技术落地
      • 0
      • 0
      探索X探索X
    • 推理加速

      推理加速

      TL;DR：vLLM 把 LLM 推理当成资源调度问题来做，而不是“算一次就完事的前向传播”。 推理加速：为什么 vLLM 比 HuggingFace 快这么多？vLLM 把 LLM 推理当成资源调度问题来做，而不是“算一次就完事的前向传播”。 LLM 推理的核心瓶颈是什么？大语言模型（LLM, Large Language Model）推理的性能瓶颈主要体现在以下几个方面：注意力计算（Q × K…
      技术落地
      • 0
      • 0
      探索X探索X
    • 上下文工程简介

      上下文工程简介

      TL;DR：上下文工程决定了大语言模型（LLM, Large Language Model）能否真正理解世界、持续进化，是智能系统架构的核心突破口。 上下文工程简介上下文工程决定了大语言模型（LLM, Large Language Model）能否真正理解世界、持续进化，是智能系统架构的核心突破口。Session ≠ Context：上下文工程的前提假设讨论上下文工程之前，必须先做一次概念校准：S…
      技术落地
      • 0
      • 0
      探索X探索X
    • 可信性与评测

      可信性与评测

      TL;DR：只有可评估、可控的输出，才能让 AI 真正走进生产环境。本文聚焦输出可信性与评测体系的落地实践。 输出控制、可信性与评测体系只有可评估、可控的输出，才能让 AI 真正走进生产环境。本文聚焦输出可信性与评测体系的落地实践。评估方法与指标体系在构建了上下文检索（Retrieval）和记忆机制（Memory）后，建立科学的评估体系成为衡量系统性能的关键。本节将介绍常用的评估方法和指标，涵盖检…
      技术落地
      • 0
      • 0
      探索X探索X
    • 上下文建模

      上下文建模

      TL;DR：谁掌控了上下文，谁就掌控了智能的边界。本文聚焦上下文工程的核心挑战与创新实践，助你构建更可信赖的 AI 系统。 上下文建模与检索谁掌控了上下文，谁就掌控了智能的边界。本文聚焦上下文工程的核心挑战与创新实践，助你构建更可信赖的 AI 系统。上下文建模方法论在 RAG（Retrieval-Augmented Generation，检索增强生成）与 Agent（智能体）系统中，“上下文”指模…
      技术落地
      • 2
      • 0
      探索X探索X
    • 生命周期与编译模型

      生命周期与编译模型

      TL;DR：上下文工程的本质不是“模型能看到多少 Token”，而是如何让智能体系统的上下文在生命周期内有序演进、收敛和淘汰。 上下文生命周期与编译模型上下文工程的本质不是“模型能看到多少 Token”，而是如何让智能体系统的上下文在生命周期内有序演进、收敛和淘汰。在长期运行、具备自治能力的智能体系统中，缺乏系统化的生命周期管理会导致上下文膨胀、退化甚至失控。本章将上下文视为一种工程对象，提出可落…
      技术落地
      • 0
      • 0
      探索X探索X
    • 实时上下文

      实时上下文

      TL;DR：当前大多数 AI 系统虽然具备一定的语义理解能力，但本质上仍属于静态智能。它们主要依赖离线训练或周期性批量更新，难以及时感知实时事件流，因此在电商、金融风控、物 real-time/in 联网监控等快速变化的业务场景中，往往反应迟钝。 实时上下文让 AI 拥有“现在感”，是智能系统进化的分水岭。为什么需要实时上下文当前大多数 AI 系统虽然具备一定的语义理解能力，但本质上仍属于静态智能…
      技术落地
      • 0
      • 0
      探索X探索X
    • 输出配置

      输出配置

      TL;DR：输出参数决定了 LLM 的“边界与风格”，工程化配置是高质量 AI 产出的关键。 输出参数决定了 LLM 的“边界与风格”，工程化配置是高质量 AI 产出的关键。在大语言模型（LLM, Large Language Model）应用中，输出行为并非仅由模型本身决定，而是由一组可调参数共同塑造。提示词（Prompt）定义任务意图，输出参数则决定生成边界。工程系统中，输出参数与提示词同等重…
      技术落地
      • 364
      • 0
      探索X探索X
    • Jinja2 提示词模板

      Jinja2 提示词模板

      TL;DR：Jinja2 让提示词工程从“手写字符串”迈向可维护、可协作的工业级模板化体系，是 AI 应用工程化的关键。 Jinja2 让提示词工程从“手写字符串”迈向可维护、可协作的工业级模板化体系，是 AI 应用工程化的关键。模板化是提示词工程迈向工程化、规范化和可维护性的核心机制。随着大语言模型（LLM, Large Language Model）应用从简单对话扩展到 RAG、Agent、多…
      技术落地
      • 0
      • 0
      探索X探索X
    • PromptOps 工作流实践

      PromptOps 工作流实践

      TL;DR：真正的 PromptOps，不只是工具链，更是团队协作和知识沉淀的加速器，让提示词成为可追踪、可验证的工程资产。 真正的 PromptOps，不只是工具链，更是团队协作和知识沉淀的加速器，让提示词成为可追踪、可验证的工程资产。PromptOps 是将提示词工程纳入软件开发生命周期（SDLC, Software Development Lifecycle）的关键环节。它让提示词（Prom…
      技术落地
      • 0
      • 0
      探索X探索X
    • 高级技巧

      高级技巧

      TL;DR：真正的提示词工程，是让每一次模型交互都可复现、可评估、可协作，而不是一次性的“灵感产物”。 真正的提示词工程，是让每一次模型交互都可复现、可评估、可协作，而不是一次性的“灵感产物”。提示词工程（Prompt Engineering）核心在于：让模型理解、约束并稳定地产出你预期的结果。本章将从结构化写作、认知框架、实用技巧到常见陷阱，系统性总结高级提示词设计方法，帮助构建可复现、可维护、…
      技术落地
      • 0
      • 0
      探索X探索X
    ❯
    个人中心
    购物车
    优惠劵
    今日签到
    有新私信 私信列表
    搜索
    • VergeX｜科技前沿

      扫码打开当前页

    返回顶部