技术百科 今日: 0|主题: 181|排名: 10 

一、什么是大模型私有部署 通俗生活化类比公有云 API：机场共享充电宝，拿来就能用，但你无法掌控内部电路、数据流向。私有部署：企业自己购置的整套发电供电系统，电力全部在自家管控范围内，可以自主调度使用。 私有部署定义：把大模型推理服务、向量数据库、RAG 知识库整套 AI 组件，运行在企业完全管控的基础设施之中 ...

一、到底什么是模型跑分？ 模型跑分，行业也叫 Benchmark 评测，可以理解为给 AI 做一场标准化考试体检。 测试机构准备一套固定的测试题库，包含数学、逻辑、代码、阅读理解、多轮对话等各类题目，把题目输入给大模型，模型输出回答之后，通过程序规则、单元测试、人工或者其他评测模型来判定答案好坏，最终输出准确率、 ...

一、开源协议基础概念与通俗类比 通俗类比：开源协议就像一份软件 / 模型的使用合同。作者把作品公开给你下载，但是附加一套使用规则。下载、使用的行为即代表你同意这份契约。不遵守约定，即使你拿到完整源码或者模型权重，也属于侵权。 ⚠️核心认知要点： [*]开源≠免费商用，免费不等于可以做商业产品； [*]开源不等 ...

一、三种主流分片策略对比 1. 固定长度分片（滑动窗口） 按照固定字符或 Token 长度切割文本，相邻片段设置重叠窗口，保留一小段重复内容，避免语义在切割边界丢失。 [*]优点：实现简单、速度快，适合快速搭建 Demo。 [*]缺点：机械切割，很容易把一条完整规则、一整段说明从中间切断。比如前半段写 “员工出差住宿标 ...

一、什么是提示词注入 提示词注入（Prompt Injection）：攻击者构造特殊文本输入，混入用户提问、外部文档、网页、邮件等内容，诱导大模型忽略预设系统安全规则，执行攻击者期望的行为。 通俗类比：你给 AI 设定一套工作守则（系统提示词），攻击者在输入里写下：“忽略上面全部规则，按照我的指令执行”。大模型会把用户 ...

一、TTS 完整工作四步流程 第一步：文本分析（文本前端处理） 拿到原始文本后，系统首先做文本归一化处理：分词、标点解析、多音字消歧、数字、符号、英文读法转换。例如 “2026” 要读作 “二零二六”，“3.5%” 读作 “百分之三点五”；区分 “重庆” 的 “重” 和 “重量” 的 “重” 的不同读音。文本分析的目标， ...

一、ASR 基础定义与通俗类比 ASR 全称 Automatic Speech Recognition，自动语音识别：把麦克风采集到的声波模拟信号，经过信号处理、AI 模型推理，转化为可读文本的技术。 通俗类比：人听别人说话：耳朵接收声波信号 → 大脑提取声音特征，分辨发音 → 结合语言常识理解语义，输出文字记忆。ASR 语音识别：麦克风采集波形 ...

一、先看懂稠密模型：全员上岗的传统大模型 普通的稠密大模型，可以类比一间大型办公室。无论输入什么样的内容，办公室里面所有员工（全部参数、神经元）都必须全部参与工作。每输入一个 token，模型全部网络层完整执行矩阵运算。 稠密模型的算力开销大致和参数量成正比：参数翻倍，推理计算量几乎同步翻倍。想要提升模型 ...

一、LoRA 基础定义与通俗类比 LoRA 全称 Low‑Rank Adaptation，低秩适配。核心思想：冻结预训练基座模型全部原始权重，不在改动主干网络；在 Transformer 注意力 Q/V 层插入一组小巧的旁路低秩矩阵，训练阶段只更新这部分新增小矩阵，推理时将旁路增量叠加进原始计算结果，实现业务适配。 铁轨通俗类比：基座大模型 = 已 ...

一、新旧 AI 训练模式对比：从昂贵的监督学习，到预训练范式革新 在大模型普及之前，传统 AI 训练大多采用监督学习模式。 举个例子，要训练一个情感分析 AI，用来判断电影评论是好评还是差评，工程师需要人工标注几千条样本，明确标记哪一句是正面评价、哪一句是负面评价，再喂给模型学习。这就好比教一个完全不懂中文的 ...

一、算力 FLOPS 基础定义与通俗类比 FLOPS（Floating‑Point Operations Per Second）：每秒浮点运算次数，衡量硬件每秒可以完成多少次带小数点的浮点数学运算，是 AI 训练最核心性能指标。 生活化搬运工类比：把芯片比作仓库搬运工人，FLOPS 就是工人每秒可以搬运货物的次数，代表干活速度；而 FLOPs（不带 S）代表总的 ...

[*] 一、单卡的物理天花板：再强的 GPU 也有显存限制 即便目前业界顶尖的 GPU，例如英伟达 H100，算力性能非常强悍，但硬件存在无法突破的物理约束 ——显存容量有限，常见版本仅 80GB HBM 显存GitHub。 千亿参数大模型，仅仅模型本身参数就要占用数百 GB 存储空间，训练过程还会产生梯度、激活值、优化器状态等海量中间 ...

一、NPU 基础定义与生活化类比 NPU 全称 Neural‑Processing‑Unit，神经网络处理器，是专门面向神经网络运算设计的专用硬件加速器，专门优化矩阵乘加（MAC）运算，也就是 AI 推理最核心的计算操作。 装修队通俗类比： [*]CPU：全能老师傅，擅长复杂逻辑、分支判断，什么活都能干，但批量重复手工运算效率很低。 [*]GPU ...

导语 一、SDK 基础定义与生活化类比 SDK 全称Software Development Kit 软件开发工具包，是厂商配套提供的一体化开发工具集合，并非单一依赖包。生活化类比：API = 商家对外服务窗口；SDK = 完整上门安装工具箱，包含螺丝刀（代码库）、说明书（文档）、样板（Demo）、调试工具，不用自己研究窗口通信规则。完整 SDK 四 ...

前言 一、什么是热重载？核心解决什么开发痛点 1. 基础定义 热重载是前端开发服务器配套的实时更新机制：修改源码保存后，浏览器自动同步最新代码效果，无需手动刷新页面、重启项目。如果没有热重载，每次调整样式、组件逻辑都要切换浏览器、手动刷新、重新填写表单、跳转对应页面，大量时间浪费在重复操作上，热重载大 ...

导语 一、分库分表诞生背景：单库单表四大性能瓶颈 初期 AI 项目数据量小，单数据库、单数据表开发简单、调试便捷；业务爆发后会遭遇无法规避的硬件与架构上限： [*]存储容量上限：单台服务器磁盘空间有限，对话日志、百万份文档向量关系表持续膨胀，磁盘占满无法写入； [*]IO 与 CPU 瓶颈：千万级数据表查询、批量插入 ...

前言 一、什么是数据库事务？为什么必须用事务？ 1. 事务核心定义 事务是一组关联数据库操作的最小执行单元，数据库会把多条 SQL 打包成一个不可分割的整体，执行结果只有两种：全部成功生效，或全部撤销回滚，不存在 “执行一半” 的中间状态。 2. 无事务会引发灾难性数据错乱（经典转账案例） 场景：你给好友转账 100 ...

导语     SQL 注入常年稳居 OWASP Top10 高危漏洞榜首，企业知识库、Text-to-SQL 智能问答、后台管理系统一旦存在该漏洞，攻击者仅通过登录框、搜索框简单特殊字符，就能批量窃取用户隐私、篡改订单数据、清空整库，甚至接管服务器。很多 AI 开发者搭建 RAG、自然语言查数平台时，忽略 LLM 生成 SQL 带来新 ...

前言 一、什么是数据库锁？为什么必须有锁？ 1. 无锁会发生什么？脏写问题 举个工作场景：公司预算表余额 5000 元，员工 A、员工 B 同时打开表格填写报销： [*]A 扣除 3000，预期余额 2000 [*]B 扣除 4000，预期余额 1000两人同时读取原始余额 5000，先后保存，最终只会保留后一次修改，前面的扣款直接丢失，数据逻辑完 ...

导语 一、索引通俗定义与书籍目录类比 索引是数据库 / 向量库单独维护的有序结构化检索目录，核心作用：用额外磁盘空间、小幅写入性能损耗，换取百倍级查询速度提升。生活化类比：一本几百页业务手册，无索引需要逐页翻找（全表扫描）；建立关键词目录后，直接定位目标页码，跳过海量无关内容。无索引痛点：千万级数据表 ...

前言 一、什么是 NoSQL？纠正两大常见误区 1. NoSQL 真实含义 NoSQL 全称 Not Only SQL（不仅仅是 SQL），并非 “抛弃 SQL”，而是一类无固定表结构、分布式友好的非关系型数据库统称，是对传统关系数据库的补充，而非替代CSDN博...。 2. 关系型数据库（SQL）核心特点 传统 MySQL、Oracle 属于关系型数据库，核心是 ...

导语         开发 AI 网页对话、前端 RAG 知识库、数字人交互页面时，浏览器控制台高频出现No 'Access-Control-Allow-Origin'跨域报错：Network 面板明明能拿到接口 200 返回数据，但 JS 代码无法读取结果，流式 SSE 打字直接中断。很多新手只加单一跨域响应头，忽略 OPTIONS 预检请求、SSE 长连 ...

前言      如果你从事后端开发、服务器运维、云计算相关工作，SSH 是绕不开的基础工具。云服务器、机房物理机大多无显示器、键鼠，我们只能通过网络远程操作；早期 Telnet 明文传输极易泄露账号密码，而 SSH 凭借全链路加密、多认证方式、文件传输、隧道转发、跳板机管控等能力，成为全球运维人员统一标准。 ...

一、Shell 核心定义：内核与用户的中间翻译层 三层核心关系（餐厅通俗类比） [*]操作系统内核（Kernel）= 后厨：直接管理 CPU、GPU、内存、硬盘、网络硬件，普通人无法直接下发底层硬件指令； [*]Shell（壳程序）= 服务员：命令解释器，接收人类文字指令，翻译成内核可执行系统调用，执行完成后返回结果； [*]Terminal ...

一、核心基础：什么是 “源”？同源判定三要素 浏览器判定两个 URL 是否属于同一源，必须同时满足协议、域名、端口三者完全一致，任意一项不同，即判定为跨域稀土掘金。 判定规则示例 [*]页面：https://localhost:3000 接口：https://localhost:8080 → 端口不同，跨域 [*]页面：http://shop.com 接口：https://shop.co ...

一、JSON 基础定义与通俗类比 JSON 全称JavaScript Object Notation（JavaScript 对象标记语言），是跨语言通用纯文本结构化数据交换标准，不受编程语言限制，Python/Java/Go/ 前端 JS、各类大模型 API 全部原生支持。生活化类比：JSON 相当于通用标准化快递清单，统一规范物品名称、数量、分类，不管哪个仓库（程序）都 ...

一、基础定义：什么是 Function Calling？ Function Calling 是大语言模型专用标准化交互机制，核心分为两层分工： [*]大模型（决策层）：基于对话上下文判断用户需求，自动输出JSON 结构化调用指令，明确需要调用的工具名称、入参、使用顺序；模型仅输出请求意图，不执行任何真实操作。 [*]应用服务（执行层）：后端程 ...

一、流式输出底层本质：模型天生逐 Token 生成 生活化类比 [*]非阻塞一次性返回（传统接口）：厨师做完一整桌菜再全部端上桌，用户长时间空白加载； [*]流式输出：开放式厨房，做好一道菜立刻送上，用户几秒就能看到首段文字，等待感知大幅降低。 核心底层逻辑：大模型采用自回归生成机制，无法一次性输出完整文本。每 ...

一、基础概念：HTTP 与 HTTPS 到底是什么？ 1. HTTP（超文本传输协议） 全称 HyperText Transfer Protocol，是互联网应用层基础通信规范，定义浏览器、客户端如何向服务器发起请求、服务器如何返回网页、图片、接口数据、状态码（200 成功 / 404 不存在 / 500 服务异常等）。 [*]传输特性：纯明文传输，无任何加密保护 ...

一、Token 基础定义与 Tokenizer 分词原理 通俗类比 文字是人类语言，Token 是大模型唯一能识别的最小计算单元，Tokenizer 分词器相当于翻译官，把中文、英文、代码、符号拆成标准化数字 ID 送入神经网络计算。不要简单等价于汉字 / 单词： [*]高频中文词汇（人工智能）常合并为 1 个 Token； [*]生僻字、长英文单词、J ...

一、基础概念定义：API 面向程序，MCP 面向大模型智能体 1. API（Application Programming Interface，应用程序编程接口） API 是软件之间约定的静态通信契约，以 REST、HTTP 为主流实现形式。开发者提前查阅接口文档，硬编码请求地址、入参格式、鉴权规则，由应用程序主动发起固定请求，获取单次响应结果。 [*]核心定 ...

一、运行时环境基础定义与生活化类比 运行时环境：静态源码无法独立执行，程序启动后完整依赖的全套执行支撑体系，包含解释器 / 虚拟机、硬件驱动、依赖库、系统权限、环境变量、外部中间件。生活化厨房类比： [*]业务代码 = 一份菜谱（仅有文字逻辑，无法做菜） [*]运行时环境 = 完整厨房：燃气灶（CPU/GPU）、锅具（解 ...

一、为什么需要模型蒸馏？大模型落地的天然矛盾 主流大模型（30B/70B 参数）性能强大，但部署门槛极高： [*]算力资源消耗大：单次推理占用数十 GB 显存，大规模并发场景需要采购大量高端 GPU，企业 API 调用成本居高不下；据阿里云行业测算，百万级日活客服系统，直接调用千亿大模型 API 的月度成本可达数十万。 [*]推理 ...

一、基础概念：缓存、缓存命中、KV 缓存到底是什么 1. 通用缓存通俗类比 缓存是计算机通用加速方案，相当于临时储物货架：重复使用的数据提前计算并存储，二次调用无需重复运算，直接读取复用。 [*]缓存命中：本次请求的内容在缓存中已存在，直接复用计算结果； [*]缓存未命中：无历史缓存记录，需要完整从头运算，消耗 ...

一、Embedding 基础定义与生活化类比 Embedding（嵌入 / 向量）：将文字、图片、音频、商品等人类可读非结构化信息，转化为一组固定长度浮点数字（高维向量），搭建可计算的语义数学空间。生活化地图类比：整个语义世界是一张数百维巨型地图；每一句话、词语、图片对应空间里一个坐标点；语义含义越接近的内容，坐标距离 ...

一、微调基础定义：不用从零造模型，给通用大模型定向 “岗前培训” 1. 通俗解释 微调全称模型微调 Fine-tuning：以已经完成海量公开数据预训练的通用大模型为底座，使用企业自有私有数据、标准问答、业务规范、行业案例继续二次训练，小幅调整模型内部参数，让模型深度适配垂直领域业务逻辑、专业术语、固定输出格式与 ...