AI 实战指南与落地蓝图
拒绝纸上谈兵。聚焦企业级 Agent 架构、图工程编排、多模态流水线与高吞吐 RAG 优化的实战方法论。
全流程实战演练与训练总复盘:从预训练收官到 SFT 与 LoRA 落地
全流程实战大练兵与生命周期总复盘:基于 Intel Arc 130T 16GB GPU 与 46 万首纯诗语料,全面复盘 1,000 步预训练遥测指标(Loss、PPL、JIT 编译、7,000 tok/s 极速吞吐),演练 SFT 与 LoRA 实操,展示三大阶段模型同台终极大对决,并总结大模型工业级黄金军规。
Systematic Learning Tracks
体系化连续专栏
从零开始手搓大模型
不依赖任何高层黑盒库,纯使用 Python 与 PyTorch 从底层字节流和矩阵运算出发,端到端实现 BPE 分词、现代 Transformer 架构、内存映射二进制数据流水线、混合精度预训练引擎、自回归 KV-Cache 推理、SFT 指令微调与 LoRA 适配器,并在消费级显卡上完整闭环。
AI Agent 开发学习与面试指南
第一讲从「AI Agent 开发学习与面试指南:00-招聘需求与能力模型报告」开始
AI AGENT 入门教程
第一讲从「AI Agent 入门教程:01-基础概念、例子与技术背景」开始
AI 副业
第一讲从「AI 赋能内容创作:不露脸 YouTube 的系统化与高留存实战」开始
WorkBuddy 实战
第一讲从「WorkBuddy 实战:01-初识 WorkBuddy」开始
Curriculum
全部指南
- 01中级从零开始手搓大模型成本:免费
全流程实战演练与训练总复盘:从预训练收官到 SFT 与 LoRA 落地
全流程实战大练兵与生命周期总复盘:基于 Intel Arc 130T 16GB GPU 与 46 万首纯诗语料,全面复盘 1,000 步预训练遥测指标(Loss、PPL、JIT 编译、7,000 tok/s 极速吞吐),演练 SFT 与 LoRA 实操,展示三大阶段模型同台终极大对决,并总结大模型工业级黄金军规。
- 02进阶从零开始手搓大模型成本:免费
站在巨人的肩膀上:工业级 LoRA 微调与现代大模型双轨实战
工业级参数高效微调双轨实战:深入 LoRA 低秩矩阵分解内在秩数学假说,纯 PyTorch 手写 LoRALinear 旁路层与零扰动初始化,实行双轨实战——Track 1 本地 0.04B 原生手搓微调(仅改动 0.48% 参数)与 Track 2 阿里 Qwen2.5-1.5B 工业基模实战,并实现权重离线无损合并。
- 03进阶从零开始手搓大模型成本:免费
有监督指令微调 (SFT):让无监督基座听懂人话
彻底破解预训练基模“只会接龙、听不懂人话”的本质机密:解析 Prompt 掩码与 ignore_index=-100 隔离反传机制、工业级 Chat Template 与 special tokens 控制流、从 46 万首诗提纯 5 大维度 3 万条自然口语指令对,深入拆解 Meta LIMA 黄金法则(微调质量远重于数量),以及动态 Padding 与 Collate 算子手写实操。
- 04中级从零开始手搓大模型成本:免费
0.04B 全流程端到端实操贯通:从语料到写诗的闭环演练
手把手陪伴式实验课:在单机上完整跑通“语料清洗 -> BPE 词表训练 -> 二进制打包 -> 预训练点火 (7,000 tok/s) -> KV-Cache 交互生成”五幕闭环;深度解析词表从 8192 降至 4096 释放 2.1M 参数的工程思考、全状态断点续训 (Resume)、香农信息熵 Loss 下界真相,以及破解标点垄断与捷径学习的三大工业级重器。
- 05中级从零开始手搓大模型成本:免费
自回归推理与 KV-Cache 显存优化:打造毫秒级打字机
从零手写工业级大模型自回归推理引擎:剖析失忆金鱼 O(N^2) 重复计算灾难、KV-Cache 便签记忆法与 6.29MB 极致轻量显存账本、深入拆解解码采样四大黄金参数(重复惩罚、温度系数、Top-K 截断与 Top-P 核采样向右平移一位魔法),并结合 TextGenerator 实现丝滑终端流式打字机。
- 06中级从零开始手搓大模型成本:免费
工业级预训练引擎构建与训练优化:单卡驯服 0.04B 模型
手把手构建稳定、高效、不炸显存的现代预训练引擎:深度拆解交叉熵损失与困惑度 (PPL) 物理含义、AdamW 参数分组衰减机制 (解密 Norm 绝不可衰减之谜)、Warmup 预热与余弦退火学习率调度、AMP 自动混合精度结合 GradScaler 防下溢,以及梯度累积以单卡 1.8GB 极小显存模拟大 Batch Size 训练。
- 07中级从零开始手搓大模型成本:免费
工业级数据清洗与零拷贝流水线:喂饱 GPU 的二进制管道
彻底根治训练过程中的 GPU 饥饿难题:解析 uint16 二进制压缩将 3463 万 Token 语料压缩至 66MB、内存映射 (np.memmap) 与锁页内存 (pin_memory) 硬件 DMA 机制,深度剖析双重位移陷阱 (Double Shift Bug)、条件预训练特殊标记 Loss 掩码隔离,以及基于 MinHash 的海量古籍两级去重实践。
- 08中级从零开始手搓大模型成本:免费
现代 Transformer 架构纯数学推导与第一性原理 (数学附录)
高中生友好版的第一性原理数学推导:从平面向量与矩阵几何变换,到复数旋转与欧拉公式推导 RoPE、注意力方差缩放因子 1/sqrt(d_k) 的独立随机变量严密证明、Softmax 数值稳定性推导,以及极大似然估计与交叉熵损失的数学同构。
- 09进阶从零开始手搓大模型成本:免费
从零手写现代 Transformer 架构:构建 0.04B 的思考中枢
深度拆解现代 Transformer 四大核心发动机:彻底摒弃传统 Post-LN 与绝对位置编码,从零手写 RMSNorm 音量平衡器、RoPE 旋转位置编码、SwiGLU 双通道门控网络与 GQA (8Q:2KV) 分组查询注意力,并完整组装 3593 万参数的 MiniLLaMA 语言模型。
- 10中级从零开始手搓大模型成本:免费
从零手写 Byte-Level BPE 分词器:开启通向大语言模型的第一道门
不依赖 HuggingFace tokenizers,纯使用 Python 从底层 UTF-8 字节流出发手写工业级 Byte-Level BPE 分词器:解析 256 原子字节零 OOV 机制、纸上推演 Pair 统计合并、标点吸附正则 (Fused Punctuation) 解决 93% 孤立标点震荡,并实现特殊标记原子级提取保护。
- 11入门从零开始手搓大模型成本:免费
0.04B 模型规格设计、数学建模与新手认知建立
深入剖析 0.04B (35.93M 参数量) 现代自回归大模型的整体设计蓝图:解析条件概率数学建模、3600 万调音台旋钮比喻、Chinchilla 缩放律与 1:1 数据饱和配比,逐层推导张量形状流转、3593 万参数精确账本、AdamW 显存占用机制与训练 FLOPs 算力预估。
- 12入门从零开始手搓大模型成本:免费
从零手搓大模型:0.04B (36M) LLM 端到端全栈实战全景
不依赖任何高层黑盒库,纯使用 Python 与 PyTorch 从底层字节流和矩阵运算出发,端到端实现 BPE 分词、现代 Transformer 架构、内存映射二进制数据流水线、混合精度预训练引擎、自回归 KV-Cache 推理、SFT 指令微调与 LoRA 适配器,并在消费级显卡上完整闭环。
- 13进阶成本:免费
从 0-Token 规则快轨到多维评估图:企业级 Agent 双轨制意图路由深度解构
全面剖析企业级 AI Agent 在意图识别与工具路由中的延迟瓶颈与漂移风险,详解结合 0-Token 确定性规则快轨(Fast-Path)与多维评估图慢轨(Slow-Path)的双轨制路由架构设计、特异度冲突仲裁、超时熔断与 Python 生产级实战代码。
- 14中级成本:免费
Agent 调用工具还是写代码执行:Code-as-Action 简析
Code-as-Action(代码即动作)将 Agent 的工具调用与决策链路统一建模为可执行 Python 代码。本文系统解析 CodeAct 核心机制、执行循环、上下文屏蔽、自愈调试与代码沙箱安全防御体系,结合 SWE-bench Verified 与 LiveCodeBench 等前沿模型选型,帮助开发者搭建高表达力、低 Token 消耗与强确定性的新一代 Agent 运行时。
- 15进阶成本:免费
独立小分类器探索:Qwen LoRA 与 BGE 实测
本文开篇区分性能问题与实际基模:实验对象是本机可训练的 Qwen3-0.6B 与 BGE-small-zh-v1.5。文章按轮次说明 V1 到 V4 的改动、效果、问题分析和下一轮依据,并汇总最终质量与性能;最终选型仍需独立盲测。
- 16中级成本:免费ChromaPineconeMilvus
如何构建向量存储
向量存储是构建高维语义检索与非结构化数据基础设施的首要步骤。本文系统梳理从异构文档加载、语义化文本切分、Embedding 模型编码到向量数据库对比分析(含 Chroma、Pinecone、Milvus、FAISS、Annoy 与 sqlite-vector)的核心机制,帮助开发者搭建高可靠、低延迟的相似度检索基础设施。
- 17中级成本:免费
Agent 与 Harness 的区别
深度对比 AI Agent 认知大脑与 Harness 运行底盘的架构定位、动态滑动光谱与交叉协同机制,涵盖状态与记忆管理、控制流与规划权让渡、代码生成与动态工具、多层纵深安全防御以及工程边界决策准则。
- 18中级成本:免费CodeGraph
CodeGraph 使用教程
介绍 CodeGraph 的安装、项目索引、MCP 接入与核心查询方法,并给出改动影响分析、测试筛选、自动同步和常见故障处理流程。
- 19中级成本:免费Spec KitOpenSpec
Spec Kit 与 OpenSpec 选型对比指南
深入对比 GitHub 团队开源的 Spec Kit 与 Fission AI 推出的 OpenSpec,从规范驱动开发(SDD)核心理念、架构设计、增量规范机制与项目阶段等维度提供详细的选型指南。
- 20中级成本:免费Voicebox 本地 AI 语音工作室
平替 ElevenLabs:开源本地 AI 语音工作室 Voicebox 完全上手指南
Voicebox 是一款免费开源的本地 AI 语音工作室软件,支持 5 秒声音克隆、文字转语音、多轨播客创作及全局语音听写。本文详细介绍该软件的安装启动、音色克隆、多轨创作与听写使用方法。
- 21中级成本:免费dbskillrnskillIndexTTS2
55 个开源 AI 视频 Skill 全解析:全流程自动化流水线与实战指南
完整梳理 55 个开源 AI 视频 Skill 的 12 层架构与工作流程,解析自动与独立诊断机制,并提供从提示词到成片的自动化生产实战指南与速查表。
- 22中级成本:免费HyperFramesRemotion
代码视频框架选型:HyperFrames 与 Remotion 深度对比与决策指南
针对 AI 视频生成与代码剪辑场景,深入解析 HyperFrames 与 Remotion 的底层渲染架构、Agent 适配度、原生视频合成与性能表现,并提供按需选型决策树。
- 23中级成本:免费AnthropicClaude Opus 5
Claude 5 上下文工程新法则:极简 Prompt、按需加载与能力解绑
结合 Anthropic 技术团队在 Claude Code 中的实战总结,阐述 Claude 5 时代上下文工程的核心转变:删减 80% 提示词规则、从死规矩转向原生判断力、采用极简 Prompt 与渐进式上下文加载。
- 24中级成本:免费
Agent Harness、Loop 与 Graph:三类工程架构辨析
本文区分 Agent Harness、Loop Engineering 与 Graph Engineering 的职责边界,并用原文 7 张图片中的结构和案例说明三者如何协作。读者可按故障类型判断应调整运行环境、反馈循环还是显式工作流。