LLM学习笔记

前言

为什么开始学这个

2022年底ChatGPT出来的时候，我也跟风试了试，主要就是拿来问问题、帮忙写作业啥的。作为城市规划专业的学生，发现确实挺好用——整理文献、分析政策、写大纲，效率提升不少。

但慢慢发现，光是用现成的ChatGPT做做问答、整理整理材料，实在有点浪费这个技术的潜力。现在都2025年了，各种新技术层出不穷，LLM已经不只是个聊天工具了。

正好那段时间和导师聊到LLM在城市规划研究中的应用前景，我们都觉得这个方向很有意思，值得深入研究一下。于是我开始啃各种技术资料，想看看能不能把这些新技术真正用到规划研究中去。

学习过程很痛苦

说实话，这个学习过程挺痛苦的。传统的教程动不动就从1950年代的感知机开始讲，或者直接甩一堆数学公式和代码，恨不得让你把整个NLP发展史都背下来。更要命的是各种黑话专业名词满天飞——什么"注意力机制"、"自监督学习"、"RLHF"、"LoRA"，每个词都像天书一样。

作为一个只想解决实际问题的规划专业学生，我真的不需要知道那么多"古代历史"，也不想被这些专业术语搞得头大。

折腾了几个月，总算摸出点门道。我发现其实理解LLM的核心原理没那么复杂，关键是要跳过那些不必要的历史包袱，用人话把这些概念解释清楚。

这个笔记记录什么

既然自己踩过坑，就想整理一份给规划专业同学看的笔记。不会从NLP的史前时代开始讲起，也不会陷入过多的数学推导。主要记录：

• 作为规划专业学生，需要了解哪些LLM核心概念（跳过不必要的历史）
• 怎么把当前最新的技术应用到我们的专业研究中
• 如何真正用LLM做研究，而不只是问答和写作业
• 遇到常见问题怎么解决，有哪些坑需要避开

笔记结构

章节	标题	主要内容
基础篇
第1章	NLP基础	计算机怎么理解语言
第2章	Transformer	现在大模型的核心
第3章	预训练模型	BERT到GPT的发展
第4章	大语言模型	现在主流模型能干啥
实践篇
第5章	搭建模型	从零写一个小模型
第6章	训练微调	让模型懂规划
第7章	做应用	开发实用工具

学习要求

实话实说，这个笔记不是完全零基础的，你至少需要：

• 会点Python编程（不用很精通，但要能看懂基本语法）
• 对计算机有基本了解（知道什么是数据、模型、训练这些概念）
• 有耐心学习新东西（专业术语肯定会有，但我会尽量解释清楚）

一些建议

• 不要被技术术语吓到，刚开始接触确实会遇到很多新概念，慢慢来就好
• 一定要动手实践，光看不练没用，每章的代码都要跑一遍
• 结合自己的研究，想想怎么把学到的技术用到你的论文或项目中
• 遇到问题多搜索，Google、知乎、CSDN都是好朋友
• 加入相关社群，和其他人交流学习经验

最后

这份笔记主要基于我自己的学习经历整理，水平有限，肯定有不准确的地方。如果你发现问题，欢迎指正。

希望这份笔记能让更多规划专业的同学掌握LLM技术，在未来的学习和工作中用AI让城市变得更好。

---

开始学习 →