视频翻译
深入探索大模型 (ChatGPT)
原视频网址 Deep Dive into LLMs like ChatGPT
这是面向普通观众的大型语言模型 (LLM) 技术深入研究，在它基础上诞生了许多像 ChatGPT 的产品。本视频涵盖了模型开发的完整训练堆栈，如何从心理学的角度思考模型，以及在实际应用中怎样充分利用它们。大约在一年前，我做了一个《LLM 简介》的视频，但那只是随心的谈话录制，现在我又回来制作一个更全面的版本。
Andrej Karpathy 是 OpenAI (2015) 的创始成员，然后是特斯拉的 AI 高级总监 (2017-2022)，现在是 Eureka Labs 的创始人，该公司正在建立一所 AI 原生学校。制作这个视频的目的是提高人们对人工智能最新技术的认识和理解，并让人们能够在工作中有效地使用最新和最好的技术。
章节：
- 00:00:00 介绍
- 00:01:00 预训练数据（互联网）
- 00:07:47 标记 (Tokenization)