script.md 589 B
title: 什么是 token
gap: 0.4
intro
你有没有想过，[[cue:question]]当我们和 AI 对话的时候，AI 到底是怎么理解我们的话的呢。
token-1
答案是它根本不理解汉字，[[cue:reveal]]它只认识 token。
token-2
你可以把 token 理解成 AI 的最小信息单位。 比如「人工智能」这四个字，[[cue:split]]在 AI 眼里可能是两个 token：人工，智能。
ending
所以下次看到「百万 token 上下文」这种说法，[[cue:context]]你就知道，它说的是 AI 一次能记住多少个这样的小块。