# 32.5. `token` - 用于Python解析树的常量

源代码： Lib / token.py

该模块提供表示解析树（终端令牌）的叶节点的数值的常数。有关语言语法的上下文中的名称的定义，请参阅Python分发中的文件`Grammar/Grammar`。名称映射到的特定数值可能在Python版本之间变化。

该模块还提供从数字代码到名称和一些函数的映射。这些函数镜像Python C头文件中的定义。

`token.``tok_name`

  将此模块中定义的常量的数字值映射回名称字符串的字典，从而允许生成更加人性化的解析树表示。

`token.``ISTERMINAL`(x)

  对终端令牌值返回true。

`token.``ISNONTERMINAL`(x)

  对非终端令牌值返回true。

`token.``ISEOF`(x)

  如果x是指示输入结束的标记，则返回true。

令牌常量是：

`token.``ENDMARKER`
`token.``NAME`
`token.``NUMBER`
`token.``STRING`
`token.``NEWLINE`
`token.``INDENT`
`token.``DEDENT`
`token.``LPAR`
`token.``RPAR`
`token.``LSQB`
`token.``RSQB`
`token.``COLON`
`token.``COMMA`
`token.``SEMI`
`token.``PLUS`
`token.``MINUS`
`token.``STAR`
`token.``SLASH`
`token.``VBAR`
`token.``AMPER`
`token.``LESS`
`token.``GREATER`
`token.``EQUAL`
`token.``DOT`
`token.``PERCENT`
`token.``LBRACE`
`token.``RBRACE`
`token.``EQEQUAL`
`token.``NOTEQUAL`
`token.``LESSEQUAL`
`token.``GREATEREQUAL`
`token.``TILDE`
`token.``CIRCUMFLEX`
`token.``LEFTSHIFT`
`token.``RIGHTSHIFT`
`token.``DOUBLESTAR`
`token.``PLUSEQUAL`
`token.``MINEQUAL`
`token.``STAREQUAL`
`token.``SLASHEQUAL`
`token.``PERCENTEQUAL`
`token.``AMPEREQUAL`
`token.``VBAREQUAL`
`token.``CIRCUMFLEXEQUAL`
`token.``LEFTSHIFTEQUAL`
`token.``RIGHTSHIFTEQUAL`
`token.``DOUBLESTAREQUAL`
`token.``DOUBLESLASH`
`token.``DOUBLESLASHEQUAL`
`token.``AT`
`token.``ATEQUAL`
`token.``RARROW`
`token.``ELLIPSIS`
`token.``OP`
`token.``AWAIT`
`token.``ASYNC`
`token.``ERRORTOKEN`
`token.``N_TOKENS`
`token.``NT_OFFSET`

  在3.5版中已更改：添加了`AWAIT`和`ASYNC`令牌。从Python 3.7开始，“async”和“await”将被标记为`NAME`令牌，并且将删除`AWAIT`和`ASYNC`。