1.0.41.42: ppc: Documentation and NEWS updates for threading.
[sbcl.git] / src / code / readtable.lisp
1 ;;;; READTABLEs
2
3 ;;;; This software is part of the SBCL system. See the README file for
4 ;;;; more information.
5 ;;;;
6 ;;;; This software is derived from the CMU CL system, which was
7 ;;;; written at Carnegie Mellon University and released into the
8 ;;;; public domain. The software is in the public domain and is
9 ;;;; provided with absolutely no warranty. See the COPYING and CREDITS
10 ;;;; files for more information.
11
12 (in-package "SB!IMPL")
13
14 (sb!xc:deftype attribute-table ()
15   '(simple-array (unsigned-byte 8) (#.base-char-code-limit)))
16
17 ;;; constants for readtable character attributes. These are all as in
18 ;;; the manual.
19 ;;;
20 ;;; FIXME: wait a minute.  Firstly, I doubt they're in the manual.
21 ;;; Secondly, the numerical order of these constants is coupled with
22 ;;; code in CHAR-CLASS{,2,3} in the reader implementation, so beware
23 ;;; when changing them.
24 (def!constant +char-attr-whitespace+ 0)
25 (def!constant +char-attr-terminating-macro+ 1)
26 (def!constant +char-attr-single-escape+ 2)
27 (def!constant +char-attr-multiple-escape+ 3)
28 (def!constant +char-attr-constituent+ 4)
29 (def!constant +char-attr-constituent-dot+ 5)
30 (def!constant +char-attr-constituent-expt+ 6)
31 (def!constant +char-attr-constituent-slash+ 7)
32 (def!constant +char-attr-constituent-digit+ 8)
33 (def!constant +char-attr-constituent-sign+ 9)
34 ;;; the following two are not static but depend on *READ-BASE*.
35 ;;; DECIMAL-DIGIT is for characters being digits in base 10 but not in
36 ;;; base *READ-BASE* (which is therefore perforce smaller than 10);
37 ;;; DIGIT-OR-EXPT is for characters being both exponent markers and
38 ;;; digits in base *READ-BASE* (which is therefore perforce larger
39 ;;; than 10).  -- CSR, 2004-03-16
40 (def!constant +char-attr-constituent-decimal-digit+ 10)
41 (def!constant +char-attr-constituent-digit-or-expt+ 11)
42
43 (def!constant +char-attr-package-delimiter+ 12)
44 (def!constant +char-attr-invalid+ 13)
45 (def!constant +char-attr-delimiter+ 14) ; (a fake for READ-UNQUALIFIED-TOKEN)
46
47 (sb!xc:defstruct (readtable (:conc-name nil)
48                             (:predicate readtablep)
49                             ;; ANSI requires a CL:COPY-READTABLE to do
50                             ;; a deep copy, so the DEFSTRUCT-generated
51                             ;; default is not suitable.
52                             (:copier nil))
53   #!+sb-doc
54   "A READTABLE is a data structure that maps characters into syntax
55    types for the Common Lisp expression reader."
56   ;; The CHARACTER-ATTRIBUTE-TABLE is a vector of BASE-CHAR-CODE-LIMIT
57   ;; integers for describing the character type. Conceptually, there
58   ;; are 4 distinct "primary" character attributes:
59   ;; +CHAR-ATTR-WHITESPACE+, +CHAR-ATTR-TERMINATING-MACRO+,
60   ;; +CHAR-ATTR-ESCAPE+, and +CHAR-ATTR-CONSTITUENT+. Non-terminating
61   ;; macros (such as the symbol reader) have the attribute
62   ;; +CHAR-ATTR-CONSTITUENT+.
63   ;;
64   ;; In order to make READ-TOKEN fast, all this information is stored
65   ;; in the character attribute table by having different varieties of
66   ;; constituents.
67   (character-attribute-array
68    (make-array base-char-code-limit
69                :element-type '(unsigned-byte 8)
70                :initial-element +char-attr-constituent+)
71    :type attribute-table)
72   (character-attribute-hash-table (make-hash-table) :type hash-table)
73   ;; The CHARACTER-MACRO-TABLE is a vector of BASE-CHAR-CODE-LIMIT
74   ;; functions. One of these functions called with appropriate
75   ;; arguments whenever any non-WHITESPACE character is encountered
76   ;; inside READ-PRESERVING-WHITESPACE. These functions are used to
77   ;; implement user-defined read-macros, system read-macros, and the
78   ;; number-symbol reader.
79   (character-macro-array
80    (make-array base-char-code-limit :initial-element #'undefined-macro-char)
81    :type (simple-vector #.base-char-code-limit))
82   (character-macro-hash-table (make-hash-table) :type hash-table)
83   ;; an alist from dispatch characters to hash-tables akin to
84   ;; CHARACTER-MACRO-HASH-TABLE.
85   (dispatch-tables () :type list)
86   (%readtable-case :upcase :type (member :upcase :downcase :preserve :invert)))