teach debugger about &MORE arguments
[sbcl.git] / src / code / backq.lisp
1 ;;;; the backquote reader macro
2
3 ;;;; This software is part of the SBCL system. See the README file for
4 ;;;; more information.
5 ;;;;
6 ;;;; This software is derived from the CMU CL system, which was
7 ;;;; written at Carnegie Mellon University and released into the
8 ;;;; public domain. The software is in the public domain and is
9 ;;;; provided with absolutely no warranty. See the COPYING and CREDITS
10 ;;;; files for more information.
11
12 (in-package "SB!IMPL")
13
14 (/show0 "entering backq.lisp")
15
16 ;;; The flags passed back by BACKQUOTIFY can be interpreted as follows:
17 ;;;
18 ;;;   |`,|: [a] => a
19 ;;;    NIL: [a] => a            ;the NIL flag is used only when a is NIL
20 ;;;      T: [a] => a            ;the T flag is used when a is self-evaluating
21 ;;;  QUOTE: [a] => (QUOTE a)
22 ;;; APPEND: [a] => (APPEND . a)
23 ;;;  NCONC: [a] => (NCONC . a)
24 ;;;   LIST: [a] => (LIST . a)
25 ;;;  LIST*: [a] => (LIST* . a)
26 ;;;
27 ;;; The flags are combined according to the following set of rules:
28 ;;;  ([a] means that a should be converted according to the previous table)
29 ;;;
30 ;;;   \ car  ||    otherwise    |    QUOTE or     |     |`,@|      |     |`,.|
31 ;;;cdr \     ||                 |    T or NIL     |                |
32 ;;;================================================================================
33 ;;;  |`,|    || LIST* ([a] [d]) | LIST* ([a] [d]) | APPEND (a [d]) | NCONC  (a [d])
34 ;;;  NIL     || LIST    ([a])   | QUOTE    (a)    | <hair>    a    | <hair>    a
35 ;;;QUOTE or T|| LIST* ([a] [d]) | QUOTE  (a . d)  | APPEND (a [d]) | NCONC (a [d])
36 ;;; APPEND   || LIST* ([a] [d]) | LIST* ([a] [d]) | APPEND (a . d) | NCONC (a [d])
37 ;;; NCONC    || LIST* ([a] [d]) | LIST* ([a] [d]) | APPEND (a [d]) | NCONC (a . d)
38 ;;;  LIST    || LIST  ([a] . d) | LIST  ([a] . d) | APPEND (a [d]) | NCONC (a [d])
39 ;;;  LIST*   || LIST* ([a] . d) | LIST* ([a] . d) | APPEND (a [d]) | NCONC  (a [d])
40 ;;;
41 ;;;<hair> involves starting over again pretending you had read ".,a)" instead
42 ;;; of ",@a)"
43
44 (defvar *backquote-count* 0 #!+sb-doc "how deep we are into backquotes")
45 (defvar *bq-comma-flag* '(|,|))
46 (defvar *bq-at-flag* '(|,@|))
47 (defvar *bq-dot-flag* '(|,.|))
48 (defvar *bq-vector-flag* '(|bqv|))
49 (defvar *bq-error* "Comma not inside a backquote.")
50
51 (/show0 "backq.lisp 50")
52
53 ;;; the actual character macro
54 (defun backquote-macro (stream ignore)
55   (declare (ignore ignore))
56   (let ((*backquote-count* (1+ *backquote-count*)))
57     (multiple-value-bind (flag thing)
58         (backquotify stream (read stream t nil t))
59       (when (eq flag *bq-at-flag*)
60         (simple-reader-error stream ",@ after backquote in ~S" thing))
61       (when (eq flag *bq-dot-flag*)
62         (simple-reader-error stream ",. after backquote in ~S" thing))
63       (backquotify-1 flag thing))))
64
65 (/show0 "backq.lisp 64")
66
67 (defun comma-macro (stream ignore)
68   (declare (ignore ignore))
69   (unless (> *backquote-count* 0)
70     (when *read-suppress*
71       (return-from comma-macro nil))
72     (simple-reader-error stream *bq-error*))
73   (let ((c (read-char stream))
74         (*backquote-count* (1- *backquote-count*)))
75     (cond ((char= c #\@)
76            (cons *bq-at-flag* (read stream t nil t)))
77           ((char= c #\.)
78            (cons *bq-dot-flag* (read stream t nil t)))
79           (t (unread-char c stream)
80              (cons *bq-comma-flag* (read stream t nil t))))))
81
82 (/show0 "backq.lisp 83")
83
84 ;;;
85 (defun expandable-backq-expression-p (object)
86   (and (consp object)
87        (let ((flag (car object)))
88          (or (eq flag *bq-at-flag*)
89              (eq flag *bq-dot-flag*)))))
90
91 ;;; This does the expansion from table 2.
92 (defun backquotify (stream code)
93   (cond ((atom code)
94          (cond ((null code) (values nil nil))
95                ((or (consp code)
96                     (symbolp code))
97                 ;; Keywords are self-evaluating. Install after packages.
98                 (values 'quote code))
99                (t (values t code))))
100         ((or (eq (car code) *bq-at-flag*)
101              (eq (car code) *bq-dot-flag*))
102          (values (car code) (cdr code)))
103         ((eq (car code) *bq-comma-flag*)
104          (comma (cdr code)))
105         ((eq (car code) *bq-vector-flag*)
106          (multiple-value-bind (dflag d) (backquotify stream (cdr code))
107            (values 'vector (backquotify-1 dflag d))))
108         (t (multiple-value-bind (aflag a) (backquotify stream (car code))
109              (multiple-value-bind (dflag d) (backquotify stream (cdr code))
110                (when (eq dflag *bq-at-flag*)
111                  ;; Get the errors later.
112                  (simple-reader-error stream ",@ after dot in ~S" code))
113                (when (eq dflag *bq-dot-flag*)
114                  (simple-reader-error stream ",. after dot in ~S" code))
115                (cond
116                 ((eq aflag *bq-at-flag*)
117                  (if (null dflag)
118                      (if (expandable-backq-expression-p a)
119                          (values 'append (list a))
120                          (comma a))
121                      (values 'append
122                              (cond ((eq dflag 'append)
123                                     (cons a d ))
124                                    (t (list a (backquotify-1 dflag d)))))))
125                 ((eq aflag *bq-dot-flag*)
126                  (if (null dflag)
127                      (if (expandable-backq-expression-p a)
128                          (values 'nconc (list a))
129                          (comma a))
130                      (values 'nconc
131                              (cond ((eq dflag 'nconc)
132                                     (cons a d))
133                                    (t (list a (backquotify-1 dflag d)))))))
134                 ((null dflag)
135                  (if (member aflag '(quote t nil))
136                      (values 'quote (list a))
137                      (values 'list (list (backquotify-1 aflag a)))))
138                 ((member dflag '(quote t))
139                  (if (member aflag '(quote t nil))
140                      (values 'quote (cons a d ))
141                      (values 'list* (list (backquotify-1 aflag a)
142                                           (backquotify-1 dflag d)))))
143                 (t (setq a (backquotify-1 aflag a))
144                    (if (member dflag '(list list*))
145                        (values dflag (cons a d))
146                        (values 'list*
147                                (list a (backquotify-1 dflag d)))))))))))
148
149 (/show0 "backq.lisp 139")
150
151 ;;; This handles the <hair> cases.
152 (defun comma (code)
153   (cond ((atom code)
154          (cond ((null code)
155                 (values nil nil))
156                ((or (numberp code) (eq code t))
157                 (values t code))
158                (t (values *bq-comma-flag* code))))
159         ((and (eq (car code) 'quote)
160               (not (expandable-backq-expression-p (cadr code))))
161          (values (car code) (cadr code)))
162         ((member (car code) '(append list list* nconc))
163          (values (car code) (cdr code)))
164         ((eq (car code) 'cons)
165          (values 'list* (cdr code)))
166         (t (values *bq-comma-flag* code))))
167
168 (/show0 "backq.lisp 157")
169
170 ;;; This handles table 1.
171 (defun backquotify-1 (flag thing)
172   (cond ((or (eq flag *bq-comma-flag*)
173              (member flag '(t nil)))
174          thing)
175         ((eq flag 'quote)
176          (list  'quote thing))
177         ((eq flag 'list*)
178          (cond ((and (null (cddr thing))
179                      (not (expandable-backq-expression-p (car thing)))
180                      (not (expandable-backq-expression-p (cadr thing))))
181                 (cons 'backq-cons thing))
182                ((expandable-backq-expression-p (car (last thing)))
183                 (list 'backq-append
184                       (cons 'backq-list (butlast thing))
185                       ;; Can it be optimized further? -- APD, 2001-12-21
186                       (car (last thing))))
187                (t
188                 (cons 'backq-list* thing))))
189         ((eq flag 'vector)
190          (list 'backq-vector thing))
191         (t (cons (ecase flag
192                    ((list) 'backq-list)
193                    ((append) 'backq-append)
194                    ((nconc) 'backq-nconc))
195                  thing))))
196 \f
197 ;;;; magic BACKQ- versions of builtin functions
198
199 (/show0 "backq.lisp 184")
200
201 ;;; Define synonyms for the lisp functions we use, so that by using
202 ;;; them, the backquoted material will be recognizable to the
203 ;;; pretty-printer.
204 (macrolet ((def (b-name name)
205                ;; FIXME: This function should be INLINE so that the lists
206                ;; aren't consed twice, but I ran into an optimizer bug the
207                ;; first time I tried to make this work for BACKQ-LIST. See
208                ;; whether there's still an optimizer bug, and fix it if so, and
209                ;; then make these INLINE.
210                `(defun ,b-name (&rest rest)
211                   (declare (truly-dynamic-extent rest))
212                   (apply #',name rest))))
213   (def backq-list list)
214   (def backq-list* list*)
215   (def backq-append append)
216   (def backq-nconc nconc)
217   (def backq-cons cons))
218
219 (/show0 "backq.lisp 204")
220
221 (defun backq-vector (list)
222   (declare (list list))
223   (coerce list 'simple-vector))
224 \f
225 ;;;; initialization
226
227 (/show0 "backq.lisp 212")
228
229 ;;; Install BACKQ stuff in the current *READTABLE*.
230 ;;;
231 ;;; In the target Lisp, we have to wait to do this until the readtable
232 ;;; has been created. In the cross-compilation host Lisp, we can do
233 ;;; this right away. (You may ask: In the cross-compilation host,
234 ;;; which already has its own implementation of the backquote
235 ;;; readmacro, why do we do this at all? Because the cross-compilation
236 ;;; host might -- as SBCL itself does -- express the backquote
237 ;;; expansion in terms of internal, nonportable functions. By
238 ;;; redefining backquote in terms of functions which are guaranteed to
239 ;;; exist on the target Lisp, we ensure that backquote expansions in
240 ;;; code-generating code work properly.)
241 (defun !backq-cold-init ()
242   (set-macro-character #\` #'backquote-macro)
243   (set-macro-character #\, #'comma-macro))
244 #+sb-xc-host (!backq-cold-init)
245
246 ;;; The pretty-printer needs to know about our special tokens
247 (defvar *backq-tokens*
248   '(backq-comma backq-comma-at backq-comma-dot backq-list
249     backq-list* backq-append backq-nconc backq-cons backq-vector))
250
251 ;;; Since our backquote is installed on the host lisp, and since
252 ;;; developers make mistakes with backquotes and commas too, let's
253 ;;; ensure that we can report errors rather than get an undefined
254 ;;; function condition on SIMPLE-READER-ERROR.
255 #+sb-xc-host ; proper definition happens for the target
256 (defun simple-reader-error (stream format-string &rest format-args)
257   (bug "READER-ERROR on stream ~S: ~?" stream format-string format-args))
258
259 (/show0 "done with backq.lisp")