1.0.11.29: Faster CONCATENATE on strings
[sbcl.git] / src / code / primordial-extensions.lisp
1 ;;;; various user-level definitions which need to be done particularly
2 ;;;; early
3
4 ;;;; This software is part of the SBCL system. See the README file for
5 ;;;; more information.
6 ;;;;
7 ;;;; This software is derived from the CMU CL system, which was
8 ;;;; written at Carnegie Mellon University and released into the
9 ;;;; public domain. The software is in the public domain and is
10 ;;;; provided with absolutely no warranty. See the COPYING and CREDITS
11 ;;;; files for more information.
12
13 (in-package "SB!IMPL")
14 \f
15 ;;;; target constants which need to appear as early as possible
16
17 ;;; an internal tag for marking empty slots, which needs to be defined
18 ;;; as early as possible because it appears in macroexpansions for
19 ;;; iteration over hash tables
20 ;;;
21 ;;; CMU CL 18b used :EMPTY for this purpose, which was somewhat nasty
22 ;;; since it's easily accessible to the user, so that e.g.
23 ;;;     (DEFVAR *HT* (MAKE-HASH-TABLE))
24 ;;;     (SETF (GETHASH :EMPTY *HT*) :EMPTY)
25 ;;;     (MAPHASH (LAMBDA (K V) (FORMAT T "~&~S ~S~%" K V)))
26 ;;; gives no output -- oops!
27 ;;;
28 ;;; FIXME: It'd probably be good to use the unbound marker for this.
29 ;;; However, there might be some gotchas involving assumptions by
30 ;;; e.g. AREF that they're not going to return the unbound marker,
31 ;;; and there's also the noted-below problem that the C-level code
32 ;;; contains implicit assumptions about this marker.
33 ;;;
34 ;;; KLUDGE: Note that as of version 0.pre7 there's a dependence in the
35 ;;; gencgc.c code on this value being a symbol. (This is only one of
36 ;;; several nasty dependencies between that code and this, alas.)
37 ;;; -- WHN 2001-08-17
38 (eval-when (:compile-toplevel :load-toplevel :execute)
39   (def!constant +empty-ht-slot+ '%empty-ht-slot%))
40 ;;; We shouldn't need this mess now that EVAL-WHEN works.
41
42 ;;; KLUDGE: Using a private symbol still leaves us vulnerable to users
43 ;;; getting nonconforming behavior by messing around with
44 ;;; DO-ALL-SYMBOLS. That seems like a fairly obscure problem, so for
45 ;;; now we just don't worry about it. If for some reason it becomes
46 ;;; worrisome and the magic value needs replacement:
47 ;;;   * The replacement value needs to be LOADable with EQL preserved,
48 ;;;     so that the macroexpansion for WITH-HASH-TABLE-ITERATOR will
49 ;;;     work when compiled into a file and loaded back into SBCL.
50 ;;;     (Thus, just uninterning %EMPTY-HT-SLOT% doesn't work.)
51 ;;;   * The replacement value needs to be acceptable to the
52 ;;;     low-level gencgc.lisp hash table scavenging code.
53 ;;;   * The change will break binary compatibility, since comparisons
54 ;;;     against the value used at the time of compilation are wired
55 ;;;     into FASL files.
56 ;;; -- WHN 20000622
57 \f
58 ;;;; DO-related stuff which needs to be visible on the cross-compilation host
59
60 (eval-when (#-sb-xc :compile-toplevel :load-toplevel :execute)
61   (defun frob-do-body (varlist endlist decls-and-code bind step name block)
62     (let* ((r-inits nil) ; accumulator for reversed list
63            (r-steps nil) ; accumulator for reversed list
64            (label-1 (gensym))
65            (label-2 (gensym)))
66       ;; Check for illegal old-style DO.
67       (when (or (not (listp varlist)) (atom endlist))
68         (error "ill-formed ~S -- possibly illegal old style DO?" name))
69       ;; Parse VARLIST to get R-INITS and R-STEPS.
70       (dolist (v varlist)
71         (flet (;; (We avoid using CL:PUSH here so that CL:PUSH can be
72                ;; defined in terms of CL:SETF, and CL:SETF can be
73                ;; defined in terms of CL:DO, and CL:DO can be defined
74                ;; in terms of the current function.)
75                (push-on-r-inits (x)
76                  (setq r-inits (cons x r-inits)))
77                ;; common error-handling
78                (illegal-varlist ()
79                  (error "~S is an illegal form for a ~S varlist." v name)))
80           (cond ((symbolp v) (push-on-r-inits v))
81                 ((listp v)
82                  (unless (symbolp (first v))
83                    (error "~S step variable is not a symbol: ~S"
84                           name
85                           (first v)))
86                  (let ((lv (length v)))
87                    ;; (We avoid using CL:CASE here so that CL:CASE can
88                    ;; be defined in terms of CL:SETF, and CL:SETF can
89                    ;; be defined in terms of CL:DO, and CL:DO can be
90                    ;; defined in terms of the current function.)
91                    (cond ((= lv 1)
92                           (push-on-r-inits (first v)))
93                          ((= lv 2)
94                           (push-on-r-inits v))
95                          ((= lv 3)
96                           (push-on-r-inits (list (first v) (second v)))
97                           (setq r-steps (list* (third v) (first v) r-steps)))
98                          (t (illegal-varlist)))))
99                 (t (illegal-varlist)))))
100       ;; Construct the new form.
101       (multiple-value-bind (code decls)
102           (parse-body decls-and-code :doc-string-allowed nil)
103         `(block ,block
104            (,bind ,(nreverse r-inits)
105                   ,@decls
106                   (tagbody
107                      (go ,label-2)
108                      ,label-1
109                      (tagbody ,@code)
110                      (,step ,@(nreverse r-steps))
111                      ,label-2
112                      (unless ,(first endlist) (go ,label-1))
113                      (return-from ,block (progn ,@(rest endlist))))))))))
114
115 ;;; This is like DO, except it has no implicit NIL block. Each VAR is
116 ;;; initialized in parallel to the value of the specified INIT form.
117 ;;; On subsequent iterations, the VARS are assigned the value of the
118 ;;; STEP form (if any) in parallel. The TEST is evaluated before each
119 ;;; evaluation of the body FORMS. When the TEST is true, the
120 ;;; EXIT-FORMS are evaluated as a PROGN, with the result being the
121 ;;; value of the DO.
122 (defmacro do-anonymous (varlist endlist &rest body)
123   (frob-do-body varlist endlist body 'let 'psetq 'do-anonymous (gensym)))
124 \f
125 ;;;; GENSYM tricks
126
127 ;;; GENSYM variant for easier debugging and better backtraces: append
128 ;;; the closest enclosing non-nil block name to the provided stem.
129 (defun block-gensym (&optional (name "G") (env (when (boundp 'sb!c::*lexenv*)
130                                              (symbol-value 'sb!c::*lexenv*))))
131   (let ((block-name (when env
132                       (car (find-if #'car (sb!c::lexenv-blocks env))))))
133     (if block-name
134         (gensym (format nil "~A[~S]" name block-name))
135         (gensym name))))
136
137
138 ;;; Compile a version of BODY for all TYPES, and dispatch to the
139 ;;; correct one based on the value of VAR. This was originally used
140 ;;; only for strings, hence the name. Renaming it to something more
141 ;;; generic might not be a bad idea.
142 (defmacro string-dispatch ((&rest types) var &body body)
143   (let ((fun (gensym "STRING-DISPATCH-FUN-")))
144     `(flet ((,fun (,var)
145               ,@body))
146        (declare (inline ,fun))
147        (etypecase ,var
148          ,@(loop for type in types
149                  collect `(,type (,fun (the ,type ,var))))))))
150
151 ;;; Automate an idiom often found in macros:
152 ;;;   (LET ((FOO (GENSYM "FOO"))
153 ;;;         (MAX-INDEX (GENSYM "MAX-INDEX-")))
154 ;;;     ...)
155 ;;;
156 ;;; "Good notation eliminates thought." -- Eric Siggia
157 ;;;
158 ;;; Incidentally, this is essentially the same operator which
159 ;;; _On Lisp_ calls WITH-GENSYMS.
160 (defmacro with-unique-names (symbols &body body)
161   `(let ,(mapcar (lambda (symbol)
162                    (let* ((symbol-name (symbol-name symbol))
163                           (stem (if (every #'alpha-char-p symbol-name)
164                                     symbol-name
165                                     (concatenate 'string symbol-name "-"))))
166                      `(,symbol (block-gensym ,stem))))
167                  symbols)
168      ,@body))
169
170 ;;; Return a list of N gensyms. (This is a common suboperation in
171 ;;; macros and other code-manipulating code.)
172 (declaim (ftype (function (index) list) make-gensym-list))
173 (defun make-gensym-list (n)
174   (loop repeat n collect (block-gensym)))
175 \f
176 ;;;; miscellany
177
178 ;;; Lots of code wants to get to the KEYWORD package or the
179 ;;; COMMON-LISP package without a lot of fuss, so we cache them in
180 ;;; variables. TO DO: How much does this actually buy us? It sounds
181 ;;; sensible, but I don't know for sure that it saves space or time..
182 ;;; -- WHN 19990521
183 ;;;
184 ;;; (The initialization forms here only matter on the cross-compilation
185 ;;; host; In the target SBCL, these variables are set in cold init.)
186 (declaim (type package *cl-package* *keyword-package*))
187 (defvar *cl-package*      (find-package "COMMON-LISP"))
188 (defvar *keyword-package* (find-package "KEYWORD"))
189
190 ;;; Concatenate together the names of some strings and symbols,
191 ;;; producing a symbol in the current package.
192 (eval-when (#-sb-xc :compile-toplevel :load-toplevel :execute)
193   (defun symbolicate (&rest things)
194     (let* ((length (reduce #'+ things
195                            :key (lambda (x) (length (string x)))))
196            (name (make-array length :element-type 'character)))
197       (let ((index 0))
198         (dolist (thing things (values (intern name)))
199           (let* ((x (string thing))
200                  (len (length x)))
201             (replace name x :start1 index)
202             (incf index len)))))))
203
204 ;;; like SYMBOLICATE, but producing keywords
205 (defun keywordicate (&rest things)
206   (let ((*package* *keyword-package*))
207     (apply #'symbolicate things)))
208
209 ;;; Access *PACKAGE* in a way which lets us recover when someone has
210 ;;; done something silly like (SETF *PACKAGE* :CL-USER). (Such an
211 ;;; assignment is undefined behavior, so it's sort of reasonable for
212 ;;; it to cause the system to go totally insane afterwards, but it's a
213 ;;; fairly easy mistake to make, so let's try to recover gracefully
214 ;;; instead.)
215 (defun sane-package ()
216   (let ((maybe-package *package*))
217     (cond ((and (packagep maybe-package)
218                 ;; For good measure, we also catch the problem of
219                 ;; *PACKAGE* being bound to a deleted package.
220                 ;; Technically, this is not undefined behavior in itself,
221                 ;; but it will immediately lead to undefined to behavior,
222                 ;; since almost any operation on a deleted package is
223                 ;; undefined.
224                 (package-name maybe-package))
225            maybe-package)
226           (t
227            ;; We're in the undefined behavior zone. First, munge the
228            ;; system back into a defined state.
229            (let ((really-package (find-package :cl-user)))
230              (setf *package* really-package)
231              ;; Then complain.
232              (error 'simple-type-error
233                     :datum maybe-package
234                     :expected-type '(and package (satisfies package-name))
235                     :format-control
236                     "~@<~S can't be a ~A: ~2I~_~S has been reset to ~S.~:>"
237                     :format-arguments (list '*package*
238                                             (if (packagep maybe-package)
239                                                 "deleted package"
240                                                 (type-of maybe-package))
241                                             '*package* really-package)))))))
242
243 ;;; Access *DEFAULT-PATHNAME-DEFAULTS*, issuing a warning if its value
244 ;;; is silly. (Unlike the vaguely-analogous SANE-PACKAGE, we don't
245 ;;; actually need to reset the variable when it's silly, since even
246 ;;; crazy values of *DEFAULT-PATHNAME-DEFAULTS* don't leave the system
247 ;;; in a state where it's hard to recover interactively.)
248 (defun sane-default-pathname-defaults ()
249   (let* ((dfd *default-pathname-defaults*)
250          (dfd-dir (pathname-directory dfd)))
251     ;; It's generally not good to use a relative pathname for
252     ;; *DEFAULT-PATHNAME-DEFAULTS*, since relative pathnames
253     ;; are defined by merging into a default pathname (which is,
254     ;; by default, *DEFAULT-PATHNAME-DEFAULTS*).
255     (when (and (consp dfd-dir)
256                (eql (first dfd-dir) :relative))
257       (warn
258        "~@<~S is a relative pathname. (But we'll try using it anyway.)~@:>"
259        '*default-pathname-defaults*))
260     dfd))
261
262 ;;; Give names to elements of a numeric sequence.
263 (defmacro defenum ((&key (prefix "") (suffix "") (start 0) (step 1))
264                    &rest identifiers)
265   (let ((results nil)
266         (index 0)
267         (start (eval start))
268         (step (eval step)))
269     (dolist (id identifiers)
270       (when id
271         (multiple-value-bind (root docs)
272             (if (consp id)
273                 (values (car id) (cdr id))
274                 (values id nil))
275           (push `(def!constant ,(symbolicate prefix root suffix)
276                    ,(+ start (* step index))
277                    ,@docs)
278                 results)))
279       (incf index))
280     `(progn
281        ,@(nreverse results))))
282
283 ;;; generalization of DEFCONSTANT to values which are the same not
284 ;;; under EQL but under e.g. EQUAL or EQUALP
285 ;;;
286 ;;; DEFCONSTANT-EQX is to be used instead of DEFCONSTANT for values
287 ;;; which are appropriately compared using the function given by the
288 ;;; EQX argument instead of EQL.
289 ;;;
290 ;;; Note: Be careful when using this macro, since it's easy to
291 ;;; unintentionally pessimize your code. A good time to use this macro
292 ;;; is when the values defined will be fed into optimization
293 ;;; transforms and never actually appear in the generated code; this
294 ;;; is especially common when defining BYTE expressions. Unintentional
295 ;;; pessimization can result when the values defined by this macro are
296 ;;; actually used in generated code: because of the way that the
297 ;;; dump/load system works, you'll typically get one copy of consed
298 ;;; structure for each object file which contains code referring to
299 ;;; the value, plus perhaps one more copy bound to the SYMBOL-VALUE of
300 ;;; the constant. If you don't want that to happen, you should
301 ;;; probably use DEFPARAMETER instead; or if you truly desperately
302 ;;; need to avoid runtime indirection through a symbol, you might be
303 ;;; able to do something with LOAD-TIME-VALUE or MAKE-LOAD-FORM.
304 (defmacro defconstant-eqx (symbol expr eqx &optional doc)
305   `(def!constant ,symbol
306      (%defconstant-eqx-value ',symbol ,expr ,eqx)
307      ,@(when doc (list doc))))
308 (defun %defconstant-eqx-value (symbol expr eqx)
309   (declare (type function eqx))
310   (flet ((bummer (explanation)
311            (error "~@<bad DEFCONSTANT-EQX ~S ~2I~_~S: ~2I~_~A ~S~:>"
312                   symbol
313                   expr
314                   explanation
315                   (symbol-value symbol))))
316     (cond ((not (boundp symbol))
317            expr)
318           ((not (constantp symbol))
319            (bummer "already bound as a non-constant"))
320           ((not (funcall eqx (symbol-value symbol) expr))
321            (bummer "already bound as a different constant value"))
322           (t
323            (symbol-value symbol)))))
324 \f
325 ;;; a helper function for various macros which expect clauses of a
326 ;;; given length, etc.
327 ;;;
328 ;;; Return true if X is a proper list whose length is between MIN and
329 ;;; MAX (inclusive).
330 (defun proper-list-of-length-p (x min &optional (max min))
331   ;; FIXME: This implementation will hang on circular list
332   ;; structure. Since this is an error-checking utility, i.e. its
333   ;; job is to deal with screwed-up input, it'd be good style to fix
334   ;; it so that it can deal with circular list structure.
335   (cond ((minusp max) nil)
336         ((null x) (zerop min))
337         ((consp x)
338          (and (plusp max)
339               (proper-list-of-length-p (cdr x)
340                                        (if (plusp (1- min))
341                                            (1- min)
342                                            0)
343                                        (1- max))))
344         (t nil)))
345
346 ;;; Helpers for defining error-signalling NOP's for "not supported
347 ;;; here" operations.
348 (defmacro define-unsupported-fun (name &optional
349                                   (doc "Unsupported on this platform.")
350                                   (control
351                                    "~S is unsupported on this platform ~
352                                     (OS, CPU, whatever)."
353                                    controlp)
354                                   arguments)
355   `(defun ,name (&rest args)
356     ,doc
357     (declare (ignore args))
358     (error 'unsupported-operator
359      :format-control ,control
360      :format-arguments (if ,controlp ',arguments (list ',name)))))