src/compiler/seqtran.lisp

   1 ;;;; optimizers for list and sequence functions
   2
   3 ;;;; This software is part of the SBCL system. See the README file for
   4 ;;;; more information.
   5 ;;;;
   6 ;;;; This software is derived from the CMU CL system, which was
   7 ;;;; written at Carnegie Mellon University and released into the
   8 ;;;; public domain. The software is in the public domain and is
   9 ;;;; provided with absolutely no warranty. See the COPYING and CREDITS
  10 ;;;; files for more information.
  11
  12 (in-package "SB!C")
  13 \f
  14 ;;;; mapping onto lists: the MAPFOO functions
  15
  16 (defun mapfoo-transform (fn arglists accumulate take-car)
  17   (collect ((do-clauses)
  18             (args-to-fn)
  19             (tests))
  20     (let ((n-first (gensym)))
  21       (dolist (a (if accumulate
  22                      arglists
  23                      `(,n-first ,@(rest arglists))))
  24         (let ((v (gensym)))
  25           (do-clauses `(,v ,a (cdr ,v)))
  26           (tests `(endp ,v))
  27           (args-to-fn (if take-car `(car ,v) v))))
  28
  29       (let* ((fn-sym (gensym))  ; for ONCE-ONLY-ish purposes
  30              (call `(funcall ,fn-sym . ,(args-to-fn)))
  31              (endtest `(or ,@(tests))))
  32         (ecase accumulate
  33           (:nconc
  34            (let ((temp (gensym))
  35                  (map-result (gensym)))
  36              `(let ((,fn-sym ,fn)
  37                     (,map-result (list nil)))
  38                 (do-anonymous ((,temp ,map-result) . ,(do-clauses))
  39                               (,endtest (cdr ,map-result))
  40                   (setq ,temp (last (nconc ,temp ,call)))))))
  41           (:list
  42            (let ((temp (gensym))
  43                  (map-result (gensym)))
  44              `(let ((,fn-sym ,fn)
  45                     (,map-result (list nil)))
  46                 (do-anonymous ((,temp ,map-result) . ,(do-clauses))
  47                               (,endtest (truly-the list (cdr ,map-result)))
  48                   (rplacd ,temp (setq ,temp (list ,call)))))))
  49           ((nil)
  50            `(let ((,fn-sym ,fn)
  51                   (,n-first ,(first arglists)))
  52               (do-anonymous ,(do-clauses)
  53                             (,endtest (truly-the list ,n-first))
  54                             ,call))))))))
  55
  56 (define-source-transform mapc (function list &rest more-lists)
  57   (mapfoo-transform function (cons list more-lists) nil t))
  58
  59 (define-source-transform mapcar (function list &rest more-lists)
  60   (mapfoo-transform function (cons list more-lists) :list t))
  61
  62 (define-source-transform mapcan (function list &rest more-lists)
  63   (mapfoo-transform function (cons list more-lists) :nconc t))
  64
  65 (define-source-transform mapl (function list &rest more-lists)
  66   (mapfoo-transform function (cons list more-lists) nil nil))
  67
  68 (define-source-transform maplist (function list &rest more-lists)
  69   (mapfoo-transform function (cons list more-lists) :list nil))
  70
  71 (define-source-transform mapcon (function list &rest more-lists)
  72   (mapfoo-transform function (cons list more-lists) :nconc nil))
  73 \f
  74 ;;;; mapping onto sequences: the MAP function
  75
  76 ;;; MAP is %MAP plus a check to make sure that any length specified in
  77 ;;; the result type matches the actual result. We also wrap it in a
  78 ;;; TRULY-THE for the most specific type we can determine.
  79 (deftransform map ((result-type-arg fun seq &rest seqs) * * :node node)
  80   (let* ((seq-names (make-gensym-list (1+ (length seqs))))
  81          (bare `(%map result-type-arg fun ,@seq-names))
  82          (constant-result-type-arg-p (constant-lvar-p result-type-arg))
  83          ;; what we know about the type of the result. (Note that the
  84          ;; "result type" argument is not necessarily the type of the
  85          ;; result, since NIL means the result has NULL type.)
  86          (result-type (if (not constant-result-type-arg-p)
  87                           'consed-sequence
  88                           (let ((result-type-arg-value
  89                                  (lvar-value result-type-arg)))
  90                             (if (null result-type-arg-value)
  91                                 'null
  92                                 result-type-arg-value)))))
  93     `(lambda (result-type-arg fun ,@seq-names)
  94        (truly-the ,result-type
  95          ,(cond ((policy node (< safety 3))
  96                  ;; ANSI requires the length-related type check only
  97                  ;; when the SAFETY quality is 3... in other cases, we
  98                  ;; skip it, because it could be expensive.
  99                  bare)
 100                 ((not constant-result-type-arg-p)
 101                  `(sequence-of-checked-length-given-type ,bare
 102                                                          result-type-arg))
 103                 (t
 104                  (let ((result-ctype (ir1-transform-specifier-type
 105                                       result-type)))
 106                    (if (array-type-p result-ctype)
 107                        (let ((dims (array-type-dimensions result-ctype)))
 108                          (unless (and (listp dims) (= (length dims) 1))
 109                            (give-up-ir1-transform "invalid sequence type"))
 110                          (let ((dim (first dims)))
 111                            (if (eq dim '*)
 112                                bare
 113                                `(vector-of-checked-length-given-length ,bare
 114                                                                        ,dim))))
 115                        ;; FIXME: this is wrong, as not all subtypes of
 116                        ;; VECTOR are ARRAY-TYPEs [consider, for
 117                        ;; example, (OR (VECTOR T 3) (VECTOR T
 118                        ;; 4))]. However, it's difficult to see what we
 119                        ;; should put here... maybe we should
 120                        ;; GIVE-UP-IR1-TRANSFORM if the type is a
 121                        ;; subtype of VECTOR but not an ARRAY-TYPE?
 122                        bare))))))))
 123
 124 ;;; Return a DO loop, mapping a function FUN to elements of
 125 ;;; sequences. SEQS is a list of lvars, SEQ-NAMES - list of variables,
 126 ;;; bound to sequences, INTO - a variable, which is used in
 127 ;;; MAP-INTO. RESULT and BODY are forms, which can use variables
 128 ;;; FUNCALL-RESULT, containing the result of application of FUN, and
 129 ;;; INDEX, containing the current position in sequences.
 130 (defun build-sequence-iterator (seqs seq-names &key result into body)
 131   (declare (type list seqs seq-names)
 132            (type symbol into))
 133   (collect ((bindings)
 134             (declarations)
 135             (vector-lengths)
 136             (tests)
 137             (places))
 138     (let ((found-vector-p nil))
 139       (flet ((process-vector (length)
 140                (unless found-vector-p
 141                  (setq found-vector-p t)
 142                  (bindings `(index 0 (1+ index)))
 143                  (declarations `(type index index)))
 144                (vector-lengths length)))
 145         (loop for seq of-type lvar in seqs
 146            for seq-name in seq-names
 147            for type = (lvar-type seq)
 148            do (cond ((csubtypep type (specifier-type 'list))
 149                      (with-unique-names (index)
 150                        (bindings `(,index ,seq-name (cdr ,index)))
 151                        (declarations `(type list ,index))
 152                        (places `(car ,index))
 153                        (tests `(endp ,index))))
 154                     ((csubtypep type (specifier-type 'vector))
 155                      (process-vector `(length ,seq-name))
 156                      (places `(locally (declare (optimize (insert-array-bounds-checks 0)))
 157                                 (aref ,seq-name index))))
 158                     (t
 159                      (give-up-ir1-transform
 160                       "can't determine sequence argument type"))))
 161         (when into
 162           (process-vector `(array-dimension ,into 0))))
 163       (when found-vector-p
 164         (bindings `(length (min ,@(vector-lengths))))
 165         (tests `(>= index length)))
 166       `(do (,@(bindings))
 167            ((or ,@(tests)) ,result)
 168          (declare ,@(declarations))
 169          (let ((funcall-result (funcall fun ,@(places))))
 170            (declare (ignorable funcall-result))
 171            ,body)))))
 172
 173 ;;; Try to compile %MAP efficiently when we can determine sequence
 174 ;;; argument types at compile time.
 175 ;;;
 176 ;;; Note: This transform was written to allow open coding of
 177 ;;; quantifiers by expressing them in terms of (MAP NIL ..). For
 178 ;;; non-NIL values of RESULT-TYPE, it's still useful, but not
 179 ;;; necessarily as efficient as possible. In particular, it will be
 180 ;;; inefficient when RESULT-TYPE is a SIMPLE-ARRAY with specialized
 181 ;;; numeric element types. It should be straightforward to make it
 182 ;;; handle that case more efficiently, but it's left as an exercise to
 183 ;;; the reader, because the code is complicated enough already and I
 184 ;;; don't happen to need that functionality right now. -- WHN 20000410
 185 (deftransform %map ((result-type fun seq &rest seqs) * *
 186                     :policy (>= speed space))
 187   "open code"
 188   (unless (constant-lvar-p result-type)
 189     (give-up-ir1-transform "RESULT-TYPE argument not constant"))
 190   (labels ( ;; 1-valued SUBTYPEP, fails unless second value of SUBTYPEP is true
 191            (fn-1subtypep (fn x y)
 192              (multiple-value-bind (subtype-p valid-p) (funcall fn x y)
 193                (if valid-p
 194                    subtype-p
 195                    (give-up-ir1-transform
 196                     "can't analyze sequence type relationship"))))
 197            (1subtypep (x y) (fn-1subtypep #'sb!xc:subtypep x y)))
 198     (let* ((result-type-value (lvar-value result-type))
 199            (result-supertype (cond ((null result-type-value) 'null)
 200                                    ((1subtypep result-type-value 'vector)
 201                                     'vector)
 202                                    ((1subtypep result-type-value 'list)
 203                                     'list)
 204                                    (t
 205                                     (give-up-ir1-transform
 206                                      "result type unsuitable")))))
 207       (cond ((and result-type-value (null seqs))
 208              ;; The consing arity-1 cases can be implemented
 209              ;; reasonably efficiently as function calls, and the cost
 210              ;; of consing should be significantly larger than
 211              ;; function call overhead, so we always compile these
 212              ;; cases as full calls regardless of speed-versus-space
 213              ;; optimization policy.
 214              (cond ((subtypep result-type-value 'list)
 215                     '(%map-to-list-arity-1 fun seq))
 216                    ( ;; (This one can be inefficient due to COERCE, but
 217                     ;; the current open-coded implementation has the
 218                     ;; same problem.)
 219                     (subtypep result-type-value 'vector)
 220                     `(coerce (%map-to-simple-vector-arity-1 fun seq)
 221                              ',result-type-value))
 222                    (t (bug "impossible (?) sequence type"))))
 223             (t
 224              (let* ((seqs (cons seq seqs))
 225                     (seq-args (make-gensym-list (length seqs))))
 226                (multiple-value-bind (push-dacc result)
 227                    (ecase result-supertype
 228                      (null (values nil nil))
 229                      (list (values `(push funcall-result acc)
 230                                    `(nreverse acc)))
 231                      (vector (values `(push funcall-result acc)
 232                                      `(coerce (nreverse acc)
 233                                               ',result-type-value))))
 234                  ;; (We use the same idiom, of returning a LAMBDA from
 235                  ;; DEFTRANSFORM, as is used in the DEFTRANSFORMs for
 236                  ;; FUNCALL and ALIEN-FUNCALL, and for the same
 237                  ;; reason: we need to get the runtime values of each
 238                  ;; of the &REST vars.)
 239                  `(lambda (result-type fun ,@seq-args)
 240                     (declare (ignore result-type))
 241                     (let ((fun (%coerce-callable-to-fun fun))
 242                           (acc nil))
 243                       (declare (type list acc))
 244                       (declare (ignorable acc))
 245                       ,(build-sequence-iterator
 246                         seqs seq-args
 247                         :result result
 248                         :body push-dacc))))))))))
 249
 250 ;;; MAP-INTO
 251 (deftransform map-into ((result fun &rest seqs)
 252                         (vector * &rest *)
 253                         *)
 254   "open code"
 255   (let ((seqs-names (mapcar (lambda (x)
 256                               (declare (ignore x))
 257                               (gensym))
 258                             seqs)))
 259     `(lambda (result fun ,@seqs-names)
 260        ,(build-sequence-iterator
 261          seqs seqs-names
 262          :result '(when (array-has-fill-pointer-p result)
 263                    (setf (fill-pointer result) index))
 264          :into 'result
 265          :body '(locally (declare (optimize (insert-array-bounds-checks 0)))
 266                  (setf (aref result index) funcall-result)))
 267        result)))
 268
 269 \f
 270 ;;; FIXME: once the confusion over doing transforms with known-complex
 271 ;;; arrays is over, we should also transform the calls to (AND (ARRAY
 272 ;;; * (*)) (NOT (SIMPLE-ARRAY * (*)))) objects.
 273 (deftransform elt ((s i) ((simple-array * (*)) *) *)
 274   '(aref s i))
 275
 276 (deftransform elt ((s i) (list *) * :policy (< safety 3))
 277   '(nth i s))
 278
 279 (deftransform %setelt ((s i v) ((simple-array * (*)) * *) *)
 280   '(%aset s i v))
 281
 282 (deftransform %setelt ((s i v) (list * *) * :policy (< safety 3))
 283   '(setf (car (nthcdr i s)) v))
 284
 285 (deftransform %check-vector-sequence-bounds ((vector start end)
 286                                              (vector * *) *
 287                                              :node node)
 288   (if (policy node (< safety speed))
 289       '(or end (length vector))
 290       '(let ((length (length vector)))
 291         (if (<= 0 start (or end length) length)
 292             (or end length)
 293             (sb!impl::signal-bounding-indices-bad-error vector start end)))))
 294
 295 (macrolet ((def (name)
 296              `(deftransform ,name ((e l &key (test #'eql)) * *
 297                                    :node node)
 298                 (unless (constant-lvar-p l)
 299                   (give-up-ir1-transform))
 300
 301                 (let ((val (lvar-value l)))
 302                   (unless (policy node
 303                                   (or (= speed 3)
 304                                       (and (>= speed space)
 305                                            (<= (length val) 5))))
 306                     (give-up-ir1-transform))
 307
 308                   (labels ((frob (els)
 309                              (if els
 310                                  `(if (funcall test e ',(car els))
 311                                       ',els
 312                                       ,(frob (cdr els)))
 313                                  nil)))
 314                     (frob val))))))
 315   (def member)
 316   (def memq))
 317
 318 ;;; FIXME: We have rewritten the original code that used DOLIST to this
 319 ;;; more natural MACROLET.  However, the original code suggested that when
 320 ;;; this was done, a few bytes could be saved by a call to a shared
 321 ;;; function.  This remains to be done.
 322 (macrolet ((def (fun eq-fun)
 323              `(deftransform ,fun ((item list &key test) (t list &rest t) *)
 324                 "convert to EQ test"
 325                 ;; FIXME: The scope of this transformation could be
 326                 ;; widened somewhat, letting it work whenever the test is
 327                 ;; 'EQL and we know from the type of ITEM that it #'EQ
 328                 ;; works like #'EQL on it. (E.g. types FIXNUM, CHARACTER,
 329                 ;; and SYMBOL.)
 330                 ;;   If TEST is EQ, apply transform, else
 331                 ;;   if test is not EQL, then give up on transform, else
 332                 ;;   if ITEM is not a NUMBER or is a FIXNUM, apply
 333                 ;;   transform, else give up on transform.
 334                 (cond (test
 335                        (unless (lvar-fun-is test '(eq))
 336                          (give-up-ir1-transform)))
 337                       ((types-equal-or-intersect (lvar-type item)
 338                                                  (specifier-type 'number))
 339                        (give-up-ir1-transform "Item might be a number.")))
 340                 `(,',eq-fun item list))))
 341   (def delete delq)
 342   (def assoc assq)
 343   (def member memq))
 344
 345 (deftransform delete-if ((pred list) (t list))
 346   "open code"
 347   '(do ((x list (cdr x))
 348         (splice '()))
 349        ((endp x) list)
 350      (cond ((funcall pred (car x))
 351             (if (null splice)
 352                 (setq list (cdr x))
 353                 (rplacd splice (cdr x))))
 354            (t (setq splice x)))))
 355
 356 (deftransform fill ((seq item &key (start 0) (end (length seq)))
 357                     (vector t &key (:start t) (:end index))
 358                     *
 359                     :policy (> speed space))
 360   "open code"
 361   (let ((element-type (upgraded-element-type-specifier-or-give-up seq)))
 362     (values
 363      `(with-array-data ((data seq)
 364                         (start start)
 365                         (end end))
 366        (declare (type (simple-array ,element-type 1) data))
 367        (declare (type fixnum start end))
 368        (do ((i start (1+ i)))
 369            ((= i end) seq)
 370          (declare (type index i))
 371          ;; WITH-ARRAY-DATA did our range checks once and for all, so
 372          ;; it'd be wasteful to check again on every AREF...
 373          (declare (optimize (safety 0)))
 374          (setf (aref data i) item)))
 375      ;; ... though we still need to check that the new element can fit
 376      ;; into the vector in safe code. -- CSR, 2002-07-05
 377      `((declare (type ,element-type item))))))
 378 \f
 379 ;;;; utilities
 380
 381 ;;; Return true if LVAR's only use is a non-NOTINLINE reference to a
 382 ;;; global function with one of the specified NAMES.
 383 (defun lvar-fun-is (lvar names)
 384   (declare (type lvar lvar) (list names))
 385   (let ((use (lvar-uses lvar)))
 386     (and (ref-p use)
 387          (let ((leaf (ref-leaf use)))
 388            (and (global-var-p leaf)
 389                 (eq (global-var-kind leaf) :global-function)
 390                 (not (null (member (leaf-source-name leaf) names
 391                                    :test #'equal))))))))
 392
 393 ;;; If LVAR is a constant lvar, the return the constant value. If it
 394 ;;; is null, then return default, otherwise quietly give up the IR1
 395 ;;; transform.
 396 ;;;
 397 ;;; ### Probably should take an ARG and flame using the NAME.
 398 (defun constant-value-or-lose (lvar &optional default)
 399   (declare (type (or lvar null) lvar))
 400   (cond ((not lvar) default)
 401         ((constant-lvar-p lvar)
 402          (lvar-value lvar))
 403         (t
 404          (give-up-ir1-transform))))
 405
 406 ;;; FIXME: Why is this code commented out? (Why *was* it commented
 407 ;;; out? We inherited this situation from cmucl-2.4.8, with no
 408 ;;; explanation.) Should we just delete this code?
 409 #|
 410 ;;; This is a frob whose job it is to make it easier to pass around
 411 ;;; the arguments to IR1 transforms. It bundles together the name of
 412 ;;; the argument (which should be referenced in any expansion), and
 413 ;;; the continuation for that argument (or NIL if unsupplied.)
 414 (defstruct (arg (:constructor %make-arg (name cont))
 415                 (:copier nil))
 416   (name nil :type symbol)
 417   (cont nil :type (or continuation null)))
 418 (defmacro make-arg (name)
 419   `(%make-arg ',name ,name))
 420
 421 ;;; If Arg is null or its CONT is null, then return Default, otherwise
 422 ;;; return Arg's NAME.
 423 (defun default-arg (arg default)
 424   (declare (type (or arg null) arg))
 425   (if (and arg (arg-cont arg))
 426       (arg-name arg)
 427       default))
 428
 429 ;;; If Arg is null or has no CONT, return the default. Otherwise, Arg's
 430 ;;; CONT must be a constant continuation whose value we return. If not, we
 431 ;;; give up.
 432 (defun arg-constant-value (arg default)
 433   (declare (type (or arg null) arg))
 434   (if (and arg (arg-cont arg))
 435       (let ((cont (arg-cont arg)))
 436         (unless (constant-continuation-p cont)
 437           (give-up-ir1-transform "Argument is not constant: ~S."
 438                                  (arg-name arg)))
 439         (continuation-value from-end))
 440       default))
 441
 442 ;;; If Arg is a constant and is EQL to X, then return T, otherwise NIL. If
 443 ;;; Arg is NIL or its CONT is NIL, then compare to the default.
 444 (defun arg-eql (arg default x)
 445   (declare (type (or arg null) x))
 446   (if (and arg (arg-cont arg))
 447       (let ((cont (arg-cont arg)))
 448         (and (constant-continuation-p cont)
 449              (eql (continuation-value cont) x)))
 450       (eql default x)))
 451
 452 (defstruct (iterator (:copier nil))
 453   ;; The kind of iterator.
 454   (kind nil (member :normal :result))
 455   ;; A list of LET* bindings to create the initial state.
 456   (binds nil :type list)
 457   ;; A list of declarations for Binds.
 458   (decls nil :type list)
 459   ;; A form that returns the current value. This may be set with SETF to set
 460   ;; the current value.
 461   (current (error "Must specify CURRENT."))
 462   ;; In a :NORMAL iterator, a form that tests whether there is a current value.
 463   (done nil)
 464   ;; In a :RESULT iterator, a form that truncates the result at the current
 465   ;; position and returns it.
 466   (result nil)
 467   ;; A form that returns the initial total number of values. The result is
 468   ;; undefined after NEXT has been evaluated.
 469   (length (error "Must specify LENGTH."))
 470   ;; A form that advances the state to the next value. It is an error to call
 471   ;; this when the iterator is Done.
 472   (next (error "Must specify NEXT.")))
 473
 474 ;;; Type of an index var that can go negative (in the from-end case.)
 475 (deftype neg-index ()
 476   `(integer -1 ,most-positive-fixnum))
 477
 478 ;;; Return an ITERATOR structure describing how to iterate over an arbitrary
 479 ;;; sequence. Sequence is a variable bound to the sequence, and Type is the
 480 ;;; type of the sequence. If true, INDEX is a variable that should be bound to
 481 ;;; the index of the current element in the sequence.
 482 ;;;
 483 ;;; If we can't tell whether the sequence is a list or a vector, or whether
 484 ;;; the iteration is forward or backward, then GIVE-UP.
 485 (defun make-sequence-iterator (sequence type &key start end from-end index)
 486   (declare (symbol sequence) (type ctype type)
 487            (type (or arg null) start end from-end)
 488            (type (or symbol null) index))
 489   (let ((from-end (arg-constant-value from-end nil)))
 490     (cond ((csubtypep type (specifier-type 'vector))
 491            (let* ((n-stop (gensym))
 492                   (n-idx (or index (gensym)))
 493                   (start (default-arg 0 start))
 494                   (end (default-arg `(length ,sequence) end)))
 495              (make-iterator
 496               :kind :normal
 497               :binds `((,n-idx ,(if from-end `(1- ,end) ,start))
 498                        (,n-stop ,(if from-end `(1- ,start) ,end)))
 499               :decls `((type neg-index ,n-idx ,n-stop))
 500               :current `(aref ,sequence ,n-idx)
 501               :done `(,(if from-end '<= '>=) ,n-idx ,n-stop)
 502               :next `(setq ,n-idx
 503                            ,(if from-end `(1- ,n-idx) `(1+ ,n-idx)))
 504               :length (if from-end
 505                           `(- ,n-idx ,n-stop)
 506                           `(- ,n-stop ,n-idx)))))
 507           ((csubtypep type (specifier-type 'list))
 508            (let* ((n-stop (if (and end (not from-end)) (gensym) nil))
 509                   (n-current (gensym))
 510                   (start-p (not (arg-eql start 0 0)))
 511                   (end-p (not (arg-eql end nil nil)))
 512                   (start (default-arg start 0))
 513                   (end (default-arg end nil)))
 514              (make-iterator
 515               :binds `((,n-current
 516                         ,(if from-end
 517                              (if (or start-p end-p)
 518                                  `(nreverse (subseq ,sequence ,start
 519                                                     ,@(when end `(,end))))
 520                                  `(reverse ,sequence))
 521                              (if start-p
 522                                  `(nthcdr ,start ,sequence)
 523                                  sequence)))
 524                        ,@(when n-stop
 525                            `((,n-stop (nthcdr (the index
 526                                                    (- ,end ,start))
 527                                               ,n-current))))
 528                        ,@(when index
 529                            `((,index ,(if from-end `(1- ,end) start)))))
 530               :kind :normal
 531               :decls `((list ,n-current ,n-end)
 532                        ,@(when index `((type neg-index ,index))))
 533               :current `(car ,n-current)
 534               :done `(eq ,n-current ,n-stop)
 535               :length `(- ,(or end `(length ,sequence)) ,start)
 536               :next `(progn
 537                        (setq ,n-current (cdr ,n-current))
 538                        ,@(when index
 539                            `((setq ,n-idx
 540                                    ,(if from-end
 541                                         `(1- ,index)
 542                                         `(1+ ,index)))))))))
 543           (t
 544            (give-up-ir1-transform
 545             "can't tell whether sequence is a list or a vector")))))
 546
 547 ;;; Make an iterator used for constructing result sequences. Name is a
 548 ;;; variable to be bound to the result sequence. Type is the type of result
 549 ;;; sequence to make. Length is an expression to be evaluated to get the
 550 ;;; maximum length of the result (not evaluated in list case.)
 551 (defun make-result-sequence-iterator (name type length)
 552   (declare (symbol name) (type ctype type))
 553
 554 ;;; Define each NAME as a local macro that will call the value of the
 555 ;;; function arg with the given arguments. If the argument isn't known to be a
 556 ;;; function, give them an efficiency note and reference a coerced version.
 557 (defmacro coerce-funs (specs &body body)
 558   #!+sb-doc
 559   "COERCE-FUNCTIONS ({(Name Fun-Arg Default)}*) Form*"
 560   (collect ((binds)
 561             (defs))
 562     (dolist (spec specs)
 563       `(let ((body (progn ,@body))
 564              (n-fun (arg-name ,(second spec)))
 565              (fun-cont (arg-cont ,(second spec))))
 566          (cond ((not fun-cont)
 567                 `(macrolet ((,',(first spec) (&rest args)
 568                              `(,',',(third spec) ,@args)))
 569                    ,body))
 570                ((not (csubtypep (continuation-type fun-cont)
 571                                 (specifier-type 'function)))
 572                 (when (policy *compiler-error-context*
 573                               (> speed inhibit-warnings))
 574                   (compiler-notify
 575                    "~S may not be a function, so must coerce at run-time."
 576                    n-fun))
 577                 (once-only ((n-fun `(if (functionp ,n-fun)
 578                                         ,n-fun
 579                                         (symbol-function ,n-fun))))
 580                   `(macrolet ((,',(first spec) (&rest args)
 581                                `(funcall ,',n-fun ,@args)))
 582                      ,body)))
 583                (t
 584                 `(macrolet ((,',(first spec) (&rest args)
 585                               `(funcall ,',n-fun ,@args)))
 586                    ,body)))))))
 587
 588 ;;; Wrap code around the result of the body to define Name as a local macro
 589 ;;; that returns true when its arguments satisfy the test according to the Args
 590 ;;; Test and Test-Not. If both Test and Test-Not are supplied, abort the
 591 ;;; transform.
 592 (defmacro with-sequence-test ((name test test-not) &body body)
 593   `(let ((not-p (arg-cont ,test-not)))
 594      (when (and (arg-cont ,test) not-p)
 595        (abort-ir1-transform "Both ~S and ~S were supplied."
 596                             (arg-name ,test)
 597                             (arg-name ,test-not)))
 598      (coerce-funs ((,name (if not-p ,test-not ,test) eql))
 599        ,@body)))
 600 |#
 601 \f
 602 ;;;; hairy sequence transforms
 603
 604 ;;; FIXME: no hairy sequence transforms in SBCL?
 605 \f
 606 ;;;; string operations
 607
 608 ;;; We transform the case-sensitive string predicates into a non-keyword
 609 ;;; version. This is an IR1 transform so that we don't have to worry about
 610 ;;; changing the order of evaluation.
 611 (macrolet ((def (fun pred*)
 612              `(deftransform ,fun ((string1 string2 &key (start1 0) end1
 613                                                          (start2 0) end2)
 614                                    * *)
 615                 `(,',pred* string1 string2 start1 end1 start2 end2))))
 616   (def string< string<*)
 617   (def string> string>*)
 618   (def string<= string<=*)
 619   (def string>= string>=*)
 620   (def string= string=*)
 621   (def string/= string/=*))
 622
 623 ;;; Return a form that tests the free variables STRING1 and STRING2
 624 ;;; for the ordering relationship specified by LESSP and EQUALP. The
 625 ;;; start and end are also gotten from the environment. Both strings
 626 ;;; must be SIMPLE-BASE-STRINGs.
 627 (macrolet ((def (name lessp equalp)
 628              `(deftransform ,name ((string1 string2 start1 end1 start2 end2)
 629                                    (simple-base-string simple-base-string t t t t) *)
 630                 `(let* ((end1 (if (not end1) (length string1) end1))
 631                         (end2 (if (not end2) (length string2) end2))
 632                         (index (sb!impl::%sp-string-compare
 633                                 string1 start1 end1 string2 start2 end2)))
 634                   (if index
 635                       (cond ((= index end1)
 636                              ,(if ',lessp 'index nil))
 637                             ((= (+ index (- start2 start1)) end2)
 638                              ,(if ',lessp nil 'index))
 639                             ((,(if ',lessp 'char< 'char>)
 640                                (schar string1 index)
 641                                (schar string2
 642                                       (truly-the index
 643                                                  (+ index
 644                                                     (truly-the fixnum
 645                                                                (- start2
 646                                                                   start1))))))
 647                              index)
 648                             (t nil))
 649                       ,(if ',equalp 'end1 nil))))))
 650   (def string<* t nil)
 651   (def string<=* t t)
 652   (def string>* nil nil)
 653   (def string>=* nil t))
 654
 655 (macrolet ((def (name result-fun)
 656              `(deftransform ,name ((string1 string2 start1 end1 start2 end2)
 657                                    (simple-base-string simple-base-string t t t t) *)
 658                 `(,',result-fun
 659                   (sb!impl::%sp-string-compare
 660                    string1 start1 (or end1 (length string1))
 661                    string2 start2 (or end2 (length string2)))))))
 662   (def string=* not)
 663   (def string/=* identity))
 664
 665 \f
 666 ;;;; transforms for sequence functions
 667
 668 ;;; Moved here from generic/vm-tran.lisp to satisfy clisp.  Only applies
 669 ;;; to vectors based on simple arrays.
 670 (def!constant vector-data-bit-offset
 671   (* sb!vm:vector-data-offset sb!vm:n-word-bits))
 672
 673 (eval-when (:compile-toplevel)
 674 (defun valid-bit-bash-saetp-p (saetp)
 675   ;; BIT-BASHing isn't allowed on simple vectors that contain pointers
 676   (and (not (eq t (sb!vm:saetp-specifier saetp)))
 677        ;; Disallowing (VECTOR NIL) also means that we won't transform
 678        ;; sequence functions into bit-bashing code and we let the
 679        ;; generic sequence functions signal errors if necessary.
 680        (not (zerop (sb!vm:saetp-n-bits saetp)))
 681        ;; Due to limitations with the current BIT-BASHing code, we can't
 682        ;; BIT-BASH reliably on arrays whose element types are larger
 683        ;; than the word size.
 684        (<= (sb!vm:saetp-n-bits saetp) sb!vm:n-word-bits)))
 685 ) ; EVAL-WHEN
 686
 687 ;;; FIXME: In the copy loops below, we code the loops in a strange
 688 ;;; fashion:
 689 ;;;
 690 ;;; (do ((i (+ src-offset length) (1- i)))
 691 ;;;     ((<= i 0) ...)
 692 ;;;   (... (aref foo (1- i)) ...))
 693 ;;;
 694 ;;; rather than the more natural (and seemingly more efficient):
 695 ;;;
 696 ;;; (do ((i (1- (+ src-offset length)) (1- i)))
 697 ;;;     ((< i 0) ...)
 698 ;;;   (... (aref foo i) ...))
 699 ;;;
 700 ;;; (more efficient because we don't have to do the index adjusting on
 701 ;;; every iteration of the loop)
 702 ;;;
 703 ;;; We do this to avoid a suboptimality in SBCL's backend.  In the
 704 ;;; latter case, the backend thinks I is a FIXNUM (which it is), but
 705 ;;; when used as an array index, the backend thinks I is a
 706 ;;; POSITIVE-FIXNUM (which it is).  However, since the backend thinks of
 707 ;;; these as distinct storage classes, it cannot coerce a move from a
 708 ;;; FIXNUM TN to a POSITIVE-FIXNUM TN.  The practical effect of this
 709 ;;; deficiency is that we have two extra moves and increased register
 710 ;;; pressure, which can lead to some spectacularly bad register
 711 ;;; allocation.  (sub-FIXME: the register allocation even with the
 712 ;;; strangely written loops is not always excellent, either...).  Doing
 713 ;;; it the first way, above, means that I is always thought of as a
 714 ;;; POSITIVE-FIXNUM and there are no issues.
 715 ;;;
 716 ;;; Besides, the *-WITH-OFFSET machinery will fold those index
 717 ;;; adjustments in the first version into the array addressing at no
 718 ;;; performance penalty!
 719
 720 ;;; This transform is critical to the performance of string streams.  If
 721 ;;; you tweak it, make sure that you compare the disassembly, if not the
 722 ;;; performance of, the functions implementing string streams
 723 ;;; (e.g. SB!IMPL::STRING-OUCH).
 724 (macrolet
 725     ((define-replace-transforms ()
 726        (loop for saetp across sb!vm:*specialized-array-element-type-properties*
 727              for sequence-type = `(simple-array ,(sb!vm:saetp-specifier saetp) (*))
 728              unless (= (sb!vm:saetp-typecode saetp) sb!vm::simple-array-nil-widetag)
 729              collect
 730             `(deftransform replace ((seq1 seq2 &key (start1 0) (start2 0) end1 end2)
 731                                     (,sequence-type ,sequence-type &rest t)
 732                                     ,sequence-type
 733                                     :node node)
 734                ,(cond
 735                  ((valid-bit-bash-saetp-p saetp) nil)
 736                  ;; If we're not bit-bashing, only allow cases where we
 737                  ;; can determine the order of copying up front.  (There
 738                  ;; are actually more cases we can handle if we know the
 739                  ;; amount that we're copying, but this handles the
 740                  ;; common cases.)
 741                  (t '(unless (= (constant-value-or-lose start1 0)
 742                               (constant-value-or-lose start2 0))
 743                       (give-up-ir1-transform))))
 744                `(let* ((len1 (length seq1))
 745                        (len2 (length seq2))
 746                        (end1 (or end1 len1))
 747                        (end2 (or end2 len2))
 748                        (replace-len1 (- end1 start1))
 749                        (replace-len2 (- end2 start2)))
 750                   ,(unless (policy node (= safety 0))
 751                            `(progn
 752                               (unless (<= 0 start1 end1 len1)
 753                                 (sb!impl::signal-bounding-indices-bad-error seq1 start1 end1))
 754                               (unless (<= 0 start2 end2 len2)
 755                                 (sb!impl::signal-bounding-indices-bad-error seq2 start2 end2))))
 756                   ,',(cond
 757                       ((valid-bit-bash-saetp-p saetp)
 758                        (let* ((n-element-bits (sb!vm:saetp-n-bits saetp))
 759                               (bash-function (intern (format nil "UB~D-BASH-COPY" n-element-bits)
 760                                                      (find-package "SB!KERNEL"))))
 761                          `(funcall (function ,bash-function) seq2 start2
 762                                    seq1 start1 (min replace-len1 replace-len2))))
 763                       (t
 764                        ;; We can expand the loop inline here because we
 765                        ;; would have given up the transform (see above)
 766                        ;; if we didn't have constant matching start
 767                        ;; indices.
 768                        '(do ((i start1 (1+ i))
 769                              (end (+ start1
 770                                      (min replace-len1 replace-len2))))
 771                          ((>= i end))
 772                          (declare (optimize (insert-array-bounds-checks 0)))
 773                          (setf (aref seq1 i) (aref seq2 i)))))
 774                   seq1))
 775              into forms
 776              finally (return `(progn ,@forms)))))
 777   (define-replace-transforms))
 778
 779 ;;; Expand simple cases of UB<SIZE>-BASH-COPY inline.  "simple" is
 780 ;;; defined as those cases where we are doing word-aligned copies from
 781 ;;; both the source and the destination and we are copying from the same
 782 ;;; offset from both the source and the destination.  (The last
 783 ;;; condition is there so we can determine the direction to copy at
 784 ;;; compile time rather than runtime.  Remember that UB<SIZE>-BASH-COPY
 785 ;;; acts like memmove, not memcpy.)  These conditions may seem rather
 786 ;;; restrictive, but they do catch common cases, like allocating a (* 2
 787 ;;; N)-size buffer and blitting in the old N-size buffer in.
 788
 789 (defun frob-bash-transform (src src-offset
 790                             dst dst-offset
 791                             length n-elems-per-word)
 792   (declare (ignore src dst length))
 793   (let ((n-bits-per-elem (truncate sb!vm:n-word-bits n-elems-per-word)))
 794     (multiple-value-bind (src-word src-elt)
 795         (truncate (lvar-value src-offset) n-elems-per-word)
 796       (multiple-value-bind (dst-word dst-elt)
 797           (truncate (lvar-value dst-offset) n-elems-per-word)
 798         ;; Avoid non-word aligned copies.
 799         (unless (and (zerop src-elt) (zerop dst-elt))
 800           (give-up-ir1-transform))
 801         ;; Avoid copies where we would have to insert code for
 802         ;; determining the direction of copying.
 803         (unless (= src-word dst-word)
 804           (give-up-ir1-transform))
 805         ;; FIXME: The cross-compiler doesn't optimize TRUNCATE properly,
 806         ;; so we have to do its work here.
 807         `(let ((end (+ ,src-word ,(if (= n-elems-per-word 1)
 808                                       'length
 809                                       `(truncate (the index length) ,n-elems-per-word)))))
 810            (declare (type index end))
 811            ;; Handle any bits at the end.
 812            (when (logtest length (1- ,n-elems-per-word))
 813              (let* ((extra (mod length ,n-elems-per-word))
 814                     ;; FIXME: The shift amount on this ASH is
 815                     ;; *always* negative, but the backend doesn't
 816                     ;; have a NEGATIVE-FIXNUM primitive type, so we
 817                     ;; wind up with a pile of code that tests the
 818                     ;; sign of the shift count prior to shifting when
 819                     ;; all we need is a simple negate and shift
 820                     ;; right.  Yuck.
 821                     (mask (ash #.(1- (ash 1 sb!vm:n-word-bits))
 822                                (* (- extra ,n-elems-per-word)
 823                                   ,n-bits-per-elem))))
 824                (setf (sb!kernel:%vector-raw-bits dst end)
 825                      (logior
 826                       (logandc2 (sb!kernel:%vector-raw-bits dst end)
 827                                 (ash mask
 828                                      ,(ecase sb!c:*backend-byte-order*
 829                                              (:little-endian 0)
 830                                              (:big-endian `(* (- ,n-elems-per-word extra)
 831                                                               ,n-bits-per-elem)))))
 832                       (logand (sb!kernel:%vector-raw-bits src end)
 833                               (ash mask
 834                                    ,(ecase sb!c:*backend-byte-order*
 835                                            (:little-endian 0)
 836                                            (:big-endian `(* (- ,n-elems-per-word extra)
 837                                                             ,n-bits-per-elem)))))))))
 838            ;; Copy from the end to save a register.
 839            (do ((i end (1- i)))
 840                ((<= i ,src-word))
 841              (setf (sb!kernel:%vector-raw-bits dst (1- i))
 842                    (sb!kernel:%vector-raw-bits src (1- i)))))))))
 843
 844 #.(loop for i = 1 then (* i 2)
 845         collect `(deftransform ,(intern (format nil "UB~D-BASH-COPY" i)
 846                                         "SB!KERNEL")
 847                                                         ((src src-offset
 848                                                           dst dst-offset
 849                                                           length)
 850                                                         ((simple-unboxed-array (*))
 851                                                          (constant-arg index)
 852                                                          (simple-unboxed-array (*))
 853                                                          (constant-arg index)
 854                                                          index)
 855                                                         *)
 856                   (frob-bash-transform src src-offset
 857                                        dst dst-offset length
 858                                        ,(truncate sb!vm:n-word-bits i))) into forms
 859         until (= i sb!vm:n-word-bits)
 860         finally (return `(progn ,@forms)))
 861
 862 ;;; We expand copy loops inline in SUBSEQ and COPY-SEQ if we're copying
 863 ;;; arrays with elements of size >= the word size.  We do this because
 864 ;;; we know the arrays cannot alias (one was just consed), therefore we
 865 ;;; can determine at compile time the direction to copy, and for
 866 ;;; word-sized elements, UB<WORD-SIZE>-BASH-COPY will do a bit of
 867 ;;; needless checking to figure out what's going on.  The same
 868 ;;; considerations apply if we are copying elements larger than the word
 869 ;;; size, with the additional twist that doing it inline is likely to
 870 ;;; cons far less than calling REPLACE and letting generic code do the
 871 ;;; work.
 872 ;;;
 873 ;;; However, we do not do this for elements whose size is < than the
 874 ;;; word size because we don't want to deal with any alignment issues
 875 ;;; inline.  The UB*-BASH-COPY transforms might fix things up later
 876 ;;; anyway.
 877
 878 (defun maybe-expand-copy-loop-inline (src src-offset dst dst-offset length
 879                                       element-type)
 880   (let ((saetp (find-saetp element-type)))
 881     (aver saetp)
 882     (if (>= (sb!vm:saetp-n-bits saetp) sb!vm:n-word-bits)
 883         (expand-aref-copy-loop src src-offset dst dst-offset length)
 884         `(locally (declare (optimize (safety 0)))
 885            (replace ,dst ,src :start1 ,dst-offset :start2 ,src-offset :end1 ,length)))))
 886
 887 (defun expand-aref-copy-loop (src src-offset dst dst-offset length)
 888   (if (eql src-offset dst-offset)
 889       `(do ((i (+ ,src-offset ,length) (1- i)))
 890            ((<= i ,src-offset))
 891          (declare (optimize (insert-array-bounds-checks 0)))
 892          (setf (aref ,dst (1- i)) (aref ,src (1- i))))
 893       `(do ((i (+ ,src-offset ,length) (1- i))
 894             (j (+ ,dst-offset ,length) (1- j)))
 895            ((<= i ,src-offset))
 896          (declare (optimize (insert-array-bounds-checks 0)))
 897          (setf (aref ,dst (1- j)) (aref ,src (1- i))))))
 898
 899 (deftransform subseq ((seq start &optional end)
 900                       ((or (simple-unboxed-array (*)) simple-vector) t &optional t)
 901                       * :node node)
 902   (let ((array-type (lvar-type seq)))
 903     (unless (array-type-p array-type)
 904       (give-up-ir1-transform))
 905     (let ((element-type (type-specifier (array-type-specialized-element-type array-type))))
 906       `(let* ((length (length seq))
 907               (end (or end length)))
 908          ,(unless (policy node (= safety 0))
 909                   '(progn
 910                     (unless (<= 0 start end length)
 911                       (sb!impl::signal-bounding-indices-bad-error seq start end))))
 912          (let* ((size (- end start))
 913                 (result (make-array size :element-type ',element-type)))
 914            ,(maybe-expand-copy-loop-inline 'seq 'start 'result 0 'size element-type)
 915            result)))))
 916
 917 (deftransform copy-seq ((seq) ((or (simple-unboxed-array (*)) simple-vector)) *)
 918   (let ((array-type (lvar-type seq)))
 919     (unless (array-type-p array-type)
 920       (give-up-ir1-transform))
 921     (let ((element-type (type-specifier (array-type-specialized-element-type array-type))))
 922       `(let* ((length (length seq))
 923               (result (make-array length :element-type ',element-type)))
 924          ,(maybe-expand-copy-loop-inline 'seq 0 'result 0 'length element-type)
 925          result))))
 926
 927 ;;; FIXME: it really should be possible to take advantage of the
 928 ;;; macros used in code/seq.lisp here to avoid duplication of code,
 929 ;;; and enable even funkier transformations.
 930 (deftransform search ((pattern text &key (start1 0) (start2 0) end1 end2
 931                                (test #'eql)
 932                                (key #'identity)
 933                                from-end)
 934                       (vector vector &rest t)
 935                       *
 936                       :policy (> speed (max space safety)))
 937   "open code"
 938   (let ((from-end (when (lvar-p from-end)
 939                     (unless (constant-lvar-p from-end)
 940                       (give-up-ir1-transform ":FROM-END is not constant."))
 941                     (lvar-value from-end)))
 942         (keyp (lvar-p key))
 943         (testp (lvar-p test)))
 944     `(block search
 945        (let ((end1 (or end1 (length pattern)))
 946              (end2 (or end2 (length text)))
 947              ,@(when keyp
 948                      '((key (coerce key 'function))))
 949              ,@(when testp
 950                      '((test (coerce test 'function)))))
 951          (declare (type index start1 start2 end1 end2))
 952          (do (,(if from-end
 953                    '(index2 (- end2 (- end1 start1)) (1- index2))
 954                    '(index2 start2 (1+ index2))))
 955              (,(if from-end
 956                    '(< index2 start2)
 957                    '(>= index2 end2))
 958               nil)
 959            ;; INDEX2 is FIXNUM, not an INDEX, as right before the loop
 960            ;; terminates is hits -1 when :FROM-END is true and :START2
 961            ;; is 0.
 962            (declare (type fixnum index2))
 963            (when (do ((index1 start1 (1+ index1))
 964                       (index2 index2 (1+ index2)))
 965                      ((>= index1 end1) t)
 966                    (declare (type index index1 index2))
 967                    ,@(unless from-end
 968                              '((when (= index2 end2)
 969                                  (return-from search nil))))
 970                    (unless (,@(if testp
 971                                   '(funcall test)
 972                                   '(eql))
 973                               ,(if keyp
 974                                    '(funcall key (aref pattern index1))
 975                                    '(aref pattern index1))
 976                               ,(if keyp
 977                                    '(funcall key (aref text index2))
 978                                    '(aref text index2)))
 979                      (return nil)))
 980              (return index2)))))))
 981
 982 ;;; FIXME: It seems as though it should be possible to make a DEFUN
 983 ;;; %CONCATENATE (with a DEFTRANSFORM to translate constant RTYPE to
 984 ;;; CTYPE before calling %CONCATENATE) which is comparably efficient,
 985 ;;; at least once DYNAMIC-EXTENT works.
 986 ;;;
 987 ;;; FIXME: currently KLUDGEed because of bug 188
 988 ;;;
 989 ;;; FIXME: disabled for sb-unicode: probably want it back
 990 #!-sb-unicode
 991 (deftransform concatenate ((rtype &rest sequences)
 992                            (t &rest (or simple-base-string
 993                                         (simple-array nil (*))))
 994                            simple-base-string
 995                            :policy (< safety 3))
 996   (loop for rest-seqs on sequences
 997         for n-seq = (gensym "N-SEQ")
 998         for n-length = (gensym "N-LENGTH")
 999         for start = 0 then next-start
1000         for next-start = (gensym "NEXT-START")
1001         collect n-seq into args
1002         collect `(,n-length (length ,n-seq)) into lets
1003         collect n-length into all-lengths
1004         collect next-start into starts
1005         collect `(if (and (typep ,n-seq '(simple-array nil (*)))
1006                           (> ,n-length 0))
1007                      (error 'nil-array-accessed-error)
1008                      (#.(let* ((i (position 'character sb!kernel::*specialized-array-element-types*))
1009                                (saetp (aref sb!vm:*specialized-array-element-type-properties* i))
1010                                (n-bits (sb!vm:saetp-n-bits saetp)))
1011                           (intern (format nil "UB~D-BASH-COPY" n-bits)
1012                                   "SB!KERNEL"))
1013                         ,n-seq 0 res ,start ,n-length))
1014                 into forms
1015         collect `(setq ,next-start (+ ,start ,n-length)) into forms
1016         finally
1017         (return
1018           `(lambda (rtype ,@args)
1019              (declare (ignore rtype))
1020              (let* (,@lets
1021                     (res (make-string (the index (+ ,@all-lengths))
1022                                       :element-type 'base-char)))
1023                (declare (type index ,@all-lengths))
1024                (let (,@(mapcar (lambda (name) `(,name 0)) starts))
1025                  (declare (type index ,@starts))
1026                  ,@forms)
1027                res)))))
1028 \f
1029 ;;;; CONS accessor DERIVE-TYPE optimizers
1030
1031 (defoptimizer (car derive-type) ((cons))
1032   (let ((type (lvar-type cons))
1033         (null-type (specifier-type 'null)))
1034     (cond ((eq type null-type)
1035            null-type)
1036           ((cons-type-p type)
1037            (cons-type-car-type type)))))
1038
1039 (defoptimizer (cdr derive-type) ((cons))
1040   (let ((type (lvar-type cons))
1041         (null-type (specifier-type 'null)))
1042     (cond ((eq type null-type)
1043            null-type)
1044           ((cons-type-p type)
1045            (cons-type-cdr-type type)))))
1046 \f
1047 ;;;; FIND, POSITION, and their -IF and -IF-NOT variants
1048
1049 ;;; We want to make sure that %FIND-POSITION is inline-expanded into
1050 ;;; %FIND-POSITION-IF only when %FIND-POSITION-IF has an inline
1051 ;;; expansion, so we factor out the condition into this function.
1052 (defun check-inlineability-of-find-position-if (sequence from-end)
1053   (let ((ctype (lvar-type sequence)))
1054     (cond ((csubtypep ctype (specifier-type 'vector))
1055            ;; It's not worth trying to inline vector code unless we
1056            ;; know a fair amount about it at compile time.
1057            (upgraded-element-type-specifier-or-give-up sequence)
1058            (unless (constant-lvar-p from-end)
1059              (give-up-ir1-transform
1060               "FROM-END argument value not known at compile time")))
1061           ((csubtypep ctype (specifier-type 'list))
1062            ;; Inlining on lists is generally worthwhile.
1063            )
1064           (t
1065            (give-up-ir1-transform
1066             "sequence type not known at compile time")))))
1067
1068 ;;; %FIND-POSITION-IF and %FIND-POSITION-IF-NOT for LIST data
1069 (macrolet ((def (name condition)
1070              `(deftransform ,name ((predicate sequence from-end start end key)
1071                                    (function list t t t function)
1072                                    *
1073                                    :policy (> speed space))
1074                 "expand inline"
1075                 `(let ((index 0)
1076                        (find nil)
1077                        (position nil))
1078                    (declare (type index index))
1079                    (dolist (i sequence
1080                             (if (and end (> end index))
1081                                 (sb!impl::signal-bounding-indices-bad-error
1082                                  sequence start end)
1083                                 (values find position)))
1084                      (let ((key-i (funcall key i)))
1085                        (when (and end (>= index end))
1086                          (return (values find position)))
1087                        (when (>= index start)
1088                          (,',condition (funcall predicate key-i)
1089                           ;; This hack of dealing with non-NIL
1090                           ;; FROM-END for list data by iterating
1091                           ;; forward through the list and keeping
1092                           ;; track of the last time we found a match
1093                           ;; might be more screwy than what the user
1094                           ;; expects, but it seems to be allowed by
1095                           ;; the ANSI standard. (And if the user is
1096                           ;; screwy enough to ask for FROM-END
1097                           ;; behavior on list data, turnabout is
1098                           ;; fair play.)
1099                           ;;
1100                           ;; It's also not enormously efficient,
1101                           ;; calling PREDICATE and KEY more often
1102                           ;; than necessary; but all the
1103                           ;; alternatives seem to have their own
1104                           ;; efficiency problems.
1105                           (if from-end
1106                               (setf find i
1107                                     position index)
1108                               (return (values i index))))))
1109                      (incf index))))))
1110   (def %find-position-if when)
1111   (def %find-position-if-not unless))
1112
1113 ;;; %FIND-POSITION for LIST data can be expanded into %FIND-POSITION-IF
1114 ;;; without loss of efficiency. (I.e., the optimizer should be able
1115 ;;; to straighten everything out.)
1116 (deftransform %find-position ((item sequence from-end start end key test)
1117                               (t list t t t t t)
1118                               *
1119                               :policy (> speed space))
1120   "expand inline"
1121   '(%find-position-if (let ((test-fun (%coerce-callable-to-fun test)))
1122                         ;; The order of arguments for asymmetric tests
1123                         ;; (e.g. #'<, as opposed to order-independent
1124                         ;; tests like #'=) is specified in the spec
1125                         ;; section 17.2.1 -- the O/Zi stuff there.
1126                         (lambda (i)
1127                           (funcall test-fun item i)))
1128                       sequence
1129                       from-end
1130                       start
1131                       end
1132                       (%coerce-callable-to-fun key)))
1133
1134 ;;; The inline expansions for the VECTOR case are saved as macros so
1135 ;;; that we can share them between the DEFTRANSFORMs and the default
1136 ;;; cases in the DEFUNs. (This isn't needed for the LIST case, because
1137 ;;; the DEFTRANSFORMs for LIST are less choosy about when to expand.)
1138 (defun %find-position-or-find-position-if-vector-expansion (sequence-arg
1139                                                             from-end
1140                                                             start
1141                                                             end-arg
1142                                                             element
1143                                                             done-p-expr)
1144   (with-unique-names (offset block index n-sequence sequence n-end end)
1145     `(let ((,n-sequence ,sequence-arg)
1146            (,n-end ,end-arg))
1147        (with-array-data ((,sequence ,n-sequence :offset-var ,offset)
1148                          (,start ,start)
1149                          (,end (%check-vector-sequence-bounds
1150                                 ,n-sequence ,start ,n-end)))
1151          (block ,block
1152            (macrolet ((maybe-return ()
1153                         ;; WITH-ARRAY-DATA has already performed bounds
1154                         ;; checking, so we can safely elide the checks
1155                         ;; in the inner loop.
1156                         '(let ((,element (locally (declare (optimize (insert-array-bounds-checks 0)))
1157                                            (aref ,sequence ,index))))
1158                            (when ,done-p-expr
1159                              (return-from ,block
1160                                (values ,element
1161                                        (- ,index ,offset)))))))
1162              (if ,from-end
1163                  (loop for ,index
1164                        ;; (If we aren't fastidious about declaring that
1165                        ;; INDEX might be -1, then (FIND 1 #() :FROM-END T)
1166                        ;; can send us off into never-never land, since
1167                        ;; INDEX is initialized to -1.)
1168                        of-type index-or-minus-1
1169                        from (1- ,end) downto ,start do
1170                        (maybe-return))
1171                  (loop for ,index of-type index from ,start below ,end do
1172                        (maybe-return))))
1173            (values nil nil))))))
1174
1175 (def!macro %find-position-vector-macro (item sequence
1176                                              from-end start end key test)
1177   (with-unique-names (element)
1178     (%find-position-or-find-position-if-vector-expansion
1179      sequence
1180      from-end
1181      start
1182      end
1183      element
1184      ;; (See the LIST transform for a discussion of the correct
1185      ;; argument order, i.e. whether the searched-for ,ITEM goes before
1186      ;; or after the checked sequence element.)
1187      `(funcall ,test ,item (funcall ,key ,element)))))
1188
1189 (def!macro %find-position-if-vector-macro (predicate sequence
1190                                                      from-end start end key)
1191   (with-unique-names (element)
1192     (%find-position-or-find-position-if-vector-expansion
1193      sequence
1194      from-end
1195      start
1196      end
1197      element
1198      `(funcall ,predicate (funcall ,key ,element)))))
1199
1200 (def!macro %find-position-if-not-vector-macro (predicate sequence
1201                                                          from-end start end key)
1202   (with-unique-names (element)
1203     (%find-position-or-find-position-if-vector-expansion
1204      sequence
1205      from-end
1206      start
1207      end
1208      element
1209      `(not (funcall ,predicate (funcall ,key ,element))))))
1210
1211 ;;; %FIND-POSITION, %FIND-POSITION-IF and %FIND-POSITION-IF-NOT for
1212 ;;; VECTOR data
1213 (deftransform %find-position-if ((predicate sequence from-end start end key)
1214                                  (function vector t t t function)
1215                                  *
1216                                  :policy (> speed space))
1217   "expand inline"
1218   (check-inlineability-of-find-position-if sequence from-end)
1219   '(%find-position-if-vector-macro predicate sequence
1220                                    from-end start end key))
1221
1222 (deftransform %find-position-if-not ((predicate sequence from-end start end key)
1223                                      (function vector t t t function)
1224                                      *
1225                                      :policy (> speed space))
1226   "expand inline"
1227   (check-inlineability-of-find-position-if sequence from-end)
1228   '(%find-position-if-not-vector-macro predicate sequence
1229                                        from-end start end key))
1230
1231 (deftransform %find-position ((item sequence from-end start end key test)
1232                               (t vector t t t function function)
1233                               *
1234                               :policy (> speed space))
1235   "expand inline"
1236   (check-inlineability-of-find-position-if sequence from-end)
1237   '(%find-position-vector-macro item sequence
1238                                 from-end start end key test))
1239
1240 ;;; logic to unravel :TEST, :TEST-NOT, and :KEY options in FIND,
1241 ;;; POSITION-IF, etc.
1242 (define-source-transform effective-find-position-test (test test-not)
1243   (once-only ((test test)
1244               (test-not test-not))
1245     `(cond
1246       ((and ,test ,test-not)
1247        (error "can't specify both :TEST and :TEST-NOT"))
1248       (,test (%coerce-callable-to-fun ,test))
1249       (,test-not
1250        ;; (Without DYNAMIC-EXTENT, this is potentially horribly
1251        ;; inefficient, but since the TEST-NOT option is deprecated
1252        ;; anyway, we don't care.)
1253        (complement (%coerce-callable-to-fun ,test-not)))
1254       (t #'eql))))
1255 (define-source-transform effective-find-position-key (key)
1256   (once-only ((key key))
1257     `(if ,key
1258          (%coerce-callable-to-fun ,key)
1259          #'identity)))
1260
1261 (macrolet ((define-find-position (fun-name values-index)
1262              `(deftransform ,fun-name ((item sequence &key
1263                                              from-end (start 0) end
1264                                              key test test-not)
1265                                        (t (or list vector) &rest t))
1266                 '(nth-value ,values-index
1267                             (%find-position item sequence
1268                                             from-end start
1269                                             end
1270                                             (effective-find-position-key key)
1271                                             (effective-find-position-test
1272                                              test test-not))))))
1273   (define-find-position find 0)
1274   (define-find-position position 1))
1275
1276 (macrolet ((define-find-position-if (fun-name values-index)
1277              `(deftransform ,fun-name ((predicate sequence &key
1278                                                   from-end (start 0)
1279                                                   end key)
1280                                        (t (or list vector) &rest t))
1281                 '(nth-value
1282                   ,values-index
1283                   (%find-position-if (%coerce-callable-to-fun predicate)
1284                                      sequence from-end
1285                                      start end
1286                                      (effective-find-position-key key))))))
1287   (define-find-position-if find-if 0)
1288   (define-find-position-if position-if 1))
1289
1290 ;;; the deprecated functions FIND-IF-NOT and POSITION-IF-NOT. We
1291 ;;; didn't bother to worry about optimizing them, except note that on
1292 ;;; Sat, Oct 06, 2001 at 04:22:38PM +0100, Christophe Rhodes wrote on
1293 ;;; sbcl-devel
1294 ;;;
1295 ;;;     My understanding is that while the :test-not argument is
1296 ;;;     deprecated in favour of :test (complement #'foo) because of
1297 ;;;     semantic difficulties (what happens if both :test and :test-not
1298 ;;;     are supplied, etc) the -if-not variants, while officially
1299 ;;;     deprecated, would be undeprecated were X3J13 actually to produce
1300 ;;;     a revised standard, as there are perfectly legitimate idiomatic
1301 ;;;     reasons for allowing the -if-not versions equal status,
1302 ;;;     particularly remove-if-not (== filter).
1303 ;;;
1304 ;;;     This is only an informal understanding, I grant you, but
1305 ;;;     perhaps it's worth optimizing the -if-not versions in the same
1306 ;;;     way as the others?
1307 ;;;
1308 ;;; FIXME: Maybe remove uses of these deprecated functions within the
1309 ;;; implementation of SBCL.
1310 (macrolet ((define-find-position-if-not (fun-name values-index)
1311                `(deftransform ,fun-name ((predicate sequence &key
1312                                           from-end (start 0)
1313                                           end key)
1314                                          (t (or list vector) &rest t))
1315                  '(nth-value
1316                    ,values-index
1317                    (%find-position-if-not (%coerce-callable-to-fun predicate)
1318                     sequence from-end
1319                     start end
1320                     (effective-find-position-key key))))))
1321   (define-find-position-if-not find-if-not 0)
1322   (define-find-position-if-not position-if-not 1))