src/compiler/represent.lisp

   1 ;;;; This file contains the implementation-independent code for the
   2 ;;;; representation selection phase in the compiler. Representation
   3 ;;;; selection decides whether to use non-descriptor representations
   4 ;;;; for objects and emits the appropriate representation-specific move
   5 ;;;; and coerce vops.
   6
   7 ;;;; This software is part of the SBCL system. See the README file for
   8 ;;;; more information.
   9 ;;;;
  10 ;;;; This software is derived from the CMU CL system, which was
  11 ;;;; written at Carnegie Mellon University and released into the
  12 ;;;; public domain. The software is in the public domain and is
  13 ;;;; provided with absolutely no warranty. See the COPYING and CREDITS
  14 ;;;; files for more information.
  15
  16 (in-package "SB!C")
  17 \f
  18 ;;;; error routines
  19 ;;;;
  20 ;;;; Problems in the VM definition often show up here, so we try to be
  21 ;;;; as implementor-friendly as possible.
  22
  23 ;;; Given a TN ref for a VOP argument or result, return these values:
  24 ;;; 1. True if the operand is an argument, false otherwise.
  25 ;;; 2. The ordinal position of the operand.
  26 ;;; 3. True if the operand is a more operand, false otherwise.
  27 ;;; 4. The costs for this operand.
  28 ;;; 5. The load-scs vector for this operand (NIL if more-p.)
  29 ;;; 6. True if the costs or SCs in the VOP-INFO are inconsistent with
  30 ;;;    the currently recorded ones.
  31 (defun get-operand-info (ref)
  32   (declare (type tn-ref ref))
  33   (let* ((arg-p (not (tn-ref-write-p ref)))
  34          (vop (tn-ref-vop ref))
  35          (info (vop-info vop)))
  36     (flet ((frob (refs costs load more-cost)
  37              (do ((refs refs (tn-ref-across refs))
  38                   (costs costs (cdr costs))
  39                   (load load (cdr load))
  40                   (n 0 (1+ n)))
  41                  ((null costs)
  42                   (aver more-cost)
  43                   (values arg-p
  44                           (+ n
  45                              (or (position-in #'tn-ref-across ref refs)
  46                                  (error "couldn't find REF?"))
  47                              1)
  48                           t
  49                           more-cost
  50                           nil
  51                           nil))
  52                (when (eq refs ref)
  53                  (let ((parse (vop-parse-or-lose (vop-info-name info))))
  54                    (multiple-value-bind (ccosts cscs)
  55                        (compute-loading-costs
  56                         (elt (if arg-p
  57                                  (vop-parse-args parse)
  58                                  (vop-parse-results parse))
  59                              n)
  60                         arg-p)
  61
  62                      (return
  63                       (values arg-p
  64                               (1+ n)
  65                               nil
  66                               (car costs)
  67                               (car load)
  68                               (not (and (equalp ccosts (car costs))
  69                                         (equalp cscs (car load))))))))))))
  70       (if arg-p
  71           (frob (vop-args vop) (vop-info-arg-costs info)
  72                 (vop-info-arg-load-scs info)
  73                 (vop-info-more-arg-costs info))
  74           (frob (vop-results vop) (vop-info-result-costs info)
  75                 (vop-info-result-load-scs info)
  76                 (vop-info-more-result-costs info))))))
  77
  78 ;;; Convert a load-costs vector to the list of SCs allowed by the
  79 ;;; operand restriction.
  80 (defun listify-restrictions (restr)
  81   (declare (type sc-vector restr))
  82   (collect ((res))
  83     (dotimes (i sc-number-limit)
  84       (when (eq (svref restr i) t)
  85         (res (svref *backend-sc-numbers* i))))
  86     (res)))
  87
  88 ;;; Try to give a helpful error message when REF has no cost specified
  89 ;;; for some SC allowed by the TN's PRIMITIVE-TYPE.
  90 (defun bad-costs-error (ref)
  91   (declare (type tn-ref ref))
  92   (let* ((tn (tn-ref-tn ref))
  93          (ptype (tn-primitive-type tn)))
  94     (multiple-value-bind (arg-p pos more-p costs load-scs incon)
  95         (get-operand-info ref)
  96       (collect ((losers))
  97         (dolist (scn (primitive-type-scs ptype))
  98           (unless (svref costs scn)
  99             (losers (svref *backend-sc-numbers* scn))))
 100
 101         (unless (losers)
 102           (error "Representation selection flamed out for no obvious reason.~@
 103                   Try again after recompiling the VM definition."))
 104
 105         (error "~S is not valid as the ~:R ~:[result~;argument~] to the~@
 106                 ~S VOP, since the TN's primitive type ~S allows SCs:~%  ~S~@
 107                 ~:[which cannot be coerced or loaded into the allowed SCs:~
 108                 ~%  ~S~;~*~]~:[~;~@
 109                 Current cost info inconsistent with that in effect at compile ~
 110                 time. Recompile.~%Compilation order may be incorrect.~]"
 111                tn pos arg-p
 112                (template-name (vop-info (tn-ref-vop ref)))
 113                (primitive-type-name ptype)
 114                (mapcar #'sc-name (losers))
 115                more-p
 116                (unless more-p
 117                  (mapcar #'sc-name (listify-restrictions load-scs)))
 118                incon)))))
 119
 120 ;;; Try to give a helpful error message when we fail to do a coercion
 121 ;;; for some reason.
 122 (defun bad-coerce-error (op)
 123   (declare (type tn-ref op))
 124   (let* ((op-tn (tn-ref-tn op))
 125          (op-sc (tn-sc op-tn))
 126          (op-scn (sc-number op-sc))
 127          (ptype (tn-primitive-type op-tn))
 128          (write-p (tn-ref-write-p op)))
 129     (multiple-value-bind (arg-p pos more-p costs load-scs incon)
 130         (get-operand-info op)
 131       (declare (ignore costs more-p))
 132       (collect ((load-lose)
 133                 (no-move-scs)
 134                 (move-lose))
 135         (dotimes (i sc-number-limit)
 136           (let ((i-sc (svref *backend-sc-numbers* i)))
 137             (when (eq (svref load-scs i) t)
 138               (cond ((not (sc-allowed-by-primitive-type i-sc ptype))
 139                      (load-lose i-sc))
 140                     ((not (find-move-vop op-tn write-p i-sc ptype
 141                                          #'sc-move-vops))
 142                      (let ((vops (if write-p
 143                                      (svref (sc-move-vops op-sc) i)
 144                                      (svref (sc-move-vops i-sc) op-scn))))
 145                        (if vops
 146                            (dolist (vop vops) (move-lose (template-name vop)))
 147                            (no-move-scs i-sc))))
 148                     (t
 149                      (error "Representation selection flamed out for no ~
 150                              obvious reason."))))))
 151
 152         (unless (or (load-lose) (no-move-scs) (move-lose))
 153           (error "Representation selection flamed out for no obvious reason.~@
 154                   Try again after recompiling the VM definition."))
 155
 156         (error "~S is not valid as the ~:R ~:[result~;argument~] to VOP:~
 157                 ~%  ~S~%Primitive type: ~S~@
 158                 SC restrictions:~%  ~S~@
 159                 ~@[The primitive type disallows these loadable SCs:~%  ~S~%~]~
 160                 ~@[No move VOPs are defined to coerce to these allowed SCs:~
 161                 ~%  ~S~%~]~
 162                 ~@[These move VOPs couldn't be used due to operand type ~
 163                 restrictions:~%  ~S~%~]~
 164                 ~:[~;~@
 165                 Current cost info inconsistent with that in effect at compile ~
 166                 time. Recompile.~%Compilation order may be incorrect.~]"
 167                op-tn pos arg-p
 168                (template-name (vop-info (tn-ref-vop op)))
 169                (primitive-type-name ptype)
 170                (mapcar #'sc-name (listify-restrictions load-scs))
 171                (mapcar #'sc-name (load-lose))
 172                (mapcar #'sc-name (no-move-scs))
 173                (move-lose)
 174                incon)))))
 175
 176 (defun bad-move-arg-error (val pass)
 177   (declare (type tn val pass))
 178   (error "no :MOVE-ARG VOP defined to move ~S (SC ~S) to ~
 179           ~S (SC ~S)"
 180          val (sc-name (tn-sc val))
 181          pass (sc-name (tn-sc pass))))
 182 \f
 183 ;;;; VM consistency checking
 184 ;;;;
 185 ;;;; We do some checking of the consistency of the VM definition at
 186 ;;;; load time.
 187
 188 ;;; FIXME: should probably be conditional on #!+SB-SHOW
 189 (defun check-move-fun-consistency ()
 190   (dotimes (i sc-number-limit)
 191     (let ((sc (svref *backend-sc-numbers* i)))
 192       (when sc
 193         (let ((moves (sc-move-funs sc)))
 194           (dolist (const (sc-constant-scs sc))
 195             (unless (svref moves (sc-number const))
 196               (warn "no move function defined to load SC ~S from constant ~
 197                      SC ~S"
 198                     (sc-name sc) (sc-name const))))
 199
 200           (dolist (alt (sc-alternate-scs sc))
 201             (unless (svref moves (sc-number alt))
 202               (warn "no move function defined to load SC ~S from alternate ~
 203                      SC ~S"
 204                     (sc-name sc) (sc-name alt)))
 205             (unless (svref (sc-move-funs alt) i)
 206               (warn "no move function defined to save SC ~S to alternate ~
 207                      SC ~S"
 208                     (sc-name sc) (sc-name alt)))))))))
 209 \f
 210 ;;;; representation selection
 211
 212 ;;; VOPs that we ignore in initial cost computation. We ignore SET in
 213 ;;; the hopes that nobody is setting specials inside of loops. We
 214 ;;; ignore TYPE-CHECK-ERROR because we don't want the possibility of
 215 ;;; error to bias the result. Notes are suppressed for T-C-E as well,
 216 ;;; since we don't need to worry about the efficiency of that case.
 217 (defparameter *ignore-cost-vops* '(set type-check-error))
 218 (defparameter *suppress-note-vops* '(type-check-error))
 219
 220 ;;; We special-case the move VOP, since using this costs for the
 221 ;;; normal MOVE would spuriously encourage descriptor representations.
 222 ;;; We won't actually need to coerce to descriptor and back, since we
 223 ;;; will replace the MOVE with a specialized move VOP. What we do is
 224 ;;; look at the other operand. If its representation has already been
 225 ;;; chosen (e.g. if it is wired), then we use the appropriate move
 226 ;;; costs, otherwise we just ignore the references.
 227 (defun add-representation-costs (refs scs costs
 228                                       ops-slot costs-slot more-costs-slot
 229                                       write-p)
 230   (declare (type function ops-slot costs-slot more-costs-slot))
 231   (do ((ref refs (tn-ref-next ref)))
 232       ((null ref))
 233     (flet ((add-costs (cost)
 234              (dolist (scn scs)
 235                (let ((res (svref cost scn)))
 236                  (unless res
 237                    (bad-costs-error ref))
 238                  (incf (svref costs scn) res)))))
 239       (let* ((vop (tn-ref-vop ref))
 240              (info (vop-info vop)))
 241         (unless (find (vop-info-name info) *ignore-cost-vops*)
 242           (case (vop-info-name info)
 243             (move
 244              (let ((rep (tn-sc
 245                          (tn-ref-tn
 246                           (if write-p
 247                               (vop-args vop)
 248                               (vop-results vop))))))
 249                (when rep
 250                  (if write-p
 251                      (dolist (scn scs)
 252                        (let ((res (svref (sc-move-costs
 253                                           (svref *backend-sc-numbers* scn))
 254                                          (sc-number rep))))
 255                          (when res
 256                            (incf (svref costs scn) res))))
 257                      (dolist (scn scs)
 258                        (let ((res (svref (sc-move-costs rep) scn)))
 259                          (when res
 260                            (incf (svref costs scn) res))))))))
 261             (t
 262              (do ((cost (funcall costs-slot info) (cdr cost))
 263                   (op (funcall ops-slot vop) (tn-ref-across op)))
 264                  ((null cost)
 265                   (add-costs (funcall more-costs-slot info)))
 266                (when (eq op ref)
 267                  (add-costs (car cost))
 268                  (return)))))))))
 269   (values))
 270
 271 ;;; Return the best representation for a normal TN. SCs is a list
 272 ;;; of the SC numbers of the SCs to select from. Costs is a scratch
 273 ;;; vector.
 274 ;;;
 275 ;;; What we do is sum the costs for each reference to TN in each of
 276 ;;; the SCs, and then return the SC having the lowest cost. A second
 277 ;;; value is returned which is true when the selection is unique which
 278 ;;; is often not the case for the MOVE VOP.
 279 (defun select-tn-representation (tn scs costs)
 280   (declare (type tn tn) (type sc-vector costs)
 281            (inline add-representation-costs))
 282   (dolist (scn scs)
 283     (setf (svref costs scn) 0))
 284
 285   (add-representation-costs (tn-reads tn) scs costs
 286                             #'vop-args #'vop-info-arg-costs
 287                             #'vop-info-more-arg-costs
 288                             nil)
 289   (add-representation-costs (tn-writes tn) scs costs
 290                             #'vop-results #'vop-info-result-costs
 291                             #'vop-info-more-result-costs
 292                             t)
 293
 294   (let ((min most-positive-fixnum)
 295         (min-scn nil)
 296         (unique nil))
 297     (dolist (scn scs)
 298       (let ((cost (svref costs scn)))
 299         (cond ((= cost min)
 300                (setf unique nil))
 301               ((< cost min)
 302                (setq min cost)
 303                (setq min-scn scn)
 304                (setq unique t)))))
 305     (values (svref *backend-sc-numbers* min-scn) unique)))
 306
 307 ;;; Prepare for the possibility of a TN being allocated on the number
 308 ;;; stack by setting NUMBER-STACK-P in all functions that TN is
 309 ;;; referenced in and in all the functions in their tail sets. REFS is
 310 ;;; a TN-REFS list of references to the TN.
 311 (defun note-number-stack-tn (refs)
 312   (declare (type (or tn-ref null) refs))
 313
 314   (do ((ref refs (tn-ref-next ref)))
 315       ((null ref))
 316     (let* ((lambda (block-home-lambda
 317                     (ir2-block-block
 318                      (vop-block (tn-ref-vop ref)))))
 319            (tails (lambda-tail-set lambda)))
 320       (flet ((frob (fun)
 321                (setf (ir2-physenv-number-stack-p
 322                       (physenv-info
 323                        (lambda-physenv fun)))
 324                      t)))
 325         (frob lambda)
 326         (when tails
 327           (dolist (fun (tail-set-funs tails))
 328             (frob fun))))))
 329
 330   (values))
 331
 332 ;;; If TN is a variable, return the name. If TN is used by a VOP
 333 ;;; emitted for a return, then return a string indicating this.
 334 ;;; Otherwise, return NIL.
 335 (defun get-operand-name (tn arg-p)
 336   (declare (type tn tn))
 337   (let* ((actual (if (eq (tn-kind tn) :alias) (tn-save-tn tn) tn))
 338          (reads (tn-reads tn))
 339          (leaf (tn-leaf actual)))
 340     (cond ((lambda-var-p leaf) (leaf-source-name leaf))
 341           ((and (not arg-p) reads
 342                 (return-p (vop-node (tn-ref-vop reads))))
 343            "<return value>")
 344           (t
 345            nil))))
 346
 347 ;;; If policy indicates, give an efficiency note for doing the
 348 ;;; coercion VOP, where OP is the operand we are coercing for and
 349 ;;; DEST-TN is the distinct destination in a move.
 350 (defun maybe-emit-coerce-efficiency-note (vop op dest-tn)
 351   (declare (type vop-info vop) (type tn-ref op) (type (or tn null) dest-tn))
 352   (let* ((note (or (template-note vop) (template-name vop)))
 353          (cost (template-cost vop))
 354          (op-vop (tn-ref-vop op))
 355          (op-node (vop-node op-vop))
 356          (op-tn (tn-ref-tn op))
 357          (*compiler-error-context* op-node))
 358     (cond ((eq (tn-kind op-tn) :constant))
 359           ((policy op-node (and (<= speed inhibit-warnings)
 360                                 (<= space inhibit-warnings))))
 361           ((member (template-name (vop-info op-vop)) *suppress-note-vops*))
 362           ((null dest-tn)
 363            (let* ((op-info (vop-info op-vop))
 364                   (op-note (or (template-note op-info)
 365                                (template-name op-info)))
 366                   (arg-p (not (tn-ref-write-p op)))
 367                   (name (get-operand-name op-tn arg-p))
 368                   (pos (1+ (or (position-in #'tn-ref-across op
 369                                             (if arg-p
 370                                                 (vop-args op-vop)
 371                                                 (vop-results op-vop)))
 372                                (error "couldn't find op? bug!")))))
 373              (compiler-notify
 374               "doing ~A (cost ~W)~:[~2*~; ~:[to~;from~] ~S~], for:~%~6T~
 375                the ~:R ~:[result~;argument~] of ~A"
 376               note cost name arg-p name
 377               pos arg-p op-note)))
 378           (t
 379            (compiler-notify "doing ~A (cost ~W)~@[ from ~S~]~@[ to ~S~]"
 380                             note cost (get-operand-name op-tn t)
 381                             (get-operand-name dest-tn nil)))))
 382   (values))
 383
 384 ;;; Find a move VOP to move from the operand OP-TN to some other
 385 ;;; representation corresponding to OTHER-SC and OTHER-PTYPE. SLOT is
 386 ;;; the SC slot that we grab from (move or move-arg). WRITE-P
 387 ;;; indicates that OP is a VOP result, so OP is the move result and
 388 ;;; other is the arg, otherwise OP is the arg and other is the result.
 389 ;;;
 390 ;;; If an operand is of primitive type T, then we use the type of the
 391 ;;; other operand instead, effectively intersecting the argument and
 392 ;;; result type assertions. This way, a move VOP can restrict
 393 ;;; whichever operand makes more sense, without worrying about which
 394 ;;; operand has the type info.
 395 (defun find-move-vop (op-tn write-p other-sc other-ptype slot)
 396   (declare (type tn op-tn) (type sc other-sc)
 397            (type primitive-type other-ptype)
 398            (type function slot))
 399   (let* ((op-sc (tn-sc op-tn))
 400          (op-scn (sc-number op-sc))
 401          (other-scn (sc-number other-sc))
 402          (any-ptype *backend-t-primitive-type*)
 403          (op-ptype (tn-primitive-type op-tn)))
 404     (let ((other-ptype (if (eq other-ptype any-ptype) op-ptype other-ptype))
 405           (op-ptype (if (eq op-ptype any-ptype) other-ptype op-ptype)))
 406       (dolist (info (if write-p
 407                         (svref (funcall slot op-sc) other-scn)
 408                         (svref (funcall slot other-sc) op-scn))
 409                     nil)
 410         (when (and (operand-restriction-ok
 411                     (first (template-arg-types info))
 412                     (if write-p other-ptype op-ptype)
 413                     :tn op-tn :t-ok nil)
 414                    (operand-restriction-ok
 415                     (first (template-result-types info))
 416                     (if write-p op-ptype other-ptype)
 417                     :t-ok nil))
 418           (return info))))))
 419
 420 ;;; Emit a coercion VOP for OP BEFORE the specified VOP or die trying.
 421 ;;; SCS is the operand's LOAD-SCS vector, which we use to determine
 422 ;;; what SCs the VOP will accept. We pick any acceptable coerce VOP,
 423 ;;; since it practice it seems uninteresting to have more than one
 424 ;;; applicable.
 425 ;;;
 426 ;;; On the X86 port, stack SCs may be placed in the list of operand
 427 ;;; preferred SCs, and to prevent these stack SCs being selected when
 428 ;;; a register SC is available the non-stack SCs are searched first.
 429 ;;;
 430 ;;; What we do is look at each SC allowed by both the operand
 431 ;;; restriction and the operand primitive-type, and see whether there
 432 ;;; is a move VOP which moves between the operand's SC and load SC. If
 433 ;;; we find such a VOP, then we make a TN having the load SC as the
 434 ;;; representation.
 435 ;;;
 436 ;;; DEST-TN is the TN that we are moving to, for a move or move-arg.
 437 ;;; This is only for efficiency notes.
 438 ;;;
 439 ;;; If the TN is an unused result TN, then we don't actually emit the
 440 ;;; move; we just change to the right kind of TN.
 441 (defun emit-coerce-vop (op dest-tn scs before)
 442   (declare (type tn-ref op) (type sc-vector scs) (type (or vop null) before)
 443            (type (or tn null) dest-tn))
 444   (let* ((op-tn (tn-ref-tn op))
 445          (ptype (tn-primitive-type op-tn))
 446          (write-p (tn-ref-write-p op))
 447          (vop (tn-ref-vop op))
 448          (node (vop-node vop))
 449          (block (vop-block vop)))
 450     (flet ((check-sc (scn sc)
 451              (when (sc-allowed-by-primitive-type sc ptype)
 452                (let ((res (find-move-vop op-tn write-p sc ptype
 453                                          #'sc-move-vops)))
 454                  (when res
 455                    (when (>= (vop-info-cost res)
 456                              *efficiency-note-cost-threshold*)
 457                      (maybe-emit-coerce-efficiency-note res op dest-tn))
 458                    (let ((temp (make-representation-tn ptype scn)))
 459                      (change-tn-ref-tn op temp)
 460                      (cond
 461                        ((not write-p)
 462                         (emit-move-template node block res op-tn temp before))
 463                        ((and (null (tn-reads op-tn))
 464                              (eq (tn-kind op-tn) :normal)))
 465                        (t
 466                         (emit-move-template node block res temp op-tn
 467                                             before))))
 468                    t)))))
 469       ;; Search the non-stack load SCs first.
 470       (dotimes (scn sc-number-limit)
 471         (let ((sc (svref *backend-sc-numbers* scn)))
 472           (when (and (eq (svref scs scn) t)
 473                      (not (eq (sb-kind (sc-sb sc)) :unbounded))
 474                      (check-sc scn sc))
 475             (return-from emit-coerce-vop))))
 476       ;; Search the stack SCs if the above failed.
 477       (dotimes (scn sc-number-limit (bad-coerce-error op))
 478         (let ((sc (svref *backend-sc-numbers* scn)))
 479           (when (and (eq (svref scs scn) t)
 480                      (eq (sb-kind (sc-sb sc)) :unbounded)
 481                      (check-sc scn sc))
 482             (return)))))))
 483
 484 ;;; Scan some operands and call EMIT-COERCE-VOP on any for which we
 485 ;;; can't load the operand. The coerce VOP is inserted Before the
 486 ;;; specified VOP. Dest-TN is the destination TN if we are doing a
 487 ;;; move or move-arg, and is NIL otherwise. This is only used for
 488 ;;; efficiency notes.
 489 #!-sb-fluid (declaim (inline coerce-some-operands))
 490 (defun coerce-some-operands (ops dest-tn load-scs before)
 491   (declare (type (or tn-ref null) ops) (list load-scs)
 492            (type (or tn null) dest-tn) (type (or vop null) before))
 493   (do ((op ops (tn-ref-across op))
 494        (scs load-scs (cdr scs)))
 495       ((null scs))
 496     (unless (svref (car scs)
 497                    (sc-number (tn-sc (tn-ref-tn op))))
 498       (emit-coerce-vop op dest-tn (car scs) before)))
 499   (values))
 500
 501 ;;; Emit coerce VOPs for the args and results, as needed.
 502 (defun coerce-vop-operands (vop)
 503   (declare (type vop vop))
 504   (let ((info (vop-info vop)))
 505     (coerce-some-operands (vop-args vop) nil (vop-info-arg-load-scs info) vop)
 506     (coerce-some-operands (vop-results vop) nil (vop-info-result-load-scs info)
 507                           (vop-next vop)))
 508   (values))
 509
 510 ;;; Iterate over the more operands to a call VOP, emitting move-arg
 511 ;;; VOPs and any necessary coercions. We determine which FP to use by
 512 ;;; looking at the MOVE-ARGS annotation. If the vop is a :LOCAL-CALL,
 513 ;;; we insert any needed coercions before the ALLOCATE-FRAME so that
 514 ;;; lifetime analysis doesn't get confused (since otherwise, only
 515 ;;; passing locations are written between A-F and call.)
 516 (defun emit-arg-moves (vop)
 517   (let* ((info (vop-info vop))
 518          (node (vop-node vop))
 519          (block (vop-block vop))
 520          (how (vop-info-move-args info))
 521          (args (vop-args vop))
 522          (fp-tn (tn-ref-tn args))
 523          (nfp-tn (if (eq how :local-call)
 524                      (tn-ref-tn (tn-ref-across args))
 525                      nil))
 526          (pass-locs (first (vop-codegen-info vop)))
 527          (prev (vop-prev vop)))
 528     (do ((val (do ((arg args (tn-ref-across arg))
 529                    (req (template-arg-types info) (cdr req)))
 530                   ((null req) arg))
 531               (tn-ref-across val))
 532          (pass pass-locs (cdr pass)))
 533         ((null val)
 534          (aver (null pass)))
 535       (let* ((val-tn (tn-ref-tn val))
 536              (pass-tn (first pass))
 537              (pass-sc (tn-sc pass-tn))
 538              (res (find-move-vop val-tn nil pass-sc
 539                                  (tn-primitive-type pass-tn)
 540                                  #'sc-move-arg-vops)))
 541         (unless res
 542           (bad-move-arg-error val-tn pass-tn))
 543
 544         (change-tn-ref-tn val pass-tn)
 545         (let* ((this-fp
 546                 (cond ((not (sc-number-stack-p pass-sc)) fp-tn)
 547                       (nfp-tn)
 548                       (t
 549                        (aver (eq how :known-return))
 550                        (setq nfp-tn (make-number-stack-pointer-tn))
 551                        (setf (tn-sc nfp-tn)
 552                              (svref *backend-sc-numbers*
 553                                     (first (primitive-type-scs
 554                                             (tn-primitive-type nfp-tn)))))
 555                        (emit-context-template
 556                         node block
 557                         (template-or-lose 'compute-old-nfp)
 558                         nfp-tn vop)
 559                        (aver (not (sc-number-stack-p (tn-sc nfp-tn))))
 560                        nfp-tn)))
 561                (new (emit-move-arg-template node block res val-tn this-fp
 562                                             pass-tn vop))
 563                (after
 564                 (cond ((eq how :local-call)
 565                        (aver (eq (vop-info-name (vop-info prev))
 566                                  'allocate-frame))
 567                        prev)
 568                       (prev (vop-next prev))
 569                       (t
 570                        (ir2-block-start-vop block)))))
 571           (coerce-some-operands (vop-args new) pass-tn
 572                                 (vop-info-arg-load-scs res)
 573                                 after)))))
 574   (values))
 575
 576 ;;; Scan the IR2 looking for move operations that need to be replaced
 577 ;;; with special-case VOPs and emitting coercion VOPs for operands of
 578 ;;; normal VOPs. We delete moves to TNs that are never read at this
 579 ;;; point, rather than possibly converting them to some expensive move
 580 ;;; operation.
 581 (defun emit-moves-and-coercions (block)
 582   (declare (type ir2-block block))
 583   (do ((vop (ir2-block-start-vop block)
 584             (vop-next vop)))
 585       ((null vop))
 586     (let ((info (vop-info vop))
 587           (node (vop-node vop))
 588           (block (vop-block vop)))
 589       (cond
 590        ((eq (vop-info-name info) 'move)
 591         (let* ((args (vop-args vop))
 592                (x (tn-ref-tn args))
 593                (y (tn-ref-tn (vop-results vop)))
 594                (res (find-move-vop x nil (tn-sc y) (tn-primitive-type y)
 595                                    #'sc-move-vops)))
 596           (cond ((and (null (tn-reads y))
 597                       (eq (tn-kind y) :normal))
 598                  (delete-vop vop))
 599                 ((eq res info))
 600                 (res
 601                  (when (>= (vop-info-cost res)
 602                            *efficiency-note-cost-threshold*)
 603                    (maybe-emit-coerce-efficiency-note res args y))
 604                  (emit-move-template node block res x y vop)
 605                  (delete-vop vop))
 606                 (t
 607                  (coerce-vop-operands vop)))))
 608        ((vop-info-move-args info)
 609         (emit-arg-moves vop))
 610        (t
 611         (coerce-vop-operands vop))))))
 612
 613 ;;; If TN is in a number stack SC, make all the right annotations.
 614 ;;; Note that this should be called after TN has been referenced,
 615 ;;; since it must iterate over the referencing environments.
 616 #!-sb-fluid (declaim (inline note-if-number-stack))
 617 (defun note-if-number-stack (tn 2comp restricted)
 618   (declare (type tn tn) (type ir2-component 2comp))
 619   (when (if restricted
 620             (eq (sb-name (sc-sb (tn-sc tn))) 'non-descriptor-stack)
 621             (sc-number-stack-p (tn-sc tn)))
 622     (unless (ir2-component-nfp 2comp)
 623       (setf (ir2-component-nfp 2comp) (make-nfp-tn)))
 624     (note-number-stack-tn (tn-reads tn))
 625     (note-number-stack-tn (tn-writes tn)))
 626   (values))
 627
 628 ;;; This is the entry to representation selection. First we select the
 629 ;;; representation for all normal TNs, setting the TN-SC. After
 630 ;;; selecting the TN representations, we set the SC for all :ALIAS TNs
 631 ;;; to be the representation chosen for the original TN. We then scan
 632 ;;; all the IR2, emitting any necessary coerce and move-arg VOPs.
 633 ;;; Finally, we scan all TNs looking for ones that might be placed on
 634 ;;; the number stack, noting this so that the number-FP can be
 635 ;;; allocated. This must be done last, since references in new
 636 ;;; environments may be introduced by MOVE-ARG insertion.
 637 (defun select-representations (component)
 638   (let ((costs (make-array sc-number-limit))
 639         (2comp (component-info component)))
 640
 641     ;; First pass; only allocate SCs where there is a distinct choice.
 642     (do ((tn (ir2-component-normal-tns 2comp)
 643              (tn-next tn)))
 644         ((null tn))
 645       (aver (tn-primitive-type tn))
 646       (unless (tn-sc tn)
 647         (let* ((scs (primitive-type-scs (tn-primitive-type tn))))
 648           (cond ((rest scs)
 649                  (multiple-value-bind (sc unique)
 650                      (select-tn-representation tn scs costs)
 651                    (when unique
 652                       (setf (tn-sc tn) sc))))
 653                 (t
 654                  (setf (tn-sc tn)
 655                        (svref *backend-sc-numbers* (first scs))))))))
 656
 657     (do ((tn (ir2-component-normal-tns 2comp)
 658              (tn-next tn)))
 659         ((null tn))
 660       (aver (tn-primitive-type tn))
 661       (unless (tn-sc tn)
 662         (let* ((scs (primitive-type-scs (tn-primitive-type tn)))
 663                (sc (if (rest scs)
 664                        (select-tn-representation tn scs costs)
 665                        (svref *backend-sc-numbers* (first scs)))))
 666           (aver sc)
 667           (setf (tn-sc tn) sc))))
 668
 669     (do ((alias (ir2-component-alias-tns 2comp)
 670                 (tn-next alias)))
 671         ((null alias))
 672       (setf (tn-sc alias) (tn-sc (tn-save-tn alias))))
 673
 674     (do-ir2-blocks (block component)
 675       (emit-moves-and-coercions block))
 676
 677     (macrolet ((frob (slot restricted)
 678                  `(do ((tn (,slot 2comp) (tn-next tn)))
 679                       ((null tn))
 680                     (note-if-number-stack tn 2comp ,restricted))))
 681       (frob ir2-component-normal-tns nil)
 682       (frob ir2-component-wired-tns t)
 683       (frob ir2-component-restricted-tns t)))
 684
 685   (values))