src/compiler/x86-64/move.lisp

   1 ;;;; the x86-64 VM definition of operand loading/saving and the MOVE vop
   2
   3 ;;;; This software is part of the SBCL system. See the README file for
   4 ;;;; more information.
   5 ;;;;
   6 ;;;; This software is derived from the CMU CL system, which was
   7 ;;;; written at Carnegie Mellon University and released into the
   8 ;;;; public domain. The software is in the public domain and is
   9 ;;;; provided with absolutely no warranty. See the COPYING and CREDITS
  10 ;;;; files for more information.
  11
  12 (in-package "SB!VM")
  13
  14 (defun make-byte-tn (tn)
  15   (aver (sc-is tn any-reg descriptor-reg unsigned-reg signed-reg))
  16   (make-random-tn :kind :normal
  17                   :sc (sc-or-lose 'byte-reg)
  18                   :offset (tn-offset tn)))
  19
  20 (defun make-dword-tn (tn)
  21   (aver (sc-is tn any-reg descriptor-reg character-reg
  22                unsigned-reg signed-reg))
  23   (make-random-tn :kind :normal
  24                   :sc (sc-or-lose 'dword-reg)
  25                   :offset (tn-offset tn)))
  26
  27 (defun zeroize (tn)
  28   (let ((offset (tn-offset tn)))
  29     ;; Using the 32-bit instruction accomplishes the same thing and is
  30     ;; one byte shorter.
  31     (if (<= offset edi-offset)
  32         (let ((tn (make-random-tn :kind :normal
  33                                   :sc (sc-or-lose 'dword-reg)
  34                                   :offset offset)))
  35           (inst xor tn tn))
  36         (inst xor tn tn))))
  37
  38 (define-move-fun (load-immediate 1) (vop x y)
  39   ((immediate)
  40    (any-reg descriptor-reg))
  41   (let ((val (tn-value x)))
  42     (etypecase val
  43       (integer
  44        (if (zerop val)
  45            (zeroize y)
  46          (inst mov y (fixnumize val))))
  47       (symbol
  48        (load-symbol y val))
  49       (character
  50        (inst mov y (logior (ash (char-code val) n-widetag-bits)
  51                            character-widetag))))))
  52
  53 (define-move-fun (load-number 1) (vop x y)
  54   ((immediate) (signed-reg unsigned-reg))
  55   (let ((val (tn-value x)))
  56     (if (zerop val)
  57         (zeroize y)
  58         (inst mov y val))))
  59
  60 (define-move-fun (load-character 1) (vop x y)
  61   ((immediate) (character-reg))
  62   (inst mov y (char-code (tn-value x))))
  63
  64 (define-move-fun (load-system-area-pointer 1) (vop x y)
  65   ((immediate) (sap-reg))
  66   (inst mov y (sap-int (tn-value x))))
  67
  68 (define-move-fun (load-constant 5) (vop x y)
  69   ((constant) (descriptor-reg any-reg))
  70   (inst mov y x))
  71
  72 (define-move-fun (load-stack 5) (vop x y)
  73   ((control-stack) (any-reg descriptor-reg)
  74    (character-stack) (character-reg)
  75    (sap-stack) (sap-reg)
  76    (signed-stack) (signed-reg)
  77    (unsigned-stack) (unsigned-reg))
  78   (inst mov y x))
  79
  80 (define-move-fun (store-stack 5) (vop x y)
  81   ((any-reg descriptor-reg) (control-stack)
  82    (character-reg) (character-stack)
  83    (sap-reg) (sap-stack)
  84    (signed-reg) (signed-stack)
  85    (unsigned-reg) (unsigned-stack))
  86   (inst mov y x))
  87 \f
  88 ;;;; the MOVE VOP
  89 (define-vop (move)
  90   (:args (x :scs (any-reg descriptor-reg immediate) :target y
  91             :load-if (not (location= x y))))
  92   (:results (y :scs (any-reg descriptor-reg)
  93                :load-if
  94                (not (or (location= x y)
  95                         (and (sc-is x any-reg descriptor-reg immediate)
  96                              (sc-is y control-stack))))))
  97   (:temporary (:sc unsigned-reg) temp)
  98   (:effects)
  99   (:affected)
 100   (:generator 0
 101     (if (and (sc-is x immediate)
 102              (sc-is y any-reg descriptor-reg control-stack))
 103         (let ((val (tn-value x)))
 104           (etypecase val
 105             (integer
 106              (if (and (zerop val) (sc-is y any-reg descriptor-reg))
 107                  (zeroize y)
 108                  (move-immediate y (fixnumize val) temp)))
 109             (symbol
 110              (inst mov y (+ nil-value (static-symbol-offset val))))
 111             (character
 112              (inst mov y (logior (ash (char-code val) n-widetag-bits)
 113                                  character-widetag)))))
 114         (move y x))))
 115
 116 (define-move-vop move :move
 117   (any-reg descriptor-reg immediate)
 118   (any-reg descriptor-reg))
 119
 120 ;;; Make MOVE the check VOP for T so that type check generation
 121 ;;; doesn't think it is a hairy type. This also allows checking of a
 122 ;;; few of the values in a continuation to fall out.
 123 (primitive-type-vop move (:check) t)
 124
 125 (defun move-immediate (target val &optional tmp-tn)
 126   (cond
 127     ;; If target is a register, we can just mov it there directly
 128     ((and (tn-p target)
 129           (sc-is target signed-reg unsigned-reg descriptor-reg any-reg))
 130      (inst mov target val))
 131     ;; Likewise if the value is small enough.
 132     ((typep val '(signed-byte 32))
 133      (inst mov target val))
 134     ;; Otherwise go through the temporary register
 135     (tmp-tn
 136      (inst mov tmp-tn val)
 137      (inst mov target tmp-tn))
 138     (t
 139      (error "~A is not a register, no temporary given, and immediate ~A too large" target val))))
 140
 141 ;;; The MOVE-ARG VOP is used for moving descriptor values into
 142 ;;; another frame for argument or known value passing.
 143 ;;;
 144 ;;; Note: It is not going to be possible to move a constant directly
 145 ;;; to another frame, except if the destination is a register and in
 146 ;;; this case the loading works out.
 147 (define-vop (move-arg)
 148   (:args (x :scs (any-reg descriptor-reg immediate) :target y
 149             :load-if (not (and (sc-is y any-reg descriptor-reg)
 150                                (sc-is x control-stack))))
 151          (fp :scs (any-reg)
 152              :load-if (not (sc-is y any-reg descriptor-reg))))
 153   (:results (y))
 154   (:generator 0
 155     (sc-case y
 156       ((any-reg descriptor-reg)
 157        (if (sc-is x immediate)
 158            (let ((val (tn-value x)))
 159              (etypecase val
 160                ((integer 0 0)
 161                 (zeroize y))
 162                (integer
 163                 (inst mov y (fixnumize val)))
 164                (symbol
 165                 (load-symbol y val))
 166                (character
 167                 (inst mov y (logior (ash (char-code val) n-widetag-bits)
 168                                     character-widetag)))))
 169            (move y x)))
 170       ((control-stack)
 171        (if (sc-is x immediate)
 172            (let ((val (tn-value x)))
 173              (if (= (tn-offset fp) esp-offset)
 174                  ;; C-call
 175                  (etypecase val
 176                    (integer
 177                     (storew (fixnumize val) fp (tn-offset y)))
 178                    (symbol
 179                     (storew (+ nil-value (static-symbol-offset val))
 180                             fp (tn-offset y)))
 181                    (character
 182                     (storew (logior (ash (char-code val) n-widetag-bits)
 183                                     character-widetag)
 184                             fp (tn-offset y))))
 185                ;; Lisp stack
 186                (etypecase val
 187                  (integer
 188                   (storew (fixnumize val) fp (frame-word-offset (tn-offset y))))
 189                  (symbol
 190                   (storew (+ nil-value (static-symbol-offset val))
 191                           fp (frame-word-offset (tn-offset y))))
 192                  (character
 193                   (storew (logior (ash (char-code val) n-widetag-bits)
 194                                   character-widetag)
 195                           fp (frame-word-offset (tn-offset y)))))))
 196          (if (= (tn-offset fp) esp-offset)
 197              ;; C-call
 198              (storew x fp (tn-offset y))
 199            ;; Lisp stack
 200            (storew x fp (frame-word-offset (tn-offset y)))))))))
 201
 202 (define-move-vop move-arg :move-arg
 203   (any-reg descriptor-reg)
 204   (any-reg descriptor-reg))
 205 \f
 206 ;;;; ILLEGAL-MOVE
 207
 208 ;;; This VOP exists just to begin the lifetime of a TN that couldn't
 209 ;;; be written legally due to a type error. An error is signalled
 210 ;;; before this VOP is so we don't need to do anything (not that there
 211 ;;; would be anything sensible to do anyway.)
 212 (define-vop (illegal-move)
 213   (:args (x) (type))
 214   (:results (y))
 215   (:ignore y)
 216   (:vop-var vop)
 217   (:save-p :compute-only)
 218   (:generator 666
 219     (error-call vop 'object-not-type-error x type)))
 220 \f
 221 ;;;; moves and coercions
 222
 223 ;;; These MOVE-TO-WORD VOPs move a tagged integer to a raw full-word
 224 ;;; representation. Similarly, the MOVE-FROM-WORD VOPs converts a raw
 225 ;;; integer to a tagged bignum or fixnum.
 226
 227 ;;; Arg is a fixnum, so just shift it. We need a type restriction
 228 ;;; because some possible arg SCs (control-stack) overlap with
 229 ;;; possible bignum arg SCs.
 230 (define-vop (move-to-word/fixnum)
 231   (:args (x :scs (any-reg descriptor-reg) :target y
 232             :load-if (not (location= x y))))
 233   (:results (y :scs (signed-reg unsigned-reg)
 234                :load-if (not (location= x y))))
 235   (:arg-types tagged-num)
 236   (:note "fixnum untagging")
 237   (:generator 1
 238     (move y x)
 239     (inst sar y n-fixnum-tag-bits)))
 240 (define-move-vop move-to-word/fixnum :move
 241   (any-reg descriptor-reg) (signed-reg unsigned-reg))
 242
 243 ;;; Arg is a non-immediate constant, load it.
 244 (define-vop (move-to-word-c)
 245   (:args (x :scs (constant)))
 246   (:results (y :scs (signed-reg unsigned-reg)))
 247   (:note "constant load")
 248   (:generator 1
 249     (cond ((sb!c::tn-leaf x)
 250            (inst mov y (tn-value x)))
 251           (t
 252            (inst mov y x)
 253            (inst sar y n-fixnum-tag-bits)))))
 254 (define-move-vop move-to-word-c :move
 255   (constant) (signed-reg unsigned-reg))
 256
 257
 258 ;;; Arg is a fixnum or bignum, figure out which and load if necessary.
 259 #-#.(cl:if (cl:= sb!vm:n-fixnum-tag-bits 1) '(:and) '(:or))
 260 (define-vop (move-to-word/integer)
 261   (:args (x :scs (descriptor-reg) :target rax))
 262   (:results (y :scs (signed-reg unsigned-reg)))
 263   (:note "integer to untagged word coercion")
 264   ;; I'm not convinced that increasing the demand for rAX is
 265   ;; better than adding 1 byte to some instruction encodings.
 266   ;; I'll leave it alone though.
 267   (:temporary (:sc unsigned-reg :offset rax-offset
 268                :from (:argument 0) :to (:result 0) :target y) rax)
 269   (:generator 4
 270     (move rax x)
 271     (inst test al-tn fixnum-tag-mask)
 272     (inst jmp :z FIXNUM)
 273     (loadw y rax bignum-digits-offset other-pointer-lowtag)
 274     (inst jmp DONE)
 275     FIXNUM
 276     (inst sar rax n-fixnum-tag-bits)
 277     (move y rax)
 278     DONE))
 279
 280 #+#.(cl:if (cl:= sb!vm:n-fixnum-tag-bits 1) '(:and) '(:or))
 281 (define-vop (move-to-word/integer)
 282   (:args (x :scs (descriptor-reg) :target y))
 283   (:results (y :scs (signed-reg unsigned-reg)))
 284   (:note "integer to untagged word coercion")
 285   (:temporary (:sc unsigned-reg) backup)
 286   (:generator 4
 287     (move y x)
 288     (if (location= x y)
 289         ;; It would be great if a principled way existed to advise GC of
 290         ;; algebraic transforms such as 2*R being a conservative root.
 291         ;; Until that is possible, emit straightforward code that uses
 292         ;; a copy of the potential reference.
 293         (move backup x)
 294         (setf backup x))
 295     (inst sar y 1)      ; optimistically assume it's a fixnum
 296     (inst jmp :nc DONE) ; no carry implies tag was 0
 297     (loadw y backup bignum-digits-offset other-pointer-lowtag)
 298     DONE))
 299
 300 (define-move-vop move-to-word/integer :move
 301   (descriptor-reg) (signed-reg unsigned-reg))
 302
 303 ;;; Result is a fixnum, so we can just shift. We need the result type
 304 ;;; restriction because of the control-stack ambiguity noted above.
 305 (define-vop (move-from-word/fixnum)
 306   (:args (x :scs (signed-reg unsigned-reg) :target y
 307             :load-if (not (location= x y))))
 308   (:results (y :scs (any-reg descriptor-reg)
 309                :load-if (not (location= x y))))
 310   (:result-types tagged-num)
 311   (:note "fixnum tagging")
 312   (:generator 1
 313     (cond ((and (sc-is x signed-reg unsigned-reg)
 314                 (not (location= x y)))
 315            (if (= n-fixnum-tag-bits 1)
 316                (inst lea y (make-ea :qword :base x :index x))
 317                (inst lea y (make-ea :qword :index x
 318                                     :scale (ash 1 n-fixnum-tag-bits)))))
 319           (t
 320            ;; Uses: If x is a reg 2 + 3; if x = y uses only 3 bytes
 321            (move y x)
 322            (inst shl y n-fixnum-tag-bits)))))
 323 (define-move-vop move-from-word/fixnum :move
 324   (signed-reg unsigned-reg) (any-reg descriptor-reg))
 325
 326 ;;; Convert an untagged signed word to a lispobj -- fixnum or bignum
 327 ;;; as the case may be. Fixnum case inline, bignum case in an assembly
 328 ;;; routine.
 329 (define-vop (move-from-signed)
 330   (:args (x :scs (signed-reg unsigned-reg) :to :result . #.(and (= 1 n-fixnum-tag-bits)
 331                                                                 '(:target y))))
 332   (:results (y :scs (any-reg descriptor-reg) . #.(and (> n-fixnum-tag-bits 1)
 333                                                       '(:from :argument))))
 334   (:note "signed word to integer coercion")
 335   ;; Worst case cost to make sure people know they may be number consing.
 336   (:generator 20
 337      (cond ((= 1 n-fixnum-tag-bits)
 338             (move y x)
 339             (inst shl y 1)
 340             (inst jmp :no DONE)
 341             (if (location= y x)
 342                 (inst rcr y 1) ; we're about to cons a bignum. this RCR is noise
 343                 (inst mov y x)))
 344            (t
 345             (aver (not (location= x y)))
 346             (inst imul y x #.(ash 1 n-fixnum-tag-bits))
 347             (inst jmp :no DONE)
 348             (inst mov y x)))
 349      (inst lea temp-reg-tn
 350            (make-ea :qword :disp
 351                     (make-fixup (ecase (tn-offset y)
 352                                   (#.rax-offset 'alloc-signed-bignum-in-rax)
 353                                   (#.rcx-offset 'alloc-signed-bignum-in-rcx)
 354                                   (#.rdx-offset 'alloc-signed-bignum-in-rdx)
 355                                   (#.rbx-offset 'alloc-signed-bignum-in-rbx)
 356                                   (#.rsi-offset 'alloc-signed-bignum-in-rsi)
 357                                   (#.rdi-offset 'alloc-signed-bignum-in-rdi)
 358                                   (#.r8-offset  'alloc-signed-bignum-in-r8)
 359                                   (#.r9-offset  'alloc-signed-bignum-in-r9)
 360                                   (#.r10-offset 'alloc-signed-bignum-in-r10)
 361                                   (#.r12-offset 'alloc-signed-bignum-in-r12)
 362                                   (#.r13-offset 'alloc-signed-bignum-in-r13)
 363                                   (#.r14-offset 'alloc-signed-bignum-in-r14)
 364                                   (#.r15-offset 'alloc-signed-bignum-in-r15))
 365                                 :assembly-routine)))
 366      (inst call temp-reg-tn)
 367      DONE))
 368 (define-move-vop move-from-signed :move
 369   (signed-reg) (descriptor-reg))
 370
 371 ;;; Convert an untagged unsigned word to a lispobj -- fixnum or bignum
 372 ;;; as the case may be. Fixnum case inline, bignum case in an assembly
 373 ;;; routine.
 374 (define-vop (move-from-unsigned)
 375   (:args (x :scs (signed-reg unsigned-reg) :to :result))
 376   (:results (y :scs (any-reg descriptor-reg) :from :argument))
 377   (:note "unsigned word to integer coercion")
 378   ;; Worst case cost to make sure people know they may be number consing.
 379   (:generator 20
 380     (aver (not (location= x y)))
 381     (let ((done (gen-label)))
 382       (inst mov y #.(ash (1- (ash 1 (1+ n-fixnum-tag-bits)))
 383                          n-positive-fixnum-bits))
 384       ;; The assembly routines test the sign flag from this one, so if
 385       ;; you change stuff here, make sure the sign flag doesn't get
 386       ;; overwritten before the CALL!
 387       (inst test x y)
 388       ;; Using LEA is faster but bigger than MOV+SHL; it also doesn't
 389       ;; twiddle the sign flag.  The cost of doing this speculatively
 390       ;; should be noise compared to bignum consing if that is needed
 391       ;; and saves one branch.
 392       (if (= n-fixnum-tag-bits 1)
 393           (inst lea y (make-ea :qword :base x :index x))
 394           (inst lea y (make-ea :qword :index x
 395                                :scale (ash 1 n-fixnum-tag-bits))))
 396       (inst jmp :z done)
 397       (inst mov y x)
 398       (inst lea temp-reg-tn
 399             (make-ea :qword :disp
 400                      (make-fixup (ecase (tn-offset y)
 401                                    (#.rax-offset 'alloc-unsigned-bignum-in-rax)
 402                                    (#.rcx-offset 'alloc-unsigned-bignum-in-rcx)
 403                                    (#.rdx-offset 'alloc-unsigned-bignum-in-rdx)
 404                                    (#.rbx-offset 'alloc-unsigned-bignum-in-rbx)
 405                                    (#.rsi-offset 'alloc-unsigned-bignum-in-rsi)
 406                                    (#.rdi-offset 'alloc-unsigned-bignum-in-rdi)
 407                                    (#.r8-offset  'alloc-unsigned-bignum-in-r8)
 408                                    (#.r9-offset  'alloc-unsigned-bignum-in-r9)
 409                                    (#.r10-offset 'alloc-unsigned-bignum-in-r10)
 410                                    (#.r12-offset 'alloc-unsigned-bignum-in-r12)
 411                                    (#.r13-offset 'alloc-unsigned-bignum-in-r13)
 412                                    (#.r14-offset 'alloc-unsigned-bignum-in-r14)
 413                                    (#.r15-offset 'alloc-unsigned-bignum-in-r15))
 414                                  :assembly-routine)))
 415       (inst call temp-reg-tn)
 416       (emit-label done))))
 417 (define-move-vop move-from-unsigned :move
 418   (unsigned-reg) (descriptor-reg))
 419
 420 ;;; Move untagged numbers.
 421 (define-vop (word-move)
 422   (:args (x :scs (signed-reg unsigned-reg) :target y
 423             :load-if (not (location= x y))))
 424   (:results (y :scs (signed-reg unsigned-reg)
 425                :load-if
 426                (not (or (location= x y)
 427                         (and (sc-is x signed-reg unsigned-reg)
 428                              (sc-is y signed-stack unsigned-stack))))))
 429   (:effects)
 430   (:affected)
 431   (:note "word integer move")
 432   (:generator 0
 433     (move y x)))
 434 (define-move-vop word-move :move
 435   (signed-reg unsigned-reg) (signed-reg unsigned-reg))
 436
 437 ;;; Move untagged number arguments/return-values.
 438 (define-vop (move-word-arg)
 439   (:args (x :scs (signed-reg unsigned-reg) :target y)
 440          (fp :scs (any-reg) :load-if (not (sc-is y sap-reg))))
 441   (:results (y))
 442   (:note "word integer argument move")
 443   (:generator 0
 444     (sc-case y
 445       ((signed-reg unsigned-reg)
 446        (move y x))
 447       ((signed-stack unsigned-stack)
 448        (if (= (tn-offset fp) esp-offset)
 449            (storew x fp (tn-offset y))  ; c-call
 450            (storew x fp (frame-word-offset (tn-offset y))))))))
 451 (define-move-vop move-word-arg :move-arg
 452   (descriptor-reg any-reg signed-reg unsigned-reg) (signed-reg unsigned-reg))
 453
 454 ;;; Use standard MOVE-ARG and coercion to move an untagged number
 455 ;;; to a descriptor passing location.
 456 (define-move-vop move-arg :move-arg
 457   (signed-reg unsigned-reg) (any-reg descriptor-reg))