src/compiler/x86-64/nlx.lisp

   1 ;;;; the definition of non-local exit for the x86 VM
   2
   3 ;;;; This software is part of the SBCL system. See the README file for
   4 ;;;; more information.
   5 ;;;;
   6 ;;;; This software is derived from the CMU CL system, which was
   7 ;;;; written at Carnegie Mellon University and released into the
   8 ;;;; public domain. The software is in the public domain and is
   9 ;;;; provided with absolutely no warranty. See the COPYING and CREDITS
  10 ;;;; files for more information.
  11
  12 (in-package "SB!VM")
  13
  14 ;;; Make an environment-live stack TN for saving the SP for NLX entry.
  15 (!def-vm-support-routine make-nlx-sp-tn (env)
  16   (physenv-live-tn
  17    (make-representation-tn *fixnum-primitive-type* any-reg-sc-number)
  18    env))
  19
  20 ;;; Make a TN for the argument count passing location for a non-local entry.
  21 (!def-vm-support-routine make-nlx-entry-arg-start-location ()
  22   (make-wired-tn *fixnum-primitive-type* any-reg-sc-number rbx-offset))
  23
  24 (defun catch-block-ea (tn)
  25   (aver (sc-is tn catch-block))
  26   (make-ea :qword :base rbp-tn
  27            :disp (- (* (+ (tn-offset tn) catch-block-size) n-word-bytes))))
  28
  29 \f
  30 ;;;; Save and restore dynamic environment.
  31 ;;;;
  32 ;;;; These VOPs are used in the reentered function to restore the
  33 ;;;; appropriate dynamic environment. Currently we only save the
  34 ;;;; Current-Catch and the alien stack pointer. (Before sbcl-0.7.0,
  35 ;;;; when there were IR1 and byte interpreters, we had to save
  36 ;;;; the interpreter "eval stack" too.)
  37 ;;;;
  38 ;;;; We don't need to save/restore the current UNWIND-PROTECT, since
  39 ;;;; UNWIND-PROTECTs are implicitly processed during unwinding.
  40 ;;;;
  41 ;;;; We don't need to save the BSP, because that is handled automatically.
  42
  43 (define-vop (save-dynamic-state)
  44   (:results (catch :scs (descriptor-reg))
  45             (alien-stack :scs (descriptor-reg)))
  46   (:generator 13
  47     (load-tl-symbol-value catch *current-catch-block*)
  48     (load-tl-symbol-value alien-stack *alien-stack*)))
  49
  50 (define-vop (restore-dynamic-state)
  51   (:args (catch :scs (descriptor-reg))
  52          (alien-stack :scs (descriptor-reg)))
  53   #!+sb-thread (:temporary (:sc unsigned-reg) temp)
  54   (:generator 10
  55     (store-tl-symbol-value catch *current-catch-block* temp)
  56     (store-tl-symbol-value alien-stack *alien-stack* temp)))
  57
  58 (define-vop (current-stack-pointer)
  59   (:results (res :scs (any-reg control-stack)))
  60   (:generator 1
  61     (move res rsp-tn)))
  62
  63 (define-vop (current-binding-pointer)
  64   (:results (res :scs (any-reg descriptor-reg)))
  65   (:generator 1
  66     (load-binding-stack-pointer res)))
  67 \f
  68 ;;;; unwind block hackery
  69
  70 ;;; Compute the address of the catch block from its TN, then store into the
  71 ;;; block the current Fp, Env, Unwind-Protect, and the entry PC.
  72 (define-vop (make-unwind-block)
  73   (:args (tn))
  74   (:info entry-label)
  75   (:temporary (:sc unsigned-reg) temp)
  76   (:results (block :scs (any-reg)))
  77   (:generator 22
  78     (inst lea block (catch-block-ea tn))
  79     (load-tl-symbol-value temp *current-unwind-protect-block*)
  80     (storew temp block unwind-block-current-uwp-slot)
  81     (storew rbp-tn block unwind-block-current-cont-slot)
  82     (inst lea temp (make-fixup nil :code-object entry-label))
  83     (storew temp block catch-block-entry-pc-slot)))
  84
  85 ;;; like MAKE-UNWIND-BLOCK, except that we also store in the specified
  86 ;;; tag, and link the block into the CURRENT-CATCH list
  87 (define-vop (make-catch-block)
  88   (:args (tn)
  89          (tag :scs (any-reg descriptor-reg) :to (:result 1)))
  90   (:info entry-label)
  91   (:results (block :scs (any-reg)))
  92   (:temporary (:sc descriptor-reg) temp)
  93   (:generator 44
  94     (inst lea block (catch-block-ea tn))
  95     (load-tl-symbol-value temp *current-unwind-protect-block*)
  96     (storew temp block  unwind-block-current-uwp-slot)
  97     (storew rbp-tn block  unwind-block-current-cont-slot)
  98     (inst lea temp (make-fixup nil :code-object entry-label))
  99     (storew temp block catch-block-entry-pc-slot)
 100     (storew tag block catch-block-tag-slot)
 101     (load-tl-symbol-value temp *current-catch-block*)
 102     (storew temp block catch-block-previous-catch-slot)
 103     (store-tl-symbol-value block *current-catch-block* temp)))
 104
 105 ;;; Just set the current unwind-protect to TN's address. This instantiates an
 106 ;;; unwind block as an unwind-protect.
 107 (define-vop (set-unwind-protect)
 108   (:args (tn))
 109   (:temporary (:sc unsigned-reg) new-uwp #!+sb-thread tls)
 110   (:generator 7
 111     (inst lea new-uwp (catch-block-ea tn))
 112     (store-tl-symbol-value new-uwp *current-unwind-protect-block* tls)))
 113
 114 (define-vop (unlink-catch-block)
 115   (:temporary (:sc unsigned-reg) #!+sb-thread tls block)
 116   (:policy :fast-safe)
 117   (:translate %catch-breakup)
 118   (:generator 17
 119     (load-tl-symbol-value block *current-catch-block*)
 120     (loadw block block catch-block-previous-catch-slot)
 121     (store-tl-symbol-value block *current-catch-block* tls)))
 122
 123 (define-vop (unlink-unwind-protect)
 124     (:temporary (:sc unsigned-reg) block #!+sb-thread tls)
 125   (:policy :fast-safe)
 126   (:translate %unwind-protect-breakup)
 127   (:generator 17
 128     (load-tl-symbol-value block *current-unwind-protect-block*)
 129     (loadw block block unwind-block-current-uwp-slot)
 130     (store-tl-symbol-value block *current-unwind-protect-block* tls)))
 131 \f
 132 ;;;; NLX entry VOPs
 133 (define-vop (nlx-entry)
 134   ;; Note: we can't list an sc-restriction, 'cause any load vops would
 135   ;; be inserted before the return-pc label.
 136   (:args (sp)
 137          (start)
 138          (count))
 139   (:results (values :more t))
 140   (:temporary (:sc descriptor-reg) move-temp)
 141   (:info label nvals)
 142   (:save-p :force-to-stack)
 143   (:vop-var vop)
 144   (:generator 30
 145     (emit-label label)
 146     (note-this-location vop :non-local-entry)
 147     (cond ((zerop nvals))
 148           ((= nvals 1)
 149            (let ((no-values (gen-label)))
 150              (inst mov (tn-ref-tn values) nil-value)
 151              (inst jrcxz no-values)
 152              (loadw (tn-ref-tn values) start -1)
 153              (emit-label no-values)))
 154           (t
 155            (collect ((defaults))
 156              (do ((i 0 (1+ i))
 157                   (tn-ref values (tn-ref-across tn-ref)))
 158                  ((null tn-ref))
 159                (let ((default-lab (gen-label))
 160                      (tn (tn-ref-tn tn-ref)))
 161                  (defaults (cons default-lab tn))
 162
 163                  (inst cmp count (fixnumize i))
 164                  (inst jmp :le default-lab)
 165                  (sc-case tn
 166                    ((descriptor-reg any-reg)
 167                     (loadw tn start (- (1+ i))))
 168                    ((control-stack)
 169                     (loadw move-temp start (- (1+ i)))
 170                     (inst mov tn move-temp)))))
 171              (let ((defaulting-done (gen-label)))
 172                (emit-label defaulting-done)
 173                (assemble (*elsewhere*)
 174                  (dolist (def (defaults))
 175                    (emit-label (car def))
 176                    (inst mov (cdr def) nil-value))
 177                  (inst jmp defaulting-done))))))
 178     (inst mov rsp-tn sp)))
 179
 180 (define-vop (nlx-entry-multiple)
 181   (:args (top)
 182          (source)
 183          (count :target rcx))
 184   ;; Again, no SC restrictions for the args, 'cause the loading would
 185   ;; happen before the entry label.
 186   (:info label)
 187   (:temporary (:sc unsigned-reg :offset rcx-offset :from (:argument 2)) rcx)
 188   (:temporary (:sc unsigned-reg :offset rsi-offset) rsi)
 189   (:temporary (:sc unsigned-reg :offset rdi-offset) rdi)
 190   (:results (result :scs (any-reg) :from (:argument 0))
 191             (num :scs (any-reg control-stack)))
 192   (:save-p :force-to-stack)
 193   (:vop-var vop)
 194   (:generator 30
 195     (emit-label label)
 196     (note-this-location vop :non-local-entry)
 197
 198     (inst lea rsi (make-ea :qword :base source :disp (- n-word-bytes)))
 199     ;; The 'top' arg contains the %esp value saved at the time the
 200     ;; catch block was created and points to where the thrown values
 201     ;; should sit.
 202     (move rdi top)
 203     (move result rdi)
 204
 205     (inst sub rdi n-word-bytes)
 206     (move rcx count)                    ; fixnum words == bytes
 207     (move num rcx)
 208     (inst shr rcx word-shift)           ; word count for <rep movs>
 209     ;; If we got zero, we be done.
 210     (inst jrcxz DONE)
 211     ;; Copy them down.
 212     (inst std)
 213     (inst rep)
 214     (inst movs :qword)
 215     (inst cld)
 216     DONE
 217     ;; Reset the CSP at last moved arg.
 218     (inst lea rsp-tn (make-ea :qword :base rdi :disp n-word-bytes))))
 219
 220
 221 ;;; This VOP is just to force the TNs used in the cleanup onto the stack.
 222 (define-vop (uwp-entry)
 223   (:info label)
 224   (:save-p :force-to-stack)
 225   (:results (block) (start) (count))
 226   (:ignore block start count)
 227   (:vop-var vop)
 228   (:generator 0
 229     (emit-label label)
 230     (note-this-location vop :non-local-entry)))
 231
 232 (define-vop (unwind-to-frame-and-call)
 233     (:args (ofp :scs (descriptor-reg))
 234            (uwp :scs (descriptor-reg))
 235            (function :scs (descriptor-reg)))
 236   (:arg-types system-area-pointer system-area-pointer t)
 237   (:temporary (:sc sap-reg) temp)
 238   (:temporary (:sc unsigned-reg :offset rax-offset) block)
 239   (:generator 22
 240     ;; Store the function into a non-stack location, since we'll be
 241     ;; unwinding the stack and destroying register contents before we
 242     ;; use it.
 243     (store-tl-symbol-value function
 244                            *unwind-to-frame-function*
 245                            temp)
 246
 247     ;; Allocate space for magic UWP block.
 248     (inst sub rsp-tn unwind-block-size)
 249     ;; Set up magic catch / UWP block.
 250     (move block rsp-tn)
 251     (loadw temp uwp sap-pointer-slot other-pointer-lowtag)
 252     (storew temp block unwind-block-current-uwp-slot)
 253     (loadw temp ofp sap-pointer-slot other-pointer-lowtag)
 254     (storew temp block unwind-block-current-cont-slot)
 255
 256     (inst lea temp-reg-tn (make-fixup nil :code-object entry-label))
 257     (storew temp-reg-tn
 258             block
 259             catch-block-entry-pc-slot)
 260
 261     ;; Run any required UWPs.
 262     (inst lea temp-reg-tn (make-fixup 'unwind :assembly-routine))
 263     (inst jmp temp-reg-tn)
 264     ENTRY-LABEL
 265
 266     ;; Load function from symbol
 267     (load-tl-symbol-value block *unwind-to-frame-function*)
 268
 269     ;; No parameters
 270     (zeroize rcx-tn)
 271
 272     ;; Clear the stack
 273     (inst lea rsp-tn
 274           (make-ea :qword :base rbp-tn :disp (* -3 n-word-bytes)))
 275
 276     ;; Push the return-pc so it looks like we just called.
 277     (pushw rbp-tn -2)
 278
 279     ;; Call it
 280     (inst jmp (make-ea :qword :base block
 281                        :disp (- (* closure-fun-slot n-word-bytes)
 282                                 fun-pointer-lowtag)))))