src/compiler/x86/system.lisp

   1 ;;;; x86 VM definitions of various system hacking operations
   2
   3 ;;;; This software is part of the SBCL system. See the README file for
   4 ;;;; more information.
   5 ;;;;
   6 ;;;; This software is derived from the CMU CL system, which was
   7 ;;;; written at Carnegie Mellon University and released into the
   8 ;;;; public domain. The software is in the public domain and is
   9 ;;;; provided with absolutely no warranty. See the COPYING and CREDITS
  10 ;;;; files for more information.
  11
  12 (in-package "SB!VM")
  13 \f
  14 ;;;; type frobbing VOPs
  15
  16 (define-vop (lowtag-of)
  17   (:translate lowtag-of)
  18   (:policy :fast-safe)
  19   (:args (object :scs (any-reg descriptor-reg control-stack)
  20                  :target result))
  21   (:results (result :scs (unsigned-reg)))
  22   (:result-types positive-fixnum)
  23   (:generator 1
  24     (move result object)
  25     (inst and result lowtag-mask)))
  26
  27 (define-vop (widetag-of)
  28   (:translate widetag-of)
  29   (:policy :fast-safe)
  30   (:args (object :scs (descriptor-reg)))
  31   (:temporary (:sc unsigned-reg :offset eax-offset :to (:result 0)) eax)
  32   (:results (result :scs (unsigned-reg)))
  33   (:result-types positive-fixnum)
  34   (:generator 6
  35     (inst mov eax object)
  36     (inst and al-tn lowtag-mask)
  37     (inst cmp al-tn other-pointer-lowtag)
  38     (inst jmp :e other-ptr)
  39     (inst cmp al-tn fun-pointer-lowtag)
  40     (inst jmp :e function-ptr)
  41
  42     ;; Pick off structures and list pointers.
  43     (inst test al-tn 1)
  44     (inst jmp :ne done)
  45
  46     ;; Pick off fixnums.
  47     (inst and al-tn fixnum-tag-mask)
  48     (inst jmp :e done)
  49
  50     ;; must be an other immediate
  51     (inst mov eax object)
  52     (inst jmp done)
  53
  54     FUNCTION-PTR
  55     (load-type al-tn object (- fun-pointer-lowtag))
  56     (inst jmp done)
  57
  58     OTHER-PTR
  59     (load-type al-tn object (- other-pointer-lowtag))
  60
  61     DONE
  62     (inst movzx result al-tn)))
  63 \f
  64 (define-vop (fun-subtype)
  65   (:translate fun-subtype)
  66   (:policy :fast-safe)
  67   (:args (function :scs (descriptor-reg)))
  68   (:temporary (:sc byte-reg :from (:eval 0) :to (:eval 1)) temp)
  69   (:results (result :scs (unsigned-reg)))
  70   (:result-types positive-fixnum)
  71   (:generator 6
  72     (load-type temp function (- fun-pointer-lowtag))
  73     (inst movzx result temp)))
  74
  75 (define-vop (set-fun-subtype)
  76   (:translate (setf fun-subtype))
  77   (:policy :fast-safe)
  78   (:args (type :scs (unsigned-reg) :target eax)
  79          (function :scs (descriptor-reg)))
  80   (:arg-types positive-fixnum *)
  81   (:temporary (:sc unsigned-reg :offset eax-offset :from (:argument 0)
  82                    :to (:result 0) :target result)
  83               eax)
  84   (:results (result :scs (unsigned-reg)))
  85   (:result-types positive-fixnum)
  86   (:generator 6
  87     (move eax type)
  88     (storeb al-tn function 0 fun-pointer-lowtag)
  89     (move result eax)))
  90
  91 (define-vop (get-header-data)
  92   (:translate get-header-data)
  93   (:policy :fast-safe)
  94   (:args (x :scs (descriptor-reg)))
  95   (:results (res :scs (unsigned-reg)))
  96   (:result-types positive-fixnum)
  97   (:generator 6
  98     (loadw res x 0 other-pointer-lowtag)
  99     (inst shr res n-widetag-bits)))
 100
 101 (define-vop (get-closure-length)
 102   (:translate get-closure-length)
 103   (:policy :fast-safe)
 104   (:args (x :scs (descriptor-reg)))
 105   (:results (res :scs (unsigned-reg)))
 106   (:result-types positive-fixnum)
 107   (:generator 6
 108     (loadw res x 0 fun-pointer-lowtag)
 109     (inst shr res n-widetag-bits)))
 110
 111 (define-vop (set-header-data)
 112   (:translate set-header-data)
 113   (:policy :fast-safe)
 114   (:args (x :scs (descriptor-reg) :target res :to (:result 0))
 115          (data :scs (any-reg) :target eax))
 116   (:arg-types * positive-fixnum)
 117   (:results (res :scs (descriptor-reg)))
 118   (:temporary (:sc unsigned-reg :offset eax-offset
 119                    :from (:argument 1) :to (:result 0)) eax)
 120   (:generator 6
 121     (move eax data)
 122     (inst shl eax (- n-widetag-bits 2))
 123     (inst mov al-tn (make-ea :byte :base x :disp (- other-pointer-lowtag)))
 124     (storew eax x 0 other-pointer-lowtag)
 125     (move res x)))
 126 \f
 127 (define-vop (pointer-hash)
 128   (:translate pointer-hash)
 129   (:args (ptr :scs (any-reg descriptor-reg) :target res))
 130   (:results (res :scs (any-reg descriptor-reg)))
 131   (:policy :fast-safe)
 132   (:generator 1
 133     (move res ptr)
 134     ;; Mask the lowtag, and shift the whole address into a positive
 135     ;; fixnum.
 136     (inst and res (lognot lowtag-mask))
 137     (inst shr res 1)))
 138 \f
 139 ;;;; allocation
 140
 141 (define-vop (dynamic-space-free-pointer)
 142   (:results (int :scs (sap-reg)))
 143   (:result-types system-area-pointer)
 144   (:translate dynamic-space-free-pointer)
 145   (:policy :fast-safe)
 146   (:generator 1
 147     (load-symbol-value int *allocation-pointer*)))
 148
 149 (define-vop (binding-stack-pointer-sap)
 150   (:results (int :scs (sap-reg)))
 151   (:result-types system-area-pointer)
 152   (:translate binding-stack-pointer-sap)
 153   (:policy :fast-safe)
 154   (:generator 1
 155     (load-binding-stack-pointer int)))
 156
 157 (defknown (setf binding-stack-pointer-sap)
 158     (system-area-pointer) system-area-pointer ())
 159
 160 (define-vop (set-binding-stack-pointer-sap)
 161   (:args (new-value :scs (sap-reg) :target int))
 162   (:arg-types system-area-pointer)
 163   (:results (int :scs (sap-reg)))
 164   (:result-types system-area-pointer)
 165   (:translate (setf binding-stack-pointer-sap))
 166   (:policy :fast-safe)
 167   (:generator 1
 168     (store-binding-stack-pointer new-value)
 169     (move int new-value)))
 170
 171 (define-vop (control-stack-pointer-sap)
 172   (:results (int :scs (sap-reg)))
 173   (:result-types system-area-pointer)
 174   (:translate control-stack-pointer-sap)
 175   (:policy :fast-safe)
 176   (:generator 1
 177     (move int esp-tn)))
 178 \f
 179 ;;;; code object frobbing
 180
 181 (define-vop (code-instructions)
 182   (:translate code-instructions)
 183   (:policy :fast-safe)
 184   (:args (code :scs (descriptor-reg) :to (:result 0)))
 185   (:results (sap :scs (sap-reg) :from (:argument 0)))
 186   (:result-types system-area-pointer)
 187   (:generator 10
 188     (loadw sap code 0 other-pointer-lowtag)
 189     (inst shr sap n-widetag-bits)
 190     (inst lea sap (make-ea :byte :base code :index sap :scale 4
 191                            :disp (- other-pointer-lowtag)))))
 192
 193 (define-vop (compute-fun)
 194   (:args (code :scs (descriptor-reg) :to (:result 0))
 195          (offset :scs (signed-reg unsigned-reg) :to (:result 0)))
 196   (:arg-types * positive-fixnum)
 197   (:results (func :scs (descriptor-reg) :from (:argument 0)))
 198   (:generator 10
 199     (loadw func code 0 other-pointer-lowtag)
 200     (inst shr func n-widetag-bits)
 201     (inst lea func
 202           (make-ea :byte :base offset :index func :scale 4
 203                    :disp (- fun-pointer-lowtag other-pointer-lowtag)))
 204     (inst add func code)))
 205
 206 (define-vop (%simple-fun-self)
 207   (:policy :fast-safe)
 208   (:translate %simple-fun-self)
 209   (:args (function :scs (descriptor-reg)))
 210   (:results (result :scs (descriptor-reg)))
 211   (:generator 3
 212     (loadw result function simple-fun-self-slot fun-pointer-lowtag)
 213     (inst lea result
 214           (make-ea :byte :base result
 215                    :disp (- fun-pointer-lowtag
 216                             (* simple-fun-code-offset n-word-bytes))))))
 217
 218 ;;; The closure function slot is a pointer to raw code on X86 instead
 219 ;;; of a pointer to the code function object itself. This VOP is used
 220 ;;; to reference the function object given the closure object.
 221 (define-source-transform %closure-fun (closure)
 222   `(%simple-fun-self ,closure))
 223
 224 (define-vop (%set-fun-self)
 225   (:policy :fast-safe)
 226   (:translate (setf %simple-fun-self))
 227   (:args (new-self :scs (descriptor-reg) :target result :to :result)
 228          (function :scs (descriptor-reg) :to :result))
 229   (:temporary (:sc any-reg :from (:argument 0) :to :result) temp)
 230   (:results (result :scs (descriptor-reg)))
 231   (:generator 3
 232     (inst lea temp (make-ea-for-object-slot new-self simple-fun-code-offset
 233                                             fun-pointer-lowtag))
 234     (storew temp function simple-fun-self-slot fun-pointer-lowtag)
 235     (move result new-self)))
 236 \f
 237 ;;;; other miscellaneous VOPs
 238
 239 (defknown sb!unix::receive-pending-interrupt () (values))
 240 (define-vop (sb!unix::receive-pending-interrupt)
 241   (:policy :fast-safe)
 242   (:translate sb!unix::receive-pending-interrupt)
 243   (:generator 1
 244     (inst break pending-interrupt-trap)))
 245
 246 #!+sb-safepoint
 247 (define-vop (insert-safepoint)
 248   (:policy :fast-safe)
 249   (:translate sb!kernel::gc-safepoint)
 250   (:generator 0
 251     (emit-safepoint)))
 252
 253 #!+sb-thread
 254 (defknown current-thread-offset-sap ((unsigned-byte 32))
 255   system-area-pointer (flushable))
 256
 257 #!+sb-thread
 258 (define-vop (current-thread-offset-sap)
 259   (:results (sap :scs (sap-reg)))
 260   (:result-types system-area-pointer)
 261   (:translate current-thread-offset-sap)
 262   (:args (n :scs (unsigned-reg)
 263             #!+win32 #!+win32 :to :save
 264             #!-win32 #!-win32 :target sap))
 265   (:arg-types unsigned-num)
 266   (:policy :fast-safe)
 267   (:generator 2
 268     #!+win32
 269     (progn
 270       ;; Note that SAP conflicts with N in this case, hence the reader
 271       ;; conditionals above.
 272       (inst mov sap (make-ea :dword :disp +win32-tib-arbitrary-field-offset+) :fs)
 273       (inst mov sap (make-ea :dword :base sap :disp 0 :index n :scale 4)))
 274     #!-win32
 275     (inst mov sap (make-ea :dword :disp 0 :index n :scale 4) :fs)))
 276
 277 (define-vop (halt)
 278   (:generator 1
 279     (inst break halt-trap)))
 280
 281 (defknown float-wait () (values))
 282 (define-vop (float-wait)
 283   (:policy :fast-safe)
 284   (:translate float-wait)
 285   (:vop-var vop)
 286   (:save-p :compute-only)
 287   (:generator 1
 288     (note-next-instruction vop :internal-error)
 289     (inst wait)))
 290 \f
 291 ;;;; Miscellany
 292
 293 ;;; the RDTSC instruction (present on Pentium processors and
 294 ;;; successors) allows you to access the time-stamp counter, a 64-bit
 295 ;;; model-specific register that counts executed cycles. The
 296 ;;; instruction returns the low cycle count in EAX and high cycle
 297 ;;; count in EDX.
 298 ;;;
 299 ;;; In order to obtain more significant results on out-of-order
 300 ;;; processors (such as the Pentium II and later), we issue a
 301 ;;; serializing CPUID instruction before reading the cycle counter.
 302 ;;; This instruction is used for its side effect of emptying the
 303 ;;; processor pipeline, to ensure that the RDTSC instruction is
 304 ;;; executed once all pending instructions have been completed.
 305 ;;; CPUID writes to EBX and ECX in addition to EAX and EDX, so
 306 ;;; they need to be added as temporaries.
 307 ;;;
 308 ;;; Note that cache effects mean that the cycle count can vary for
 309 ;;; different executions of the same code (it counts cycles, not
 310 ;;; retired instructions). Furthermore, the results are per-processor
 311 ;;; and not per-process, so are unreliable on multiprocessor machines
 312 ;;; where processes can migrate between processors.
 313 ;;;
 314 ;;; This method of obtaining a cycle count has the advantage of being
 315 ;;; very fast (around 20 cycles), and of not requiring a system call.
 316 ;;; However, you need to know your processor's clock speed to translate
 317 ;;; this into real execution time.
 318 ;;;
 319 ;;; FIXME: This about the WITH-CYCLE-COUNTER interface a bit, and then
 320 ;;; perhaps export it from SB-SYS.
 321
 322 (defknown %read-cycle-counter () (values (unsigned-byte 32) (unsigned-byte 32)) ())
 323
 324 (define-vop (%read-cycle-counter)
 325   (:policy :fast-safe)
 326   (:translate %read-cycle-counter)
 327   (:temporary (:sc unsigned-reg :offset eax-offset :target lo) eax)
 328   (:temporary (:sc unsigned-reg :offset edx-offset :target hi) edx)
 329   (:temporary (:sc unsigned-reg :offset ebx-offset) ebx)
 330   (:temporary (:sc unsigned-reg :offset ecx-offset) ecx)
 331   (:ignore ebx ecx)
 332   (:results (hi :scs (unsigned-reg))
 333             (lo :scs (unsigned-reg)))
 334   (:result-types unsigned-num unsigned-num)
 335   (:generator 5
 336      (inst xor eax eax)
 337      ;; Intel docs seem quite consistent on only using CPUID before RDTSC,
 338      ;; not both before and after. Go figure.
 339      (inst cpuid)
 340      (inst rdtsc)
 341      (move lo eax)
 342      (move hi edx)))
 343
 344 (defmacro with-cycle-counter (&body body)
 345   "Returns the primary value of BODY as the primary value, and the
 346 number of CPU cycles elapsed as secondary value. EXPERIMENTAL."
 347   (with-unique-names (hi0 hi1 lo0 lo1)
 348     `(multiple-value-bind (,hi0 ,lo0) (%read-cycle-counter)
 349        (values (locally ,@body)
 350                (multiple-value-bind (,hi1 ,lo1) (%read-cycle-counter)
 351                  (+ (ash (- ,hi1 ,hi0) 32)
 352                     (- ,lo1 ,lo0)))))))
 353
 354 #!+sb-dyncount
 355 (define-vop (count-me)
 356   (:args (count-vector :scs (descriptor-reg)))
 357   (:info index)
 358   (:generator 0
 359     (inst inc (make-ea-for-vector-data count-vector :offset index))))
 360 \f
 361 ;;;; Memory barrier support
 362
 363 #!+memory-barrier-vops
 364 (define-vop (%compiler-barrier)
 365   (:policy :fast-safe)
 366   (:translate %compiler-barrier)
 367   (:generator 3))
 368
 369 #!+memory-barrier-vops
 370 (define-vop (%memory-barrier)
 371   (:policy :fast-safe)
 372   (:translate %memory-barrier)
 373   (:generator 3
 374     (inst add (make-ea :dword :base esp-tn) 0 :lock)))
 375
 376 #!+memory-barrier-vops
 377 (define-vop (%read-barrier)
 378   (:policy :fast-safe)
 379   (:translate %read-barrier)
 380   (:generator 3))
 381
 382 #!+memory-barrier-vops
 383 (define-vop (%write-barrier)
 384   (:policy :fast-safe)
 385   (:translate %write-barrier)
 386   (:generator 3))
 387
 388 #!+memory-barrier-vops
 389 (define-vop (%data-dependency-barrier)
 390   (:policy :fast-safe)
 391   (:translate %data-dependency-barrier)
 392   (:generator 3))
 393
 394 (define-vop (pause)
 395   (:translate spin-loop-hint)
 396   (:policy :fast-safe)
 397   (:generator 0
 398     (inst pause)))