1.0.37.58: micro-optimize x86 lowtag testing
[sbcl.git] / src / compiler / x86 / type-vops.lisp
index 6c9e10b..a8efea6 100644 (file)
 \f
 ;;;; test generation utilities
 
-;;; Emit the most compact form of the test immediate instruction,
-;;; using an 8 bit test when the immediate is only 8 bits and the
-;;; value is one of the four low registers (eax, ebx, ecx, edx) or the
-;;; control stack.
 (defun generate-fixnum-test (value)
-  (let ((offset (tn-offset value)))
-    (cond ((and (sc-is value any-reg descriptor-reg)
-                (or (= offset eax-offset) (= offset ebx-offset)
-                    (= offset ecx-offset) (= offset edx-offset)))
-           (inst test (make-random-tn :kind :normal
-                                      :sc (sc-or-lose 'byte-reg)
-                                      :offset offset)
-                 3))
-          ((sc-is value control-stack)
-           (inst test (make-ea :byte :base ebp-tn
-                               :disp (- (* (1+ offset) n-word-bytes)))
-                 3))
-          (t
-           (inst test value 3)))))
+  (emit-optimized-test-inst value 3))
 
 (defun %test-fixnum (value target not-p)
   (generate-fixnum-test value)
            (inst cmp al-tn immediate))))
   (inst jmp (if not-p :ne :e) target))
 
-(defun %test-lowtag (value target not-p lowtag &optional al-loaded)
-  (unless al-loaded
-    (move eax-tn value)
-    (inst and al-tn lowtag-mask))
+(defun %test-lowtag (value target not-p lowtag)
+  (inst lea eax-tn (make-ea :dword :base value :disp (- lowtag)))
+  (inst test al-tn lowtag-mask)
   ;; FIXME: another 'optimization' which doesn't appear to work:
   ;; prefetching the hypothetically pointed-to version should help,
   ;; but this is in fact non-ideal in plenty of ways: we emit way too
   ;; not too bad.  -- CSR, 2004-07-27
   (when (member :prefetch *backend-subfeatures*)
     (inst prefetchnta (make-ea :byte :base value :disp (- lowtag))))
-  (inst cmp al-tn lowtag)
   (inst jmp (if not-p :ne :e) target))
 
 (defun %test-headers (value target not-p function-p headers
-                            &optional (drop-through (gen-label)) al-loaded)
+                            &optional (drop-through (gen-label)))
   (let ((lowtag (if function-p fun-pointer-lowtag other-pointer-lowtag)))
     (multiple-value-bind (equal less-or-equal greater-or-equal when-true when-false)
         ;; EQUAL, LESS-OR-EQUAL and GREATER-OR-EQUAL are the conditions for
@@ -84,7 +65,7 @@
         (if not-p
             (values :ne :a :b drop-through target)
             (values :e :na :nb target drop-through))
-      (%test-lowtag value when-false t lowtag al-loaded)
+      (%test-lowtag value when-false t lowtag)
       (cond
         ((and (null (cdr headers))
               (numberp (car headers)))
                      ;; was true.
                      (return))
                     (t
-                     (unless (= start bignum-widetag)
-                       (inst cmp al-tn start)
-                       (if (= end complex-array-widetag)
-                           (progn
-                             (aver last)
-                             (inst jmp greater-or-equal target))
-                           (inst jmp :b when-false))) ; was :l
-                     (unless (= end complex-array-widetag)
-                       (inst cmp al-tn end)
-                       (if last
-                           (inst jmp less-or-equal target)
-                           (inst jmp :be when-true)))))))))))) ; was :le
+                     (cond
+                       ((= start bignum-widetag)
+                        (inst cmp al-tn end)
+                        (if last
+                            (inst jmp less-or-equal target)
+                            (inst jmp :be when-true)))
+                       ((= end complex-array-widetag)
+                        (inst cmp al-tn start)
+                        (if last
+                            (inst jmp greater-or-equal target)
+                            (inst jmp :b when-false)))
+                       ((not last)
+                        (inst cmp al-tn start)
+                        (inst jmp :b when-false)
+                        (inst cmp al-tn end)
+                        (if last
+                            (inst jmp less-or-equal target)
+                            (inst jmp :be when-true)))
+                       (t
+                        (inst sub al-tn start)
+                        (inst cmp al-tn (- end start))
+                        (inst jmp less-or-equal target))))))))))))
       (emit-label drop-through))))
 \f
 ;;;; type checking and testing
            `((define-vop (,check-name ,(intern (concatenate 'string prefix "CHECK-TYPE")))
                (:generator ,cost
                  (let ((err-lab
-                        (generate-error-code vop ,error-code value)))
+                        (generate-error-code vop ',error-code value)))
                    (test-type value err-lab t (,@type-codes))
                    (move result value))))))
        ,@(when ptype
 
 (define-vop (fixnump/unsigned-byte-32 simple-type-predicate)
   (:args (value :scs (unsigned-reg)))
+  (:info)
+  (:conditional :be)
   (:arg-types unsigned-num)
   (:translate fixnump)
   (:generator 5
-    (inst cmp value #.sb!xc:most-positive-fixnum)
-    (inst jmp (if not-p :a :be) target)))
+    ;; We could encode this with :Z and SHR, analogously to the signed-byte-32
+    ;; case below -- as we do on x86-64 -- but that costs us an extra
+    ;; register. Compromises...
+    (inst cmp value #.sb!xc:most-positive-fixnum)))
+
+(define-vop (fixnump/signed-byte-32 type-predicate)
+  (:args (value :scs (signed-reg)))
+  (:info)
+  (:conditional :z)
+  (:arg-types signed-num)
+  (:translate fixnump)
+  (:generator 5
+    ;; Hackers Delight, p. 53: signed
+    ;;    a <= x <= a + 2^n - 1
+    ;; is equivalent to unsigned
+    ;;    ((x-a) >> n) = 0
+    (inst mov eax-tn value)
+    (inst sub eax-tn #.sb!xc:most-negative-fixnum)
+    (inst shr eax-tn #.(integer-length (- sb!xc:most-positive-fixnum
+                                          sb!xc:most-negative-fixnum)))))
 
 ;;; A (SIGNED-BYTE 32) can be represented with either fixnum or a bignum with
 ;;; exactly one digit.
             (values target not-target))
       (generate-fixnum-test value)
       (inst jmp :e yep)
-      (move eax-tn value)
-      (inst and al-tn lowtag-mask)
-      (inst cmp al-tn other-pointer-lowtag)
+      (inst lea eax-tn (make-ea :dword :base value
+                                :disp (- other-pointer-lowtag)))
+      (inst test al-tn lowtag-mask)
       (inst jmp :ne nope)
       (loadw eax-tn value 0 other-pointer-lowtag)
       (inst cmp eax-tn (+ (ash 1 n-widetag-bits) bignum-widetag))
 (define-vop (check-signed-byte-32 check-type)
   (:generator 45
     (let ((nope (generate-error-code vop
-                                     object-not-signed-byte-32-error
+                                     'object-not-signed-byte-32-error
                                      value)))
       (generate-fixnum-test value)
       (inst jmp :e yep)
-      (move eax-tn value)
-      (inst and al-tn lowtag-mask)
-      (inst cmp al-tn other-pointer-lowtag)
+      (inst lea eax-tn (make-ea :dword :base value
+                                :disp (- other-pointer-lowtag)))
+      (inst test al-tn lowtag-mask)
       (inst jmp :ne nope)
       (loadw eax-tn value 0 other-pointer-lowtag)
       (inst cmp eax-tn (+ (ash 1 n-widetag-bits) bignum-widetag))
 (define-vop (check-unsigned-byte-32 check-type)
   (:generator 45
     (let ((nope
-           (generate-error-code vop object-not-unsigned-byte-32-error value))
+           (generate-error-code vop 'object-not-unsigned-byte-32-error value))
           (yep (gen-label))
           (fixnum (gen-label))
           (single-word (gen-label)))
 
 (define-vop (check-symbol check-type)
   (:generator 12
-    (let ((error (generate-error-code vop object-not-symbol-error value)))
+    (let ((error (generate-error-code vop 'object-not-symbol-error value)))
       (inst cmp value nil-value)
       (inst jmp :e drop-thru)
       (test-type value error t (symbol-header-widetag)))
 
 (define-vop (check-cons check-type)
   (:generator 8
-    (let ((error (generate-error-code vop object-not-cons-error value)))
+    (let ((error (generate-error-code vop 'object-not-cons-error value)))
       (inst cmp value nil-value)
       (inst jmp :e error)
       (test-type value error t (list-pointer-lowtag))