src/compiler/sparc/arith.lisp

   1 ;;;; the VM definition arithmetic VOPs for the SPARC
   2
   3 ;;;; This software is part of the SBCL system. See the README file for
   4 ;;;; more information.
   5 ;;;;
   6 ;;;; This software is derived from the CMU CL system, which was
   7 ;;;; written at Carnegie Mellon University and released into the
   8 ;;;; public domain. The software is in the public domain and is
   9 ;;;; provided with absolutely no warranty. See the COPYING and CREDITS
  10 ;;;; files for more information.
  11
  12 (in-package "SB!VM")
  13 \f
  14 ;;;; unary operations.
  15
  16 (define-vop (fast-safe-arith-op)
  17   (:policy :fast-safe)
  18   (:effects)
  19   (:affected))
  20
  21 (define-vop (fixnum-unop fast-safe-arith-op)
  22   (:args (x :scs (any-reg)))
  23   (:results (res :scs (any-reg)))
  24   (:note "inline fixnum arithmetic")
  25   (:arg-types tagged-num)
  26   (:result-types tagged-num))
  27
  28 (define-vop (signed-unop fast-safe-arith-op)
  29   (:args (x :scs (signed-reg)))
  30   (:results (res :scs (signed-reg)))
  31   (:note "inline (signed-byte 32) arithmetic")
  32   (:arg-types signed-num)
  33   (:result-types signed-num))
  34
  35 (define-vop (fast-negate/fixnum fixnum-unop)
  36   (:translate %negate)
  37   (:generator 1
  38     (inst neg res x)))
  39
  40 (define-vop (fast-negate/signed signed-unop)
  41   (:translate %negate)
  42   (:generator 2
  43     (inst neg res x)))
  44
  45 (define-vop (fast-lognot/fixnum fixnum-unop)
  46   (:translate lognot)
  47   (:generator 2
  48     (inst xor res x (fixnumize -1))))
  49
  50 (define-vop (fast-lognot/signed signed-unop)
  51   (:translate lognot)
  52   (:generator 1
  53     (inst not res x)))
  54 \f
  55 ;;;; Binary fixnum operations.
  56
  57 ;;; Assume that any constant operand is the second arg...
  58
  59 (define-vop (fast-fixnum-binop fast-safe-arith-op)
  60   (:args (x :target r :scs (any-reg zero))
  61          (y :target r :scs (any-reg zero)))
  62   (:arg-types tagged-num tagged-num)
  63   (:results (r :scs (any-reg)))
  64   (:result-types tagged-num)
  65   (:note "inline fixnum arithmetic"))
  66
  67 (define-vop (fast-unsigned-binop fast-safe-arith-op)
  68   (:args (x :target r :scs (unsigned-reg zero))
  69          (y :target r :scs (unsigned-reg zero)))
  70   (:arg-types unsigned-num unsigned-num)
  71   (:results (r :scs (unsigned-reg)))
  72   (:result-types unsigned-num)
  73   (:note "inline (unsigned-byte 32) arithmetic"))
  74
  75 (define-vop (fast-signed-binop fast-safe-arith-op)
  76   (:args (x :target r :scs (signed-reg zero))
  77          (y :target r :scs (signed-reg zero)))
  78   (:arg-types signed-num signed-num)
  79   (:results (r :scs (signed-reg)))
  80   (:result-types signed-num)
  81   (:note "inline (signed-byte 32) arithmetic"))
  82
  83
  84 (define-vop (fast-fixnum-binop-c fast-safe-arith-op)
  85   (:args (x :target r :scs (any-reg zero)))
  86   (:info y)
  87   (:arg-types tagged-num
  88               (:constant (and (signed-byte 11) (not (integer 0 0)))))
  89   (:results (r :scs (any-reg)))
  90   (:result-types tagged-num)
  91   (:note "inline fixnum arithmetic"))
  92
  93 (define-vop (fast-unsigned-binop-c fast-safe-arith-op)
  94   (:args (x :target r :scs (unsigned-reg zero)))
  95   (:info y)
  96   (:arg-types unsigned-num
  97               (:constant (and (signed-byte 13) (not (integer 0 0)))))
  98   (:results (r :scs (unsigned-reg)))
  99   (:result-types unsigned-num)
 100   (:note "inline (unsigned-byte 32) arithmetic"))
 101
 102 (define-vop (fast-signed-binop-c fast-safe-arith-op)
 103   (:args (x :target r :scs (signed-reg zero)))
 104   (:info y)
 105   (:arg-types signed-num
 106               (:constant (and (signed-byte 13) (not (integer 0 0)))))
 107   (:results (r :scs (signed-reg)))
 108   (:result-types signed-num)
 109   (:note "inline (signed-byte 32) arithmetic"))
 110
 111
 112 (eval-when (:compile-toplevel :load-toplevel :execute)
 113
 114 (defmacro define-binop (translate untagged-penalty op
 115                         &optional arg-swap restore-fixnum-mask)
 116   `(progn
 117      (define-vop (,(symbolicate 'fast translate '/fixnum=>fixnum)
 118                   fast-fixnum-binop)
 119        ,@(when restore-fixnum-mask
 120            `((:temporary (:sc non-descriptor-reg) temp)))
 121        (:translate ,translate)
 122        (:generator 2
 123          ,(if arg-swap
 124               `(inst ,op ,(if restore-fixnum-mask 'temp 'r) y x)
 125               `(inst ,op ,(if restore-fixnum-mask 'temp 'r) x y))
 126          ,@(when restore-fixnum-mask
 127              `((inst andn r temp fixnum-tag-mask)))))
 128      ,@(unless arg-swap
 129          `((define-vop (,(symbolicate 'fast- translate '-c/fixnum=>fixnum)
 130                         fast-fixnum-binop-c)
 131              ,@(when restore-fixnum-mask
 132                  `((:temporary (:sc non-descriptor-reg) temp)))
 133              (:translate ,translate)
 134              (:generator 1
 135                (inst ,op ,(if restore-fixnum-mask 'temp 'r) x (fixnumize y))
 136                ,@(when restore-fixnum-mask
 137                    `((inst andn r temp fixnum-tag-mask)))))))
 138      (define-vop (,(symbolicate 'fast- translate '/signed=>signed)
 139                   fast-signed-binop)
 140        (:translate ,translate)
 141        (:generator ,(1+ untagged-penalty)
 142          ,(if arg-swap
 143               `(inst ,op r y x)
 144               `(inst ,op r x y))))
 145      ,@(unless arg-swap
 146          `((define-vop (,(symbolicate 'fast- translate '-c/signed=>signed)
 147                         fast-signed-binop-c)
 148              (:translate ,translate)
 149              (:generator ,untagged-penalty
 150                (inst ,op r x y)))))
 151      (define-vop (,(symbolicate 'fast- translate '/unsigned=>unsigned)
 152                   fast-unsigned-binop)
 153        (:translate ,translate)
 154        (:generator ,(1+ untagged-penalty)
 155          ,(if arg-swap
 156               `(inst ,op r y x)
 157               `(inst ,op r x y))))
 158      ,@(unless arg-swap
 159          `((define-vop (,(symbolicate 'fast- translate '-c/unsigned=>unsigned)
 160                         fast-unsigned-binop-c)
 161              (:translate ,translate)
 162              (:generator ,untagged-penalty
 163                (inst ,op r x y)))))))
 164
 165 ); eval-when
 166
 167 (define-binop + 4 add)
 168 (define-binop - 4 sub)
 169 (define-binop logand 2 and)
 170 (define-binop logandc1 2 andn t)
 171 (define-binop logandc2 2 andn)
 172 (define-binop logior 2 or)
 173 (define-binop logorc1 2 orn t t)
 174 (define-binop logorc2 2 orn nil t)
 175 (define-binop logxor 2 xor)
 176 (define-binop logeqv 2 xnor nil t)
 177
 178 (define-vop (fast-logand/signed-unsigned=>unsigned fast-logand/unsigned=>unsigned)
 179   (:args (x :scs (signed-reg) :target r)
 180          (y :scs (unsigned-reg) :target r))
 181   (:arg-types signed-num unsigned-num)
 182   (:translate logand))
 183
 184 ;;; Special case fixnum + and - that trap on overflow.  Useful when we
 185 ;;; don't know that the output type is a fixnum.
 186
 187 ;;; I (Raymond Toy) took these out. They don't seem to be used
 188 ;;; anywhere at all.
 189 #+nil
 190 (progn
 191 (define-vop (+/fixnum fast-+/fixnum=>fixnum)
 192   (:policy :safe)
 193   (:results (r :scs (any-reg descriptor-reg)))
 194   (:result-types tagged-num)
 195   (:note "safe inline fixnum arithmetic")
 196   (:generator 4
 197     (inst taddcctv r x y)))
 198
 199 (define-vop (+-c/fixnum fast-+-c/fixnum=>fixnum)
 200   (:policy :safe)
 201   (:results (r :scs (any-reg descriptor-reg)))
 202   (:result-types tagged-num)
 203   (:note "safe inline fixnum arithmetic")
 204   (:generator 3
 205     (inst taddcctv r x (fixnumize y))))
 206
 207 (define-vop (-/fixnum fast--/fixnum=>fixnum)
 208   (:policy :safe)
 209   (:results (r :scs (any-reg descriptor-reg)))
 210   (:result-types tagged-num)
 211   (:note "safe inline fixnum arithmetic")
 212   (:generator 4
 213     (inst tsubcctv r x y)))
 214
 215 (define-vop (--c/fixnum fast---c/fixnum=>fixnum)
 216   (:policy :safe)
 217   (:results (r :scs (any-reg descriptor-reg)))
 218   (:result-types tagged-num)
 219   (:note "safe inline fixnum arithmetic")
 220   (:generator 3
 221     (inst tsubcctv r x (fixnumize y))))
 222
 223 )
 224
 225 ;;; Truncate
 226
 227 ;; This doesn't work for some reason.
 228 #+nil
 229 (define-vop (fast-v8-truncate/fixnum=>fixnum fast-safe-arith-op)
 230   (:translate truncate)
 231   (:args (x :scs (any-reg))
 232          (y :scs (any-reg)))
 233   (:arg-types tagged-num tagged-num)
 234   (:results (quo :scs (any-reg))
 235             (rem :scs (any-reg)))
 236   (:result-types tagged-num tagged-num)
 237   (:note "inline fixnum arithmetic")
 238   (:temporary (:scs (any-reg) :target quo) q)
 239   (:temporary (:scs (any-reg)) r)
 240   (:temporary (:scs (signed-reg)) y-int)
 241   (:vop-var vop)
 242   (:save-p :compute-only)
 243   (:guard (or (member :sparc-v8 *backend-subfeatures*)
 244               (and (member :sparc-v9 *backend-subfeatures*)
 245                    (not (member :sparc-64 *backend-subfeatures*)))))
 246   (:generator 12
 247     (let ((zero (generate-error-code vop division-by-zero-error x y)))
 248       (inst cmp y zero-tn)
 249       (inst b :eq zero)
 250       ;; Extend the sign of X into the Y register
 251         (inst sra r x 31)
 252       (inst wry r)
 253       ;; Remove tag bits so Q and R will be tagged correctly.
 254       (inst sra y-int y n-fixnum-tag-bits)
 255       (inst nop)
 256       (inst nop)
 257
 258       (inst sdiv q x y-int)             ; Q is tagged.
 259       ;; We have the quotient so we need to compute the remainder
 260       (inst smul r q y-int)             ; R is tagged
 261       (inst sub rem x r)
 262       (unless (location= quo q)
 263         (move quo q)))))
 264
 265 (define-vop (fast-v8-truncate/signed=>signed fast-safe-arith-op)
 266   (:translate truncate)
 267   (:args (x :scs (signed-reg))
 268          (y :scs (signed-reg)))
 269   (:arg-types signed-num signed-num)
 270   (:results (quo :scs (signed-reg))
 271             (rem :scs (signed-reg)))
 272   (:result-types signed-num signed-num)
 273   (:note "inline (signed-byte 32) arithmetic")
 274   (:temporary (:scs (signed-reg) :target quo) q)
 275   (:temporary (:scs (signed-reg)) r)
 276   (:vop-var vop)
 277   (:save-p :compute-only)
 278   (:guard (or (member :sparc-v8 *backend-subfeatures*)
 279               (and (member :sparc-v9 *backend-subfeatures*)
 280                    (not (member :sparc-64 *backend-subfeatures*)))))
 281   (:generator 12
 282     (let ((zero (generate-error-code vop division-by-zero-error x y)))
 283       (inst cmp y zero-tn)
 284       (if (member :sparc-v9 *backend-subfeatures*)
 285           (inst b :eq zero :pn)
 286           (inst b :eq zero))
 287       ;; Extend the sign of X into the Y register
 288       (inst sra r x 31)
 289       (inst wry r)
 290       (inst nop)
 291       (inst nop)
 292       (inst nop)
 293
 294       (inst sdiv q x y)
 295       ;; We have the quotient so we need to compue the remainder
 296       (inst smul r q y)         ; rem
 297       (inst sub rem x r)
 298       (unless (location= quo q)
 299         (move quo q)))))
 300
 301 (define-vop (fast-v8-truncate/unsigned=>unsigned fast-safe-arith-op)
 302   (:translate truncate)
 303   (:args (x :scs (unsigned-reg))
 304          (y :scs (unsigned-reg)))
 305   (:arg-types unsigned-num unsigned-num)
 306   (:results (quo :scs (unsigned-reg))
 307             (rem :scs (unsigned-reg)))
 308   (:result-types unsigned-num unsigned-num)
 309   (:note "inline (unsigned-byte 32) arithmetic")
 310   (:temporary (:scs (unsigned-reg) :target quo) q)
 311   (:temporary (:scs (unsigned-reg)) r)
 312   (:vop-var vop)
 313   (:save-p :compute-only)
 314   (:guard (or (member :sparc-v8 *backend-subfeatures*)
 315               (and (member :sparc-v9 *backend-subfeatures*)
 316                    (not (member :sparc-64 *backend-subfeatures*)))))
 317   (:generator 8
 318     (let ((zero (generate-error-code vop division-by-zero-error x y)))
 319       (inst cmp y zero-tn)
 320       (if (member :sparc-v9 *backend-subfeatures*)
 321           (inst b :eq zero :pn)
 322           (inst b :eq zero))
 323       (inst wry zero-tn)                ; Clear out high part
 324       (inst nop)
 325       (inst nop)
 326       (inst nop)
 327
 328       (inst udiv q x y)
 329       ;; Compute remainder
 330       (inst umul r q y)
 331       (inst sub rem x r)
 332       (unless (location= quo q)
 333         (inst move quo q)))))
 334
 335 (define-vop (fast-v9-truncate/signed=>signed fast-safe-arith-op)
 336   (:translate truncate)
 337   (:args (x :scs (signed-reg))
 338          (y :scs (signed-reg)))
 339   (:arg-types signed-num signed-num)
 340   (:results (quo :scs (signed-reg))
 341             (rem :scs (signed-reg)))
 342   (:result-types signed-num signed-num)
 343   (:note "inline (signed-byte 32) arithmetic")
 344   (:temporary (:scs (signed-reg) :target quo) q)
 345   (:temporary (:scs (signed-reg)) r)
 346   (:vop-var vop)
 347   (:save-p :compute-only)
 348   (:guard (member :sparc-64 *backend-subfeatures*))
 349   (:generator 8
 350     (let ((zero (generate-error-code vop division-by-zero-error x y)))
 351       (inst cmp y zero-tn)
 352       (inst b :eq zero :pn)
 353       ;; Sign extend the numbers, just in case.
 354       (inst sra x 0)
 355       (inst sra y 0)
 356       (inst sdivx q x y)
 357       ;; Compute remainder
 358       (inst mulx r q y)
 359       (inst sub rem x r)
 360       (unless (location= quo q)
 361         (inst move quo q)))))
 362
 363 (define-vop (fast-v9-truncate/unsigned=>unsigned fast-safe-arith-op)
 364   (:translate truncate)
 365   (:args (x :scs (unsigned-reg))
 366          (y :scs (unsigned-reg)))
 367   (:arg-types unsigned-num unsigned-num)
 368   (:results (quo :scs (unsigned-reg))
 369             (rem :scs (unsigned-reg)))
 370   (:result-types unsigned-num unsigned-num)
 371   (:note "inline (unsigned-byte 32) arithmetic")
 372   (:temporary (:scs (unsigned-reg) :target quo) q)
 373   (:temporary (:scs (unsigned-reg)) r)
 374   (:vop-var vop)
 375   (:save-p :compute-only)
 376   (:guard (member :sparc-64 *backend-subfeatures*))
 377   (:generator 8
 378     (let ((zero (generate-error-code vop division-by-zero-error x y)))
 379       (inst cmp y zero-tn)
 380       (inst b :eq zero :pn)
 381       ;; Zap the higher 32 bits, just in case
 382       (inst srl x 0)
 383       (inst srl y 0)
 384       (inst udivx q x y)
 385       ;; Compute remainder
 386       (inst mulx r q y)
 387       (inst sub rem x r)
 388       (unless (location= quo q)
 389         (inst move quo q)))))
 390
 391 ;;; Shifting
 392
 393 (define-vop (fast-ash/signed=>signed)
 394   (:note "inline ASH")
 395   (:args (number :scs (signed-reg) :to :save)
 396          (amount :scs (signed-reg) :to :save))
 397   (:arg-types signed-num signed-num)
 398   (:results (result :scs (signed-reg)))
 399   (:result-types signed-num)
 400   (:translate ash)
 401   (:policy :fast-safe)
 402   (:temporary (:sc non-descriptor-reg) ndesc)
 403   (:generator 5
 404     (let ((done (gen-label)))
 405       (inst cmp amount)
 406       (inst b :ge done)
 407       ;; The result-type assures us that this shift will not
 408       ;; overflow.
 409       (inst sll result number amount)
 410       (inst neg ndesc amount)
 411       (inst cmp ndesc 31)
 412       (if (member :sparc-v9 *backend-subfeatures*)
 413           (progn
 414             (inst cmove :ge ndesc 31)
 415             (inst sra result number ndesc))
 416           (progn
 417             (inst b :le done)
 418             (inst sra result number ndesc)
 419             (inst sra result number 31)))
 420       (emit-label done))))
 421
 422 (define-vop (fast-ash-c/signed=>signed)
 423   (:note "inline constant ASH")
 424   (:args (number :scs (signed-reg)))
 425   (:info count)
 426   (:arg-types signed-num (:constant integer))
 427   (:results (result :scs (signed-reg)))
 428   (:result-types signed-num)
 429   (:translate ash)
 430   (:policy :fast-safe)
 431   (:generator 4
 432     (cond
 433       ((< count 0) (inst sra result number (min (- count) 31)))
 434       ((> count 0) (inst sll result number (min count 31)))
 435       (t (bug "identity ASH not transformed away")))))
 436
 437 (define-vop (fast-ash/unsigned=>unsigned)
 438   (:note "inline ASH")
 439   (:args (number :scs (unsigned-reg) :to :save)
 440          (amount :scs (signed-reg) :to :save))
 441   (:arg-types unsigned-num signed-num)
 442   (:results (result :scs (unsigned-reg)))
 443   (:result-types unsigned-num)
 444   (:translate ash)
 445   (:policy :fast-safe)
 446   (:temporary (:sc non-descriptor-reg) ndesc)
 447   (:generator 5
 448     (let ((done (gen-label)))
 449       (inst cmp amount)
 450       (inst b :ge done)
 451       ;; The result-type assures us that this shift will not
 452       ;; overflow.
 453       (inst sll result number amount)
 454       (inst neg ndesc amount)
 455       (inst cmp ndesc 32)
 456       (if (member :sparc-v9 *backend-subfeatures*)
 457           (progn
 458             (inst srl result number ndesc)
 459             (inst cmove :ge result zero-tn))
 460           (progn
 461             (inst b :lt done)
 462             (inst srl result number ndesc)
 463             (move result zero-tn)))
 464       (emit-label done))))
 465
 466 (define-vop (fast-ash-c/unsigned=>unsigned)
 467   (:note "inline constant ASH")
 468   (:args (number :scs (unsigned-reg)))
 469   (:info count)
 470   (:arg-types unsigned-num (:constant integer))
 471   (:results (result :scs (unsigned-reg)))
 472   (:result-types unsigned-num)
 473   (:translate ash)
 474   (:policy :fast-safe)
 475   (:generator 4
 476     (cond
 477       ((< count -31) (move result zero-tn))
 478       ((< count 0) (inst srl result number (min (- count) 31)))
 479       ((> count 0) (inst sll result number (min count 31)))
 480       (t (bug "identity ASH not transformed away")))))
 481
 482 ;; Some special cases where we know we want a left shift.  Just do the
 483 ;; shift, instead of checking for the sign of the shift.
 484 (macrolet
 485     ((def (name sc-type type result-type cost)
 486        `(define-vop (,name)
 487          (:note "inline ASH")
 488          (:translate ash)
 489          (:args (number :scs (,sc-type))
 490                 (amount :scs (signed-reg unsigned-reg immediate)))
 491          (:arg-types ,type positive-fixnum)
 492          (:results (result :scs (,result-type)))
 493          (:result-types ,type)
 494          (:policy :fast-safe)
 495          (:generator ,cost
 496           ;; The result-type assures us that this shift will not
 497           ;; overflow. And for fixnums, the zero bits that get
 498           ;; shifted in are just fine for the fixnum tag.
 499           (sc-case amount
 500            ((signed-reg unsigned-reg)
 501             (inst sll result number amount))
 502            (immediate
 503             (let ((amount (tn-value amount)))
 504               (aver (>= amount 0))
 505               (inst sll result number amount))))))))
 506   (def fast-ash-left/signed=>signed signed-reg signed-num signed-reg 3)
 507   (def fast-ash-left/fixnum=>fixnum any-reg tagged-num any-reg 2)
 508   (def fast-ash-left/unsigned=>unsigned unsigned-reg unsigned-num unsigned-reg 3))
 509
 510 \f
 511 (define-vop (signed-byte-32-len)
 512   (:translate integer-length)
 513   (:note "inline (signed-byte 32) integer-length")
 514   (:policy :fast-safe)
 515   (:args (arg :scs (signed-reg) :target shift))
 516   (:arg-types signed-num)
 517   (:results (res :scs (any-reg)))
 518   (:result-types positive-fixnum)
 519   (:temporary (:scs (non-descriptor-reg) :from (:argument 0)) shift)
 520   (:generator 30
 521     (let ((loop (gen-label))
 522           (test (gen-label)))
 523       (inst addcc shift zero-tn arg)
 524       (inst b :ge test)
 525       (move res zero-tn)
 526       (inst b test)
 527       (inst not shift)
 528
 529       (emit-label loop)
 530       (inst add res (fixnumize 1))
 531
 532       (emit-label test)
 533       (inst cmp shift)
 534       (inst b :ne loop)
 535       (inst srl shift 1))))
 536
 537 (define-vop (unsigned-byte-32-count)
 538   (:translate logcount)
 539   (:note "inline (unsigned-byte 32) logcount")
 540   (:policy :fast-safe)
 541   (:args (arg :scs (unsigned-reg)))
 542   (:arg-types unsigned-num)
 543   (:results (res :scs (unsigned-reg)))
 544   (:result-types positive-fixnum)
 545   (:temporary (:scs (non-descriptor-reg) :from (:argument 0)) mask temp)
 546   (:generator 35
 547       (move res arg)
 548
 549       (dolist (stuff '((1 #x55555555) (2 #x33333333) (4 #x0f0f0f0f)
 550                        (8 #x00ff00ff) (16 #x0000ffff)))
 551         (destructuring-bind (shift bit-mask)
 552             stuff
 553           ;; Set mask
 554           (inst sethi mask (ldb (byte 22 10) bit-mask))
 555           (inst add mask (ldb (byte 10 0) bit-mask))
 556
 557           (inst and temp res mask)
 558           (inst srl res shift)
 559           (inst and res mask)
 560           (inst add res temp)))))
 561
 562
 563 ;;; Multiply and Divide.
 564
 565 (define-vop (fast-v8-*/fixnum=>fixnum fast-fixnum-binop)
 566   (:temporary (:scs (non-descriptor-reg)) temp)
 567   (:translate *)
 568   (:guard (or (member :sparc-v8 *backend-subfeatures*)
 569               (and (member :sparc-v9 *backend-subfeatures*)
 570                    (not (member :sparc-64 *backend-subfeatures*)))))
 571   (:generator 2
 572     ;; The cost here should be less than the cost for
 573     ;; */signed=>signed.  Why?  A fixnum product using signed=>signed
 574     ;; has to convert both args to signed-nums.  But using this, we
 575     ;; don't have to and that saves an instruction.
 576     (inst sra temp y n-fixnum-tag-bits)
 577     (inst smul r x temp)))
 578
 579 (define-vop (fast-v8-*-c/fixnum=>fixnum fast-safe-arith-op)
 580   (:args (x :target r :scs (any-reg zero)))
 581   (:info y)
 582   (:arg-types tagged-num
 583               (:constant (and (signed-byte 13) (not (integer 0 0)))))
 584   (:results (r :scs (any-reg)))
 585   (:result-types tagged-num)
 586   (:note "inline fixnum arithmetic")
 587   (:translate *)
 588   (:guard (or (member :sparc-v8 *backend-subfeatures*)
 589               (and (member :sparc-v9 *backend-subfeatures*)
 590                    (not (member :sparc-64 *backend-subfeatures*)))))
 591   (:generator 1
 592     (inst smul r x y)))
 593
 594 (define-vop (fast-v8-*/signed=>signed fast-signed-binop)
 595   (:translate *)
 596   (:guard (or (member :sparc-v8 *backend-subfeatures*)
 597               (and (member :sparc-v9 *backend-subfeatures*)
 598                    (not (member :sparc-64 *backend-subfeatures*)))))
 599   (:generator 3
 600     (inst smul r x y)))
 601
 602 (define-vop (fast-v8-*-c/signed=>signed fast-signed-binop-c)
 603   (:translate *)
 604   (:guard (or (member :sparc-v8 *backend-subfeatures*)
 605               (and (member :sparc-v9 *backend-subfeatures*)
 606                    (not (member :sparc-64 *backend-subfeatures*)))))
 607   (:generator 2
 608     (inst smul r x y)))
 609
 610 (define-vop (fast-v8-*/unsigned=>unsigned fast-unsigned-binop)
 611   (:translate *)
 612   (:guard (or (member :sparc-v8 *backend-subfeatures*)
 613               (and (member :sparc-v9 *backend-subfeatures*)
 614                    (not (member :sparc-64 *backend-subfeatures*)))))
 615   (:generator 3
 616     (inst umul r x y)))
 617
 618 (define-vop (fast-v8-*-c/unsigned=>unsigned fast-unsigned-binop-c)
 619   (:translate *)
 620   (:guard (or (member :sparc-v8 *backend-subfeatures*)
 621               (and (member :sparc-v9 *backend-subfeatures*)
 622                    (not (member :sparc-64 *backend-subfeatures*)))))
 623   (:generator 2
 624     (inst umul r x y)))
 625
 626 ;; The smul and umul instructions are deprecated on the Sparc V9.  Use
 627 ;; mulx instead.
 628 (define-vop (fast-v9-*/fixnum=>fixnum fast-fixnum-binop)
 629   (:temporary (:scs (non-descriptor-reg)) temp)
 630   (:translate *)
 631   (:guard (member :sparc-64 *backend-subfeatures*))
 632   (:generator 4
 633     (inst sra temp y n-fixnum-tag-bits)
 634     (inst mulx r x temp)))
 635
 636 (define-vop (fast-v9-*/signed=>signed fast-signed-binop)
 637   (:translate *)
 638   (:guard (member :sparc-64 *backend-subfeatures*))
 639   (:generator 3
 640     (inst mulx r x y)))
 641
 642 (define-vop (fast-v9-*/unsigned=>unsigned fast-unsigned-binop)
 643   (:translate *)
 644   (:guard (member :sparc-64 *backend-subfeatures*))
 645   (:generator 3
 646     (inst mulx r x y)))
 647
 648 \f
 649 ;;;; Modular functions:
 650 (define-modular-fun lognot-mod32 (x) lognot 32)
 651 (define-vop (lognot-mod32/unsigned=>unsigned)
 652   (:translate lognot-mod32)
 653   (:args (x :scs (unsigned-reg)))
 654   (:arg-types unsigned-num)
 655   (:results (res :scs (unsigned-reg)))
 656   (:result-types unsigned-num)
 657   (:policy :fast-safe)
 658   (:generator 1
 659     (inst not res x)))
 660
 661 (macrolet ((define-modular-backend (fun &optional constantp)
 662              (collect ((forms))
 663                (dolist (info '((29 fixnum) (32 unsigned)))
 664                  (destructuring-bind (width regtype) info
 665                    (let ((mfun-name (intern (format nil "~A-MOD~A" fun width)))
 666                          (mvop (intern (format nil "FAST-~A-MOD~A/~A=>~A"
 667                                                fun width regtype regtype)))
 668                          (mcvop (intern (format nil "FAST-~A-MOD~A-C/~A=>~A"
 669                                                 fun width regtype regtype)))
 670                          (vop (intern (format nil "FAST-~A/~A=>~A"
 671                                               fun regtype regtype)))
 672                          (cvop (intern (format nil "FAST-~A-C/~A=>~A"
 673                                                fun regtype regtype))))
 674                      (forms `(define-modular-fun ,mfun-name (x y) ,fun ,width))
 675                      (forms `(define-vop (,mvop ,vop)
 676                               (:translate ,mfun-name)))
 677                      (when constantp
 678                        (forms `(define-vop (,mcvop ,cvop)
 679                                 (:translate ,mfun-name)))))))
 680                `(progn ,@(forms)))))
 681   (define-modular-backend + t)
 682   (define-modular-backend - t)
 683   (define-modular-backend logxor t)
 684   (define-modular-backend logeqv t)
 685   (define-modular-backend logandc1)
 686   (define-modular-backend logandc2 t)
 687   (define-modular-backend logorc1)
 688   (define-modular-backend logorc2 t))
 689
 690 (define-source-transform lognand (x y)
 691   `(lognot (logand ,x ,y)))
 692 (define-source-transform lognor (x y)
 693   `(lognot (logior ,x ,y)))
 694
 695 (define-vop (fast-ash-left-mod32-c/unsigned=>unsigned
 696              fast-ash-c/unsigned=>unsigned)
 697   (:translate ash-left-mod32))
 698
 699 (define-vop (fast-ash-left-mod32/unsigned=>unsigned
 700              fast-ash-left/unsigned=>unsigned))
 701 (deftransform ash-left-mod32 ((integer count)
 702                               ((unsigned-byte 32) (unsigned-byte 5)))
 703   (when (sb!c::constant-lvar-p count)
 704     (sb!c::give-up-ir1-transform))
 705   '(%primitive fast-ash-left-mod32/unsigned=>unsigned integer count))
 706 \f
 707 ;;;; Binary conditional VOPs:
 708
 709 (define-vop (fast-conditional)
 710   (:conditional)
 711   (:info target not-p)
 712   (:effects)
 713   (:affected)
 714   (:policy :fast-safe))
 715
 716 (define-vop (fast-conditional/fixnum fast-conditional)
 717   (:args (x :scs (any-reg zero))
 718          (y :scs (any-reg zero)))
 719   (:arg-types tagged-num tagged-num)
 720   (:note "inline fixnum comparison"))
 721
 722 (define-vop (fast-conditional-c/fixnum fast-conditional/fixnum)
 723   (:args (x :scs (any-reg zero)))
 724   (:arg-types tagged-num (:constant (signed-byte 11)))
 725   (:info target not-p y))
 726
 727 (define-vop (fast-conditional/signed fast-conditional)
 728   (:args (x :scs (signed-reg zero))
 729          (y :scs (signed-reg zero)))
 730   (:arg-types signed-num signed-num)
 731   (:note "inline (signed-byte 32) comparison"))
 732
 733 (define-vop (fast-conditional-c/signed fast-conditional/signed)
 734   (:args (x :scs (signed-reg zero)))
 735   (:arg-types signed-num (:constant (signed-byte 13)))
 736   (:info target not-p y))
 737
 738 (define-vop (fast-conditional/unsigned fast-conditional)
 739   (:args (x :scs (unsigned-reg zero))
 740          (y :scs (unsigned-reg zero)))
 741   (:arg-types unsigned-num unsigned-num)
 742   (:note "inline (unsigned-byte 32) comparison"))
 743
 744 (define-vop (fast-conditional-c/unsigned fast-conditional/unsigned)
 745   (:args (x :scs (unsigned-reg zero)))
 746   (:arg-types unsigned-num (:constant (unsigned-byte 12)))
 747   (:info target not-p y))
 748
 749
 750 (defmacro define-conditional-vop (tran cond unsigned not-cond not-unsigned)
 751   `(progn
 752      ,@(mapcar (lambda (suffix cost signed)
 753                  (unless (and (member suffix '(/fixnum -c/fixnum))
 754                               (eq tran 'eql))
 755                    `(define-vop (,(intern (format nil "~:@(FAST-IF-~A~A~)"
 756                                                   tran suffix))
 757                                  ,(intern
 758                                    (format nil "~:@(FAST-CONDITIONAL~A~)"
 759                                            suffix)))
 760                      (:translate ,tran)
 761                      (:generator ,cost
 762                       (inst cmp x
 763                        ,(if (eq suffix '-c/fixnum) '(fixnumize y) 'y))
 764                       (inst b (if not-p
 765                                   ,(if signed not-cond not-unsigned)
 766                                   ,(if signed cond unsigned))
 767                        target)
 768                       (inst nop)))))
 769                '(/fixnum -c/fixnum /signed -c/signed /unsigned -c/unsigned)
 770                '(4 3 6 5 6 5)
 771                '(t t t t nil nil))))
 772
 773 (define-conditional-vop < :lt :ltu :ge :geu)
 774
 775 (define-conditional-vop > :gt :gtu :le :leu)
 776
 777 (define-conditional-vop eql :eq :eq :ne :ne)
 778
 779 ;;; EQL/FIXNUM is funny because the first arg can be of any type, not just a
 780 ;;; known fixnum.
 781
 782 ;;; These versions specify a fixnum restriction on their first arg.  We have
 783 ;;; also generic-eql/fixnum VOPs which are the same, but have no restriction on
 784 ;;; the first arg and a higher cost.  The reason for doing this is to prevent
 785 ;;; fixnum specific operations from being used on word integers, spuriously
 786 ;;; consing the argument.
 787 ;;;
 788
 789 (define-vop (fast-eql/fixnum fast-conditional)
 790   (:args (x :scs (any-reg descriptor-reg zero))
 791          (y :scs (any-reg zero)))
 792   (:arg-types tagged-num tagged-num)
 793   (:note "inline fixnum comparison")
 794   (:translate eql)
 795   (:generator 4
 796     (inst cmp x y)
 797     (inst b (if not-p :ne :eq) target)
 798     (inst nop)))
 799 ;;;
 800 (define-vop (generic-eql/fixnum fast-eql/fixnum)
 801   (:arg-types * tagged-num)
 802   (:variant-cost 7))
 803
 804 (define-vop (fast-eql-c/fixnum fast-conditional/fixnum)
 805   (:args (x :scs (any-reg descriptor-reg zero)))
 806   (:arg-types tagged-num (:constant (signed-byte 11)))
 807   (:info target not-p y)
 808   (:translate eql)
 809   (:generator 2
 810     (inst cmp x (fixnumize y))
 811     (inst b (if not-p :ne :eq) target)
 812     (inst nop)))
 813 ;;;
 814 (define-vop (generic-eql-c/fixnum fast-eql-c/fixnum)
 815   (:arg-types * (:constant (signed-byte 11)))
 816   (:variant-cost 6))
 817
 818 \f
 819 ;;;; 32-bit logical operations
 820 (define-vop (merge-bits)
 821   (:translate merge-bits)
 822   (:args (shift :scs (signed-reg unsigned-reg))
 823          (prev :scs (unsigned-reg))
 824          (next :scs (unsigned-reg)))
 825   (:arg-types tagged-num unsigned-num unsigned-num)
 826   (:temporary (:scs (unsigned-reg) :to (:result 0)) temp)
 827   (:temporary (:scs (unsigned-reg) :to (:result 0) :target result) res)
 828   (:results (result :scs (unsigned-reg)))
 829   (:result-types unsigned-num)
 830   (:policy :fast-safe)
 831   (:generator 4
 832     (let ((done (gen-label)))
 833       (inst cmp shift)
 834       (inst b :eq done)
 835       (inst srl res next shift)
 836       (inst sub temp zero-tn shift)
 837       (inst sll temp prev temp)
 838       (inst or res temp)
 839       (emit-label done)
 840       (move result res))))
 841
 842 (define-vop (shift-towards-someplace)
 843   (:policy :fast-safe)
 844   (:args (num :scs (unsigned-reg))
 845          (amount :scs (signed-reg)))
 846   (:arg-types unsigned-num tagged-num)
 847   (:results (r :scs (unsigned-reg)))
 848   (:result-types unsigned-num))
 849
 850 (define-vop (shift-towards-start shift-towards-someplace)
 851   (:translate shift-towards-start)
 852   (:note "shift-towards-start")
 853   (:generator 1
 854     (inst sll r num amount)))
 855
 856 (define-vop (shift-towards-end shift-towards-someplace)
 857   (:translate shift-towards-end)
 858   (:note "shift-towards-end")
 859   (:generator 1
 860     (inst srl r num amount)))
 861 \f
 862 ;;;; Bignum stuff.
 863 (define-vop (bignum-length get-header-data)
 864   (:translate sb!bignum:%bignum-length)
 865   (:policy :fast-safe))
 866
 867 (define-vop (bignum-set-length set-header-data)
 868   (:translate sb!bignum:%bignum-set-length)
 869   (:policy :fast-safe))
 870
 871 (define-vop (bignum-ref word-index-ref)
 872   (:variant bignum-digits-offset other-pointer-lowtag)
 873   (:translate sb!bignum:%bignum-ref)
 874   (:results (value :scs (unsigned-reg)))
 875   (:result-types unsigned-num))
 876
 877 (define-vop (bignum-set word-index-set)
 878   (:variant bignum-digits-offset other-pointer-lowtag)
 879   (:translate sb!bignum:%bignum-set)
 880   (:args (object :scs (descriptor-reg))
 881          (index :scs (any-reg immediate zero))
 882          (value :scs (unsigned-reg)))
 883   (:arg-types t positive-fixnum unsigned-num)
 884   (:results (result :scs (unsigned-reg)))
 885   (:result-types unsigned-num))
 886
 887 (define-vop (digit-0-or-plus)
 888   (:translate sb!bignum:%digit-0-or-plusp)
 889   (:policy :fast-safe)
 890   (:args (digit :scs (unsigned-reg)))
 891   (:arg-types unsigned-num)
 892   (:results (result :scs (descriptor-reg)))
 893   (:guard (not (member :sparc-v9 *backend-subfeatures*)))
 894   (:generator 3
 895     (let ((done (gen-label)))
 896       (inst cmp digit)
 897       (inst b :lt done)
 898       (move result null-tn)
 899       (load-symbol result t)
 900       (emit-label done))))
 901
 902 (define-vop (v9-digit-0-or-plus-cmove)
 903   (:translate sb!bignum:%digit-0-or-plusp)
 904   (:policy :fast-safe)
 905   (:args (digit :scs (unsigned-reg)))
 906   (:arg-types unsigned-num)
 907   (:results (result :scs (descriptor-reg)))
 908   (:guard (member :sparc-v9 *backend-subfeatures*))
 909   (:generator 3
 910     (inst cmp digit)
 911     (load-symbol result t)
 912     (inst cmove :lt result null-tn)))
 913
 914 ;; This doesn't work?
 915 #+nil
 916 (define-vop (v9-digit-0-or-plus-movr)
 917   (:translate sb!bignum:%digit-0-or-plusp)
 918   (:policy :fast-safe)
 919   (:args (digit :scs (unsigned-reg)))
 920   (:arg-types unsigned-num)
 921   (:results (result :scs (descriptor-reg)))
 922   (:temporary (:scs (descriptor-reg)) temp)
 923   (:guard #!+:sparc-v9 t #!-:sparc-v9 nil)
 924   (:generator 2
 925     (load-symbol temp t)
 926     (inst movr result null-tn digit :lz)
 927     (inst movr result temp digit :gez)))
 928
 929 (define-vop (add-w/carry)
 930   (:translate sb!bignum:%add-with-carry)
 931   (:policy :fast-safe)
 932   (:args (a :scs (unsigned-reg))
 933          (b :scs (unsigned-reg))
 934          (c :scs (any-reg)))
 935   (:arg-types unsigned-num unsigned-num positive-fixnum)
 936   (:results (result :scs (unsigned-reg))
 937             (carry :scs (unsigned-reg)))
 938   (:result-types unsigned-num positive-fixnum)
 939   (:generator 3
 940     (inst addcc zero-tn c -1)
 941     (inst addxcc result a b)
 942     (inst addx carry zero-tn zero-tn)))
 943
 944 (define-vop (sub-w/borrow)
 945   (:translate sb!bignum:%subtract-with-borrow)
 946   (:policy :fast-safe)
 947   (:args (a :scs (unsigned-reg))
 948          (b :scs (unsigned-reg))
 949          (c :scs (any-reg)))
 950   (:arg-types unsigned-num unsigned-num positive-fixnum)
 951   (:results (result :scs (unsigned-reg))
 952             (borrow :scs (unsigned-reg)))
 953   (:result-types unsigned-num positive-fixnum)
 954   (:generator 4
 955     (inst subcc zero-tn c 1)
 956     (inst subxcc result a b)
 957     (inst addx borrow zero-tn zero-tn)
 958     (inst xor borrow 1)))
 959
 960 ;;; EMIT-MULTIPLY -- This is used both for bignum stuff and in assembly
 961 ;;; routines.
 962 ;;;
 963 (defun emit-multiply (multiplier multiplicand result-high result-low)
 964   "Emit code to multiply MULTIPLIER with MULTIPLICAND, putting the result
 965   in RESULT-HIGH and RESULT-LOW.  KIND is either :signed or :unsigned.
 966   Note: the lifetimes of MULTIPLICAND and RESULT-HIGH overlap."
 967   (declare (type tn multiplier result-high result-low)
 968            (type (or tn (signed-byte 13)) multiplicand))
 969   ;; It seems that emit-multiply is only used to do an unsigned
 970   ;; multiply, so the code only does an unsigned multiply.
 971   (cond
 972     ((member :sparc-64 *backend-subfeatures*)
 973      ;; Take advantage of V9's 64-bit multiplier.
 974      ;;
 975      ;; Make sure the multiplier and multiplicand are really
 976      ;; unsigned 64-bit numbers.
 977      (inst srl multiplier 0)
 978      (inst srl multiplicand 0)
 979
 980      ;; Multiply the two numbers and put the result in
 981      ;; result-high.  Copy the low 32-bits to result-low.  Then
 982      ;; shift result-high so the high 32-bits end up in the low
 983      ;; 32-bits.
 984      (inst mulx result-high multiplier multiplicand)
 985      (inst move result-low result-high)
 986      (inst srax result-high 32))
 987     ((or (member :sparc-v8 *backend-subfeatures*)
 988          (member :sparc-v9 *backend-subfeatures*))
 989      ;; V8 has a multiply instruction.  This should also work for
 990      ;; the V9, but umul and the Y register is deprecated on the
 991      ;; V9.
 992      (inst umul result-low multiplier multiplicand)
 993      (inst rdy result-high))
 994     (t
 995      (let ((label (gen-label)))
 996        (inst wry multiplier)
 997        (inst andcc result-high zero-tn)
 998        ;; Note: we can't use the Y register until three insts
 999        ;; after it's written.
1000        (inst nop)
1001        (inst nop)
1002        (dotimes (i 32)
1003          (inst mulscc result-high multiplicand))
1004        (inst mulscc result-high zero-tn)
1005        (inst cmp multiplicand)
1006        (inst b :ge label)
1007        (inst nop)
1008        (inst add result-high multiplier)
1009        (emit-label label)
1010        (inst rdy result-low)))))
1011
1012 (define-vop (bignum-mult-and-add-3-arg)
1013   (:translate sb!bignum:%multiply-and-add)
1014   (:policy :fast-safe)
1015   (:args (x :scs (unsigned-reg) :to (:eval 1))
1016          (y :scs (unsigned-reg) :to (:eval 1))
1017          (carry-in :scs (unsigned-reg) :to (:eval 2)))
1018   (:arg-types unsigned-num unsigned-num unsigned-num)
1019   (:results (hi :scs (unsigned-reg) :from (:eval 0))
1020             (lo :scs (unsigned-reg) :from (:eval 1)))
1021   (:result-types unsigned-num unsigned-num)
1022   (:generator 40
1023     (emit-multiply x y hi lo)
1024     (inst addcc lo carry-in)
1025     (inst addx hi zero-tn)))
1026
1027 (define-vop (bignum-mult-and-add-4-arg)
1028   (:translate sb!bignum:%multiply-and-add)
1029   (:policy :fast-safe)
1030   (:args (x :scs (unsigned-reg) :to (:eval 1))
1031          (y :scs (unsigned-reg) :to (:eval 1))
1032          (prev :scs (unsigned-reg) :to (:eval 2))
1033          (carry-in :scs (unsigned-reg) :to (:eval 2)))
1034   (:arg-types unsigned-num unsigned-num unsigned-num unsigned-num)
1035   (:results (hi :scs (unsigned-reg) :from (:eval 0))
1036             (lo :scs (unsigned-reg) :from (:eval 1)))
1037   (:result-types unsigned-num unsigned-num)
1038   (:generator 40
1039     (emit-multiply x y hi lo)
1040     (inst addcc lo carry-in)
1041     (inst addx hi zero-tn)
1042     (inst addcc lo prev)
1043     (inst addx hi zero-tn)))
1044
1045 (define-vop (bignum-mult)
1046   (:translate sb!bignum:%multiply)
1047   (:policy :fast-safe)
1048   (:args (x :scs (unsigned-reg) :to (:result 1))
1049          (y :scs (unsigned-reg) :to (:result 1)))
1050   (:arg-types unsigned-num unsigned-num)
1051   (:results (hi :scs (unsigned-reg))
1052             (lo :scs (unsigned-reg)))
1053   (:result-types unsigned-num unsigned-num)
1054   (:generator 40
1055     (emit-multiply x y hi lo)))
1056
1057 (define-vop (bignum-lognot lognot-mod32/unsigned=>unsigned)
1058   (:translate sb!bignum:%lognot))
1059
1060 (define-vop (fixnum-to-digit)
1061   (:translate sb!bignum:%fixnum-to-digit)
1062   (:policy :fast-safe)
1063   (:args (fixnum :scs (any-reg)))
1064   (:arg-types tagged-num)
1065   (:results (digit :scs (unsigned-reg)))
1066   (:result-types unsigned-num)
1067   (:generator 1
1068     (inst sra digit fixnum n-fixnum-tag-bits)))
1069
1070 (define-vop (bignum-floor)
1071   (:translate sb!bignum:%floor)
1072   (:policy :fast-safe)
1073   (:args (div-high :scs (unsigned-reg) :target rem)
1074          (div-low :scs (unsigned-reg) :target quo)
1075          (divisor :scs (unsigned-reg)))
1076   (:arg-types unsigned-num unsigned-num unsigned-num)
1077   (:results (quo :scs (unsigned-reg) :from (:argument 1))
1078             (rem :scs (unsigned-reg) :from (:argument 0)))
1079   (:result-types unsigned-num unsigned-num)
1080   (:generator 300
1081     (move rem div-high)
1082     (move quo div-low)
1083     (dotimes (i 33)
1084       (let ((label (gen-label)))
1085         (inst cmp rem divisor)
1086         (inst b :ltu label)
1087         (inst addxcc quo quo)
1088         (inst sub rem divisor)
1089         (emit-label label)
1090         (unless (= i 32)
1091           (inst addx rem rem))))
1092     (inst not quo)))
1093
1094 (define-vop (bignum-floor-v8)
1095   (:translate sb!bignum:%floor)
1096   (:policy :fast-safe)
1097   (:args (div-high :scs (unsigned-reg) :target rem)
1098          (div-low :scs (unsigned-reg) :target quo)
1099          (divisor :scs (unsigned-reg)))
1100   (:arg-types unsigned-num unsigned-num unsigned-num)
1101   (:results (quo :scs (unsigned-reg) :from (:argument 1))
1102             (rem :scs (unsigned-reg) :from (:argument 0)))
1103   (:result-types unsigned-num unsigned-num)
1104   (:temporary (:scs (unsigned-reg) :target quo) q)
1105   ;; This vop is for a v8 or v9, provided we're also not using
1106   ;; sparc-64, for which there a special sparc-64 vop.
1107   (:guard (or (member :sparc-v8 *backend-subfeatures*)
1108               (member :sparc-v9 *backend-subfeatures*)))
1109   (:generator 15
1110     (inst wry div-high)
1111     (inst nop)
1112     (inst nop)
1113     (inst nop)
1114     ;; Compute the quotient [Y, div-low] / divisor
1115     (inst udiv q div-low divisor)
1116     ;; Compute the remainder.  The high part of the result is in the Y
1117     ;; register.
1118     (inst umul rem q divisor)
1119     (inst sub rem div-low rem)
1120     (unless (location= quo q)
1121       (move quo q))))
1122
1123 (define-vop (bignum-floor-v9)
1124   (:translate sb!bignum:%floor)
1125   (:policy :fast-safe)
1126   (:args (div-high :scs (unsigned-reg))
1127          (div-low :scs (unsigned-reg))
1128          (divisor :scs (unsigned-reg) :to (:result 1)))
1129   (:arg-types unsigned-num unsigned-num unsigned-num)
1130   (:temporary (:sc unsigned-reg :from (:argument 0)) dividend)
1131   (:results (quo :scs (unsigned-reg))
1132             (rem :scs (unsigned-reg)))
1133   (:result-types unsigned-num unsigned-num)
1134   (:guard (member :sparc-64 *backend-subfeatures*))
1135   (:generator 5
1136     ;; Set dividend to be div-high and div-low
1137     (inst sllx dividend div-high 32)
1138     (inst add dividend div-low)
1139     ;; Compute quotient
1140     (inst udivx quo dividend divisor)
1141     ;; Compute the remainder
1142     (inst mulx rem quo divisor)
1143     (inst sub rem dividend rem)))
1144
1145 (define-vop (signify-digit)
1146   (:translate sb!bignum:%fixnum-digit-with-correct-sign)
1147   (:policy :fast-safe)
1148   (:args (digit :scs (unsigned-reg) :target res))
1149   (:arg-types unsigned-num)
1150   (:results (res :scs (any-reg signed-reg)))
1151   (:result-types signed-num)
1152   (:generator 1
1153     (sc-case res
1154       (any-reg
1155        (inst sll res digit n-fixnum-tag-bits))
1156       (signed-reg
1157        (move res digit)))))
1158
1159 (define-vop (digit-ashr)
1160   (:translate sb!bignum:%ashr)
1161   (:policy :fast-safe)
1162   (:args (digit :scs (unsigned-reg))
1163          (count :scs (unsigned-reg)))
1164   (:arg-types unsigned-num positive-fixnum)
1165   (:results (result :scs (unsigned-reg)))
1166   (:result-types unsigned-num)
1167   (:generator 1
1168     (inst sra result digit count)))
1169
1170 (define-vop (digit-lshr digit-ashr)
1171   (:translate sb!bignum:%digit-logical-shift-right)
1172   (:generator 1
1173     (inst srl result digit count)))
1174
1175 (define-vop (digit-ashl digit-ashr)
1176   (:translate sb!bignum:%ashl)
1177   (:generator 1
1178     (inst sll result digit count)))
1179
1180 \f
1181 ;;;; Static functions.
1182
1183 (define-static-fun two-arg-gcd (x y) :translate gcd)
1184 (define-static-fun two-arg-lcm (x y) :translate lcm)
1185
1186 (define-static-fun two-arg-+ (x y) :translate +)
1187 (define-static-fun two-arg-- (x y) :translate -)
1188 (define-static-fun two-arg-* (x y) :translate *)
1189 (define-static-fun two-arg-/ (x y) :translate /)
1190
1191 (define-static-fun two-arg-< (x y) :translate <)
1192 (define-static-fun two-arg-<= (x y) :translate <=)
1193 (define-static-fun two-arg-> (x y) :translate >)
1194 (define-static-fun two-arg->= (x y) :translate >=)
1195 (define-static-fun two-arg-= (x y) :translate =)
1196 (define-static-fun two-arg-/= (x y) :translate /=)
1197
1198 (define-static-fun %negate (x) :translate %negate)
1199
1200 (define-static-fun two-arg-and (x y) :translate logand)
1201 (define-static-fun two-arg-ior (x y) :translate logior)
1202 (define-static-fun two-arg-xor (x y) :translate logxor)
1203 (define-static-fun two-arg-eqv (x y) :translate logeqv)
1204
1205 \f
1206 (in-package "SB!C")
1207
1208 (deftransform * ((x y)
1209                  ((unsigned-byte 32) (constant-arg (unsigned-byte 32)))
1210                  (unsigned-byte 32))
1211   "recode as shifts and adds"
1212   (let ((y (lvar-value y)))
1213     (multiple-value-bind (result adds shifts)
1214         (ub32-strength-reduce-constant-multiply 'x y)
1215       (cond
1216         ;; we assume, perhaps foolishly, that good SPARCs don't have an
1217         ;; issue with multiplications.  (Remember that there's a
1218         ;; different transform for converting x*2^k to a shift).
1219         ((member :sparc-64 *backend-subfeatures*) (give-up-ir1-transform))
1220         ((or (member :sparc-v9 *backend-subfeatures*)
1221              (member :sparc-v8 *backend-subfeatures*))
1222          ;; breakeven point as measured by Raymond Toy
1223          (when (> (+ adds shifts) 9)
1224            (give-up-ir1-transform))))
1225       (or result 0))))