src/compiler/x86/insts.lisp

   1 ;;;; that part of the description of the x86 instruction set (for
   2 ;;;; 80386 and above) which can live on the cross-compilation host
   3
   4 ;;;; This software is part of the SBCL system. See the README file for
   5 ;;;; more information.
   6 ;;;;
   7 ;;;; This software is derived from the CMU CL system, which was
   8 ;;;; written at Carnegie Mellon University and released into the
   9 ;;;; public domain. The software is in the public domain and is
  10 ;;;; provided with absolutely no warranty. See the COPYING and CREDITS
  11 ;;;; files for more information.
  12
  13 (in-package "SB!VM")
  14 ;;; FIXME: SB!DISASSEM: prefixes are used so widely in this file that
  15 ;;; I wonder whether the separation of the disassembler from the
  16 ;;; virtual machine is valid or adds value.
  17
  18 ;;; Note: In CMU CL, this used to be a call to SET-DISASSEM-PARAMS.
  19 (setf sb!disassem:*disassem-inst-alignment-bytes* 1)
  20
  21 (deftype reg () '(unsigned-byte 3))
  22
  23 (def!constant +default-operand-size+ :dword)
  24 \f
  25 (eval-when (#-sb-xc :compile-toplevel :load-toplevel :execute)
  26
  27 (defun offset-next (value dstate)
  28   (declare (type integer value)
  29            (type sb!disassem:disassem-state dstate))
  30   (+ (sb!disassem:dstate-next-addr dstate) value))
  31
  32 (defparameter *default-address-size*
  33   ;; Actually, :DWORD is the only one really supported.
  34   :dword)
  35
  36 (defparameter *byte-reg-names*
  37   #(al cl dl bl ah ch dh bh))
  38 (defparameter *word-reg-names*
  39   #(ax cx dx bx sp bp si di))
  40 (defparameter *dword-reg-names*
  41   #(eax ecx edx ebx esp ebp esi edi))
  42
  43 ;;; Disassembling x86 code needs to take into account little things
  44 ;;; like instructions that have a byte/word length bit in their
  45 ;;; encoding, prefixes to change the default word length for a single
  46 ;;; instruction, and so on.  Unfortunately, there is no easy way with
  47 ;;; this disassembler framework to handle prefixes that will work
  48 ;;; correctly in all cases, so we copy the x86-64 version which at
  49 ;;; least can handle the code output by the compiler.
  50 ;;;
  51 ;;; Width information for an instruction and whether a segment
  52 ;;; override prefix was seen is stored as an inst-prop on the dstate.
  53 ;;; The inst-props are cleared automatically after each non-prefix
  54 ;;; instruction, must be set by prefilters, and contain a single bit of
  55 ;;; data each (presence/absence).
  56
  57 ;;; Return the operand size based on the prefixes and width bit from
  58 ;;; the dstate.
  59 (defun inst-operand-size (dstate)
  60   (declare (type sb!disassem:disassem-state dstate))
  61   (cond ((sb!disassem:dstate-get-inst-prop dstate 'operand-size-8)
  62          :byte)
  63         ((sb!disassem:dstate-get-inst-prop dstate 'operand-size-16)
  64          :word)
  65         (t
  66          +default-operand-size+)))
  67
  68 ;;; Return the operand size for a "word-sized" operand based on the
  69 ;;; prefixes from the dstate.
  70 (defun inst-word-operand-size (dstate)
  71   (declare (type sb!disassem:disassem-state dstate))
  72   (if (sb!disassem:dstate-get-inst-prop dstate 'operand-size-16)
  73       :word
  74       :dword))
  75
  76 (defun print-reg-with-width (value width stream dstate)
  77   (declare (ignore dstate))
  78   (princ (aref (ecase width
  79                  (:byte *byte-reg-names*)
  80                  (:word *word-reg-names*)
  81                  (:dword *dword-reg-names*))
  82                value)
  83          stream)
  84   ;; XXX plus should do some source-var notes
  85   )
  86
  87 (defun print-reg (value stream dstate)
  88   (declare (type reg value)
  89            (type stream stream)
  90            (type sb!disassem:disassem-state dstate))
  91   (print-reg-with-width value
  92                         (inst-operand-size dstate)
  93                         stream
  94                         dstate))
  95
  96 (defun print-word-reg (value stream dstate)
  97   (declare (type reg value)
  98            (type stream stream)
  99            (type sb!disassem:disassem-state dstate))
 100   (print-reg-with-width value
 101                         (inst-word-operand-size dstate)
 102                         stream
 103                         dstate))
 104
 105 (defun print-byte-reg (value stream dstate)
 106   (declare (type reg value)
 107            (type stream stream)
 108            (type sb!disassem:disassem-state dstate))
 109   (print-reg-with-width value :byte stream dstate))
 110
 111 (defun print-addr-reg (value stream dstate)
 112   (declare (type reg value)
 113            (type stream stream)
 114            (type sb!disassem:disassem-state dstate))
 115   (print-reg-with-width value *default-address-size* stream dstate))
 116
 117 (defun print-reg/mem (value stream dstate)
 118   (declare (type (or list reg) value)
 119            (type stream stream)
 120            (type sb!disassem:disassem-state dstate))
 121   (if (typep value 'reg)
 122       (print-reg value stream dstate)
 123       (print-mem-access value stream nil dstate)))
 124
 125 ;; Same as print-reg/mem, but prints an explicit size indicator for
 126 ;; memory references.
 127 (defun print-sized-reg/mem (value stream dstate)
 128   (declare (type (or list reg) value)
 129            (type stream stream)
 130            (type sb!disassem:disassem-state dstate))
 131   (if (typep value 'reg)
 132       (print-reg value stream dstate)
 133       (print-mem-access value stream t dstate)))
 134
 135 (defun print-byte-reg/mem (value stream dstate)
 136   (declare (type (or list reg) value)
 137            (type stream stream)
 138            (type sb!disassem:disassem-state dstate))
 139   (if (typep value 'reg)
 140       (print-byte-reg value stream dstate)
 141       (print-mem-access value stream t dstate)))
 142
 143 (defun print-word-reg/mem (value stream dstate)
 144   (declare (type (or list reg) value)
 145            (type stream stream)
 146            (type sb!disassem:disassem-state dstate))
 147   (if (typep value 'reg)
 148       (print-word-reg value stream dstate)
 149       (print-mem-access value stream nil dstate)))
 150
 151 (defun print-label (value stream dstate)
 152   (declare (ignore dstate))
 153   (sb!disassem:princ16 value stream))
 154
 155 (defun maybe-print-segment-override (stream dstate)
 156   (cond ((sb!disassem:dstate-get-inst-prop dstate 'fs-segment-prefix)
 157          (princ "FS:" stream))
 158         ((sb!disassem:dstate-get-inst-prop dstate 'gs-segment-prefix)
 159          (princ "GS:" stream))))
 160
 161 ;;; Returns either an integer, meaning a register, or a list of
 162 ;;; (BASE-REG OFFSET INDEX-REG INDEX-SCALE), where any component
 163 ;;; may be missing or nil to indicate that it's not used or has the
 164 ;;; obvious default value (e.g., 1 for the index-scale).
 165 (defun prefilter-reg/mem (value dstate)
 166   (declare (type list value)
 167            (type sb!disassem:disassem-state dstate))
 168   (let ((mod (car value))
 169         (r/m (cadr value)))
 170     (declare (type (unsigned-byte 2) mod)
 171              (type (unsigned-byte 3) r/m))
 172     (cond ((= mod #b11)
 173            ;; registers
 174            r/m)
 175           ((= r/m #b100)
 176            ;; sib byte
 177            (let ((sib (sb!disassem:read-suffix 8 dstate)))
 178              (declare (type (unsigned-byte 8) sib))
 179              (let ((base-reg (ldb (byte 3 0) sib))
 180                    (index-reg (ldb (byte 3 3) sib))
 181                    (index-scale (ldb (byte 2 6) sib)))
 182                (declare (type (unsigned-byte 3) base-reg index-reg)
 183                         (type (unsigned-byte 2) index-scale))
 184                (let* ((offset
 185                        (case mod
 186                          (#b00
 187                           (if (= base-reg #b101)
 188                               (sb!disassem:read-signed-suffix 32 dstate)
 189                               nil))
 190                          (#b01
 191                           (sb!disassem:read-signed-suffix 8 dstate))
 192                          (#b10
 193                           (sb!disassem:read-signed-suffix 32 dstate)))))
 194                  (list (if (and (= mod #b00) (= base-reg #b101)) nil base-reg)
 195                        offset
 196                        (if (= index-reg #b100) nil index-reg)
 197                        (ash 1 index-scale))))))
 198           ((and (= mod #b00) (= r/m #b101))
 199            (list nil (sb!disassem:read-signed-suffix 32 dstate)) )
 200           ((= mod #b00)
 201            (list r/m))
 202           ((= mod #b01)
 203            (list r/m (sb!disassem:read-signed-suffix 8 dstate)))
 204           (t                            ; (= mod #b10)
 205            (list r/m (sb!disassem:read-signed-suffix 32 dstate))))))
 206
 207
 208 ;;; This is a sort of bogus prefilter that just stores the info globally for
 209 ;;; other people to use; it probably never gets printed.
 210 (defun prefilter-width (value dstate)
 211   (declare (type bit value)
 212            (type sb!disassem:disassem-state dstate))
 213   (when (zerop value)
 214     (sb!disassem:dstate-put-inst-prop dstate 'operand-size-8))
 215   value)
 216
 217 ;;; This prefilter is used solely for its side effect, namely to put
 218 ;;; the property OPERAND-SIZE-16 into the DSTATE.
 219 (defun prefilter-x66 (value dstate)
 220   (declare (type (eql #x66) value)
 221            (ignore value)
 222            (type sb!disassem:disassem-state dstate))
 223   (sb!disassem:dstate-put-inst-prop dstate 'operand-size-16))
 224
 225 ;;; This prefilter is used solely for its side effect, namely to put
 226 ;;; one of the properties [FG]S-SEGMENT-PREFIX into the DSTATE.
 227 ;;; Unlike PREFILTER-X66, this prefilter only catches the low bit of
 228 ;;; the prefix byte.
 229 (defun prefilter-seg (value dstate)
 230   (declare (type bit value)
 231            (type sb!disassem:disassem-state dstate))
 232   (sb!disassem:dstate-put-inst-prop
 233    dstate (elt '(fs-segment-prefix gs-segment-prefix) value)))
 234
 235 (defun read-address (value dstate)
 236   (declare (ignore value))              ; always nil anyway
 237   (sb!disassem:read-suffix (width-bits *default-address-size*) dstate))
 238
 239 (defun width-bits (width)
 240   (ecase width
 241     (:byte 8)
 242     (:word 16)
 243     (:dword 32)
 244     (:float 32)
 245     (:double 64)))
 246
 247 ) ; EVAL-WHEN
 248 \f
 249 ;;;; disassembler argument types
 250
 251 (sb!disassem:define-arg-type displacement
 252   :sign-extend t
 253   :use-label #'offset-next
 254   :printer (lambda (value stream dstate)
 255              (sb!disassem:maybe-note-assembler-routine value nil dstate)
 256              (print-label value stream dstate)))
 257
 258 (sb!disassem:define-arg-type accum
 259   :printer (lambda (value stream dstate)
 260              (declare (ignore value)
 261                       (type stream stream)
 262                       (type sb!disassem:disassem-state dstate))
 263              (print-reg 0 stream dstate)))
 264
 265 (sb!disassem:define-arg-type word-accum
 266   :printer (lambda (value stream dstate)
 267              (declare (ignore value)
 268                       (type stream stream)
 269                       (type sb!disassem:disassem-state dstate))
 270              (print-word-reg 0 stream dstate)))
 271
 272 (sb!disassem:define-arg-type reg
 273   :printer #'print-reg)
 274
 275 (sb!disassem:define-arg-type addr-reg
 276   :printer #'print-addr-reg)
 277
 278 (sb!disassem:define-arg-type word-reg
 279   :printer #'print-word-reg)
 280
 281 (sb!disassem:define-arg-type imm-addr
 282   :prefilter #'read-address
 283   :printer #'print-label)
 284
 285 (sb!disassem:define-arg-type imm-data
 286   :prefilter (lambda (value dstate)
 287                (declare (ignore value)) ; always nil anyway
 288                (sb!disassem:read-suffix
 289                 (width-bits (inst-operand-size dstate))
 290                 dstate)))
 291
 292 (sb!disassem:define-arg-type signed-imm-data
 293   :prefilter (lambda (value dstate)
 294                (declare (ignore value)) ; always nil anyway
 295                (let ((width (inst-operand-size dstate)))
 296                  (sb!disassem:read-signed-suffix (width-bits width) dstate))))
 297
 298 (sb!disassem:define-arg-type signed-imm-byte
 299   :prefilter (lambda (value dstate)
 300                (declare (ignore value)) ; always nil anyway
 301                (sb!disassem:read-signed-suffix 8 dstate)))
 302
 303 (sb!disassem:define-arg-type signed-imm-dword
 304   :prefilter (lambda (value dstate)
 305                (declare (ignore value)) ; always nil anyway
 306                (sb!disassem:read-signed-suffix 32 dstate)))
 307
 308 (sb!disassem:define-arg-type imm-word
 309   :prefilter (lambda (value dstate)
 310                (declare (ignore value)) ; always nil anyway
 311                (let ((width (inst-word-operand-size dstate)))
 312                  (sb!disassem:read-suffix (width-bits width) dstate))))
 313
 314 (sb!disassem:define-arg-type signed-imm-word
 315   :prefilter (lambda (value dstate)
 316                (declare (ignore value)) ; always nil anyway
 317                (let ((width (inst-word-operand-size dstate)))
 318                  (sb!disassem:read-signed-suffix (width-bits width) dstate))))
 319
 320 ;;; needed for the ret imm16 instruction
 321 (sb!disassem:define-arg-type imm-word-16
 322   :prefilter (lambda (value dstate)
 323                (declare (ignore value)) ; always nil anyway
 324                (sb!disassem:read-suffix 16 dstate)))
 325
 326 (sb!disassem:define-arg-type reg/mem
 327   :prefilter #'prefilter-reg/mem
 328   :printer #'print-reg/mem)
 329 (sb!disassem:define-arg-type sized-reg/mem
 330   ;; Same as reg/mem, but prints an explicit size indicator for
 331   ;; memory references.
 332   :prefilter #'prefilter-reg/mem
 333   :printer #'print-sized-reg/mem)
 334 (sb!disassem:define-arg-type byte-reg/mem
 335   :prefilter #'prefilter-reg/mem
 336   :printer #'print-byte-reg/mem)
 337 (sb!disassem:define-arg-type word-reg/mem
 338   :prefilter #'prefilter-reg/mem
 339   :printer #'print-word-reg/mem)
 340
 341 ;;; added by jrd
 342 (eval-when (#-sb-xc :compile-toplevel :load-toplevel :execute)
 343 (defun print-fp-reg (value stream dstate)
 344   (declare (ignore dstate))
 345   (format stream "FR~D" value))
 346 (defun prefilter-fp-reg (value dstate)
 347   ;; just return it
 348   (declare (ignore dstate))
 349   value)
 350 ) ; EVAL-WHEN
 351 (sb!disassem:define-arg-type fp-reg
 352                              :prefilter #'prefilter-fp-reg
 353                              :printer #'print-fp-reg)
 354
 355 (sb!disassem:define-arg-type width
 356   :prefilter #'prefilter-width
 357   :printer (lambda (value stream dstate)
 358              (declare (ignore value))
 359              (princ (schar (symbol-name (inst-operand-size dstate)) 0)
 360                     stream)))
 361
 362 ;;; Used to capture the effect of the #x66 operand size override prefix.
 363 (sb!disassem:define-arg-type x66
 364   :prefilter #'prefilter-x66)
 365
 366 ;;; Used to capture the effect of the #x64 and #x65 segment override
 367 ;;; prefixes.
 368 (sb!disassem:define-arg-type seg
 369   :prefilter #'prefilter-seg)
 370
 371 (eval-when (:compile-toplevel :load-toplevel :execute)
 372 (defparameter *conditions*
 373   '((:o . 0)
 374     (:no . 1)
 375     (:b . 2) (:nae . 2) (:c . 2)
 376     (:nb . 3) (:ae . 3) (:nc . 3)
 377     (:eq . 4) (:e . 4) (:z . 4)
 378     (:ne . 5) (:nz . 5)
 379     (:be . 6) (:na . 6)
 380     (:nbe . 7) (:a . 7)
 381     (:s . 8)
 382     (:ns . 9)
 383     (:p . 10) (:pe . 10)
 384     (:np . 11) (:po . 11)
 385     (:l . 12) (:nge . 12)
 386     (:nl . 13) (:ge . 13)
 387     (:le . 14) (:ng . 14)
 388     (:nle . 15) (:g . 15)))
 389 (defparameter *condition-name-vec*
 390   (let ((vec (make-array 16 :initial-element nil)))
 391     (dolist (cond *conditions*)
 392       (when (null (aref vec (cdr cond)))
 393         (setf (aref vec (cdr cond)) (car cond))))
 394     vec))
 395 ) ; EVAL-WHEN
 396
 397 ;;; Set assembler parameters. (In CMU CL, this was done with
 398 ;;; a call to a macro DEF-ASSEMBLER-PARAMS.)
 399 (eval-when (:compile-toplevel :load-toplevel :execute)
 400   (setf sb!assem:*assem-scheduler-p* nil))
 401
 402 (sb!disassem:define-arg-type condition-code
 403   :printer *condition-name-vec*)
 404
 405 (defun conditional-opcode (condition)
 406   (cdr (assoc condition *conditions* :test #'eq)))
 407 \f
 408 ;;;; disassembler instruction formats
 409
 410 (eval-when (:compile-toplevel :execute)
 411   (defun swap-if (direction field1 separator field2)
 412     `(:if (,direction :constant 0)
 413           (,field1 ,separator ,field2)
 414           (,field2 ,separator ,field1))))
 415
 416 (sb!disassem:define-instruction-format (byte 8 :default-printer '(:name))
 417   (op    :field (byte 8 0))
 418   ;; optional fields
 419   (accum :type 'accum)
 420   (imm))
 421
 422 ;;; Prefix instructions
 423
 424 (sb!disassem:define-instruction-format (x66 8)
 425   (x66   :field (byte 8 0) :type 'x66 :value #x66))
 426
 427 (sb!disassem:define-instruction-format (seg 8)
 428   (seg   :field (byte 7 1) :value #x32)
 429   (fsgs  :field (byte 1 0) :type 'seg))
 430
 431 (sb!disassem:define-instruction-format (simple 8)
 432   (op    :field (byte 7 1))
 433   (width :field (byte 1 0) :type 'width)
 434   ;; optional fields
 435   (accum :type 'accum)
 436   (imm))
 437
 438 (sb!disassem:define-instruction-format (two-bytes 16
 439                                         :default-printer '(:name))
 440   (op :fields (list (byte 8 0) (byte 8 8))))
 441
 442 ;;; Same as simple, but with direction bit
 443 (sb!disassem:define-instruction-format (simple-dir 8 :include 'simple)
 444   (op :field (byte 6 2))
 445   (dir :field (byte 1 1)))
 446
 447 ;;; Same as simple, but with the immediate value occurring by default,
 448 ;;; and with an appropiate printer.
 449 (sb!disassem:define-instruction-format (accum-imm 8
 450                                      :include 'simple
 451                                      :default-printer '(:name
 452                                                         :tab accum ", " imm))
 453   (imm :type 'imm-data))
 454
 455 (sb!disassem:define-instruction-format (reg-no-width 8
 456                                      :default-printer '(:name :tab reg))
 457   (op    :field (byte 5 3))
 458   (reg   :field (byte 3 0) :type 'word-reg)
 459   ;; optional fields
 460   (accum :type 'word-accum)
 461   (imm))
 462
 463 ;;; adds a width field to reg-no-width
 464 (sb!disassem:define-instruction-format (reg 8
 465                                         :default-printer '(:name :tab reg))
 466   (op    :field (byte 4 4))
 467   (width :field (byte 1 3) :type 'width)
 468   (reg   :field (byte 3 0) :type 'reg)
 469   ;; optional fields
 470   (accum :type 'accum)
 471   (imm)
 472   )
 473
 474 ;;; Same as reg, but with direction bit
 475 (sb!disassem:define-instruction-format (reg-dir 8 :include 'reg)
 476   (op  :field (byte 3 5))
 477   (dir :field (byte 1 4)))
 478
 479 (sb!disassem:define-instruction-format (two-bytes 16
 480                                         :default-printer '(:name))
 481   (op :fields (list (byte 8 0) (byte 8 8))))
 482
 483 (sb!disassem:define-instruction-format (reg-reg/mem 16
 484                                         :default-printer
 485                                         `(:name :tab reg ", " reg/mem))
 486   (op      :field (byte 7 1))
 487   (width   :field (byte 1 0)    :type 'width)
 488   (reg/mem :fields (list (byte 2 14) (byte 3 8))
 489                                 :type 'reg/mem)
 490   (reg     :field (byte 3 11)   :type 'reg)
 491   ;; optional fields
 492   (imm))
 493
 494 ;;; same as reg-reg/mem, but with direction bit
 495 (sb!disassem:define-instruction-format (reg-reg/mem-dir 16
 496                                         :include 'reg-reg/mem
 497                                         :default-printer
 498                                         `(:name
 499                                           :tab
 500                                           ,(swap-if 'dir 'reg/mem ", " 'reg)))
 501   (op  :field (byte 6 2))
 502   (dir :field (byte 1 1)))
 503
 504 ;;; Same as reg-rem/mem, but uses the reg field as a second op code.
 505 (sb!disassem:define-instruction-format (reg/mem 16
 506                                         :default-printer '(:name :tab reg/mem))
 507   (op      :fields (list (byte 7 1) (byte 3 11)))
 508   (width   :field (byte 1 0)    :type 'width)
 509   (reg/mem :fields (list (byte 2 14) (byte 3 8))
 510                                 :type 'sized-reg/mem)
 511   ;; optional fields
 512   (imm))
 513
 514 ;;; Same as reg/mem, but with the immediate value occurring by default,
 515 ;;; and with an appropiate printer.
 516 (sb!disassem:define-instruction-format (reg/mem-imm 16
 517                                         :include 'reg/mem
 518                                         :default-printer
 519                                         '(:name :tab reg/mem ", " imm))
 520   (reg/mem :type 'sized-reg/mem)
 521   (imm     :type 'imm-data))
 522
 523 ;;; Same as reg/mem, but with using the accumulator in the default printer
 524 (sb!disassem:define-instruction-format
 525     (accum-reg/mem 16
 526      :include 'reg/mem :default-printer '(:name :tab accum ", " reg/mem))
 527   (reg/mem :type 'reg/mem)              ; don't need a size
 528   (accum :type 'accum))
 529
 530 ;;; Same as reg-reg/mem, but with a prefix of #b00001111
 531 (sb!disassem:define-instruction-format (ext-reg-reg/mem 24
 532                                         :default-printer
 533                                         `(:name :tab reg ", " reg/mem))
 534   (prefix  :field (byte 8 0)    :value #b00001111)
 535   (op      :field (byte 7 9))
 536   (width   :field (byte 1 8)    :type 'width)
 537   (reg/mem :fields (list (byte 2 22) (byte 3 16))
 538                                 :type 'reg/mem)
 539   (reg     :field (byte 3 19)   :type 'reg)
 540   ;; optional fields
 541   (imm))
 542
 543 ;;; reg-no-width with #x0f prefix
 544 (sb!disassem:define-instruction-format (ext-reg-no-width 16
 545                                         :default-printer '(:name :tab reg))
 546   (prefix  :field (byte 8 0)    :value #b00001111)
 547   (op    :field (byte 5 11))
 548   (reg   :field (byte 3 8) :type 'reg))
 549
 550 ;;; Same as reg/mem, but with a prefix of #b00001111
 551 (sb!disassem:define-instruction-format (ext-reg/mem 24
 552                                         :default-printer '(:name :tab reg/mem))
 553   (prefix  :field (byte 8 0)    :value #b00001111)
 554   (op      :fields (list (byte 7 9) (byte 3 19)))
 555   (width   :field (byte 1 8)    :type 'width)
 556   (reg/mem :fields (list (byte 2 22) (byte 3 16))
 557                                 :type 'sized-reg/mem)
 558   ;; optional fields
 559   (imm))
 560
 561 (sb!disassem:define-instruction-format (ext-reg/mem-imm 24
 562                                         :include 'ext-reg/mem
 563                                         :default-printer
 564                                         '(:name :tab reg/mem ", " imm))
 565   (imm :type 'imm-data))
 566 \f
 567 ;;;; This section was added by jrd, for fp instructions.
 568
 569 ;;; regular fp inst to/from registers/memory
 570 (sb!disassem:define-instruction-format (floating-point 16
 571                                         :default-printer
 572                                         `(:name :tab reg/mem))
 573   (prefix :field (byte 5 3) :value #b11011)
 574   (op     :fields (list (byte 3 0) (byte 3 11)))
 575   (reg/mem :fields (list (byte 2 14) (byte 3 8)) :type 'reg/mem))
 576
 577 ;;; fp insn to/from fp reg
 578 (sb!disassem:define-instruction-format (floating-point-fp 16
 579                                         :default-printer `(:name :tab fp-reg))
 580   (prefix :field (byte 5 3) :value #b11011)
 581   (suffix :field (byte 2 14) :value #b11)
 582   (op     :fields (list (byte 3 0) (byte 3 11)))
 583   (fp-reg :field (byte 3 8) :type 'fp-reg))
 584
 585 ;;; fp insn to/from fp reg, with the reversed source/destination flag.
 586 (sb!disassem:define-instruction-format
 587  (floating-point-fp-d 16
 588    :default-printer `(:name :tab ,(swap-if 'd "ST0" ", " 'fp-reg)))
 589   (prefix :field (byte 5 3) :value #b11011)
 590   (suffix :field (byte 2 14) :value #b11)
 591   (op     :fields (list (byte 2 0) (byte 3 11)))
 592   (d      :field (byte 1 2))
 593   (fp-reg :field (byte 3 8) :type 'fp-reg))
 594
 595
 596 ;;; (added by (?) pfw)
 597 ;;; fp no operand isns
 598 (sb!disassem:define-instruction-format (floating-point-no 16
 599                                       :default-printer '(:name))
 600   (prefix :field (byte 8  0) :value #b11011001)
 601   (suffix :field (byte 3 13) :value #b111)
 602   (op     :field (byte 5  8)))
 603
 604 (sb!disassem:define-instruction-format (floating-point-3 16
 605                                       :default-printer '(:name))
 606   (prefix :field (byte 5 3) :value #b11011)
 607   (suffix :field (byte 2 14) :value #b11)
 608   (op     :fields (list (byte 3 0) (byte 6 8))))
 609
 610 (sb!disassem:define-instruction-format (floating-point-5 16
 611                                       :default-printer '(:name))
 612   (prefix :field (byte 8  0) :value #b11011011)
 613   (suffix :field (byte 3 13) :value #b111)
 614   (op     :field (byte 5  8)))
 615
 616 (sb!disassem:define-instruction-format (floating-point-st 16
 617                                       :default-printer '(:name))
 618   (prefix :field (byte 8  0) :value #b11011111)
 619   (suffix :field (byte 3 13) :value #b111)
 620   (op     :field (byte 5  8)))
 621
 622 (sb!disassem:define-instruction-format (string-op 8
 623                                      :include 'simple
 624                                      :default-printer '(:name width)))
 625
 626 (sb!disassem:define-instruction-format (short-cond-jump 16)
 627   (op    :field (byte 4 4))
 628   (cc    :field (byte 4 0) :type 'condition-code)
 629   (label :field (byte 8 8) :type 'displacement))
 630
 631 (sb!disassem:define-instruction-format (short-jump 16
 632                                      :default-printer '(:name :tab label))
 633   (const :field (byte 4 4) :value #b1110)
 634   (op    :field (byte 4 0))
 635   (label :field (byte 8 8) :type 'displacement))
 636
 637 (sb!disassem:define-instruction-format (near-cond-jump 16)
 638   (op    :fields (list (byte 8 0) (byte 4 12)) :value '(#b00001111 #b1000))
 639   (cc    :field (byte 4 8) :type 'condition-code)
 640   ;; The disassembler currently doesn't let you have an instruction > 32 bits
 641   ;; long, so we fake it by using a prefilter to read the offset.
 642   (label :type 'displacement
 643          :prefilter (lambda (value dstate)
 644                       (declare (ignore value)) ; always nil anyway
 645                       (sb!disassem:read-signed-suffix 32 dstate))))
 646
 647 (sb!disassem:define-instruction-format (near-jump 8
 648                                      :default-printer '(:name :tab label))
 649   (op    :field (byte 8 0))
 650   ;; The disassembler currently doesn't let you have an instruction > 32 bits
 651   ;; long, so we fake it by using a prefilter to read the address.
 652   (label :type 'displacement
 653          :prefilter (lambda (value dstate)
 654                       (declare (ignore value)) ; always nil anyway
 655                       (sb!disassem:read-signed-suffix 32 dstate))))
 656
 657
 658 (sb!disassem:define-instruction-format (cond-set 24
 659                                      :default-printer '('set cc :tab reg/mem))
 660   (prefix :field (byte 8 0) :value #b00001111)
 661   (op    :field (byte 4 12) :value #b1001)
 662   (cc    :field (byte 4 8) :type 'condition-code)
 663   (reg/mem :fields (list (byte 2 22) (byte 3 16))
 664            :type 'byte-reg/mem)
 665   (reg     :field (byte 3 19)   :value #b000))
 666
 667 (sb!disassem:define-instruction-format (cond-move 24
 668                                      :default-printer
 669                                         '('cmov cc :tab reg ", " reg/mem))
 670   (prefix  :field (byte 8 0)    :value #b00001111)
 671   (op      :field (byte 4 12)   :value #b0100)
 672   (cc      :field (byte 4 8)    :type 'condition-code)
 673   (reg/mem :fields (list (byte 2 22) (byte 3 16))
 674                                 :type 'reg/mem)
 675   (reg     :field (byte 3 19)   :type 'reg))
 676
 677 (sb!disassem:define-instruction-format (enter-format 32
 678                                      :default-printer '(:name
 679                                                         :tab disp
 680                                                         (:unless (:constant 0)
 681                                                           ", " level)))
 682   (op :field (byte 8 0))
 683   (disp :field (byte 16 8))
 684   (level :field (byte 8 24)))
 685
 686 (sb!disassem:define-instruction-format (prefetch 24
 687                                                  :default-printer
 688                                                  '(:name ", " reg/mem))
 689   (prefix :field (byte 8 0) :value #b00001111)
 690   (op :field (byte 8 8) :value #b00011000)
 691   (reg/mem :fields (list (byte 2 22) (byte 3 16)) :type 'byte-reg/mem)
 692   (reg :field (byte 3 19) :type 'reg))
 693
 694 ;;; Single byte instruction with an immediate byte argument.
 695 (sb!disassem:define-instruction-format (byte-imm 16
 696                                      :default-printer '(:name :tab code))
 697  (op :field (byte 8 0))
 698  (code :field (byte 8 8)))
 699
 700 ;;; Two byte instruction with an immediate byte argument.
 701 ;;;
 702 (sb!disassem:define-instruction-format (word-imm 24
 703                                      :default-printer '(:name :tab code))
 704   (op :field (byte 16 0))
 705   (code :field (byte 8 16)))
 706
 707 \f
 708 ;;;; primitive emitters
 709
 710 (define-bitfield-emitter emit-word 16
 711   (byte 16 0))
 712
 713 (define-bitfield-emitter emit-dword 32
 714   (byte 32 0))
 715
 716 (define-bitfield-emitter emit-byte-with-reg 8
 717   (byte 5 3) (byte 3 0))
 718
 719 (define-bitfield-emitter emit-mod-reg-r/m-byte 8
 720   (byte 2 6) (byte 3 3) (byte 3 0))
 721
 722 (define-bitfield-emitter emit-sib-byte 8
 723   (byte 2 6) (byte 3 3) (byte 3 0))
 724 \f
 725 ;;;; fixup emitters
 726
 727 (defun emit-absolute-fixup (segment fixup)
 728   (note-fixup segment :absolute fixup)
 729   (let ((offset (fixup-offset fixup)))
 730     (if (label-p offset)
 731         (emit-back-patch segment
 732                          4 ; FIXME: n-word-bytes
 733                          (lambda (segment posn)
 734                            (declare (ignore posn))
 735                            (emit-dword segment
 736                                        (- (+ (component-header-length)
 737                                              (or (label-position offset)
 738                                                  0))
 739                                           other-pointer-lowtag))))
 740         (emit-dword segment (or offset 0)))))
 741
 742 (defun emit-relative-fixup (segment fixup)
 743   (note-fixup segment :relative fixup)
 744   (emit-dword segment (or (fixup-offset fixup) 0)))
 745 \f
 746 ;;;; the effective-address (ea) structure
 747
 748 (defun reg-tn-encoding (tn)
 749   (declare (type tn tn))
 750   (aver (eq (sb-name (sc-sb (tn-sc tn))) 'registers))
 751   (let ((offset (tn-offset tn)))
 752     (logior (ash (logand offset 1) 2)
 753             (ash offset -1))))
 754
 755 (defstruct (ea (:constructor make-ea (size &key base index scale disp))
 756                (:copier nil))
 757   (size nil :type (member :byte :word :dword))
 758   (base nil :type (or tn null))
 759   (index nil :type (or tn null))
 760   (scale 1 :type (member 1 2 4 8))
 761   (disp 0 :type (or (unsigned-byte 32) (signed-byte 32) fixup)))
 762 (def!method print-object ((ea ea) stream)
 763   (cond ((or *print-escape* *print-readably*)
 764          (print-unreadable-object (ea stream :type t)
 765            (format stream
 766                    "~S~@[ base=~S~]~@[ index=~S~]~@[ scale=~S~]~@[ disp=~S~]"
 767                    (ea-size ea)
 768                    (ea-base ea)
 769                    (ea-index ea)
 770                    (let ((scale (ea-scale ea)))
 771                      (if (= scale 1) nil scale))
 772                    (ea-disp ea))))
 773         (t
 774          (format stream "~A PTR [" (symbol-name (ea-size ea)))
 775          (when (ea-base ea)
 776            (write-string (sb!c::location-print-name (ea-base ea)) stream)
 777            (when (ea-index ea)
 778              (write-string "+" stream)))
 779          (when (ea-index ea)
 780            (write-string (sb!c::location-print-name (ea-index ea)) stream))
 781          (unless (= (ea-scale ea) 1)
 782            (format stream "*~A" (ea-scale ea)))
 783          (typecase (ea-disp ea)
 784            (null)
 785            (integer
 786             (format stream "~@D" (ea-disp ea)))
 787            (t
 788             (format stream "+~A" (ea-disp ea))))
 789          (write-char #\] stream))))
 790
 791 (defun emit-ea (segment thing reg &optional allow-constants)
 792   (etypecase thing
 793     (tn
 794      (ecase (sb-name (sc-sb (tn-sc thing)))
 795        (registers
 796         (emit-mod-reg-r/m-byte segment #b11 reg (reg-tn-encoding thing)))
 797        (stack
 798         ;; Convert stack tns into an index off of EBP.
 799         (let ((disp (frame-byte-offset (tn-offset thing))))
 800           (cond ((<= -128 disp 127)
 801                  (emit-mod-reg-r/m-byte segment #b01 reg #b101)
 802                  (emit-byte segment disp))
 803                 (t
 804                  (emit-mod-reg-r/m-byte segment #b10 reg #b101)
 805                  (emit-dword segment disp)))))
 806        (constant
 807         (unless allow-constants
 808           (error
 809            "Constant TNs can only be directly used in MOV, PUSH, and CMP."))
 810         (emit-mod-reg-r/m-byte segment #b00 reg #b101)
 811         (emit-absolute-fixup segment
 812                              (make-fixup nil
 813                                          :code-object
 814                                          (- (* (tn-offset thing) n-word-bytes)
 815                                             other-pointer-lowtag))))))
 816     (ea
 817      (let* ((base (ea-base thing))
 818             (index (ea-index thing))
 819             (scale (ea-scale thing))
 820             (disp (ea-disp thing))
 821             (mod (cond ((or (null base)
 822                             (and (eql disp 0)
 823                                  (not (= (reg-tn-encoding base) #b101))))
 824                         #b00)
 825                        ((and (fixnump disp) (<= -128 disp 127))
 826                         #b01)
 827                        (t
 828                         #b10)))
 829             (r/m (cond (index #b100)
 830                        ((null base) #b101)
 831                        (t (reg-tn-encoding base)))))
 832        (when (and (fixup-p disp)
 833                   (label-p (fixup-offset disp)))
 834          (aver (null base))
 835          (aver (null index))
 836          (return-from emit-ea (emit-ea segment disp reg allow-constants)))
 837        (emit-mod-reg-r/m-byte segment mod reg r/m)
 838        (when (= r/m #b100)
 839          (let ((ss (1- (integer-length scale)))
 840                (index (if (null index)
 841                           #b100
 842                           (let ((index (reg-tn-encoding index)))
 843                             (if (= index #b100)
 844                                 (error "can't index off of ESP")
 845                                 index))))
 846                (base (if (null base)
 847                          #b101
 848                          (reg-tn-encoding base))))
 849            (emit-sib-byte segment ss index base)))
 850        (cond ((= mod #b01)
 851               (emit-byte segment disp))
 852              ((or (= mod #b10) (null base))
 853               (if (fixup-p disp)
 854                   (emit-absolute-fixup segment disp)
 855                   (emit-dword segment disp))))))
 856     (fixup
 857      (emit-mod-reg-r/m-byte segment #b00 reg #b101)
 858      (emit-absolute-fixup segment thing))))
 859
 860 (defun fp-reg-tn-p (thing)
 861   (and (tn-p thing)
 862        (eq (sb-name (sc-sb (tn-sc thing))) 'float-registers)))
 863
 864 ;;; like the above, but for fp-instructions--jrd
 865 (defun emit-fp-op (segment thing op)
 866   (if (fp-reg-tn-p thing)
 867       (emit-byte segment (dpb op (byte 3 3) (dpb (tn-offset thing)
 868                                                  (byte 3 0)
 869                                                  #b11000000)))
 870     (emit-ea segment thing op)))
 871
 872 (defun byte-reg-p (thing)
 873   (and (tn-p thing)
 874        (eq (sb-name (sc-sb (tn-sc thing))) 'registers)
 875        (member (sc-name (tn-sc thing)) *byte-sc-names*)
 876        t))
 877
 878 (defun byte-ea-p (thing)
 879   (typecase thing
 880     (ea (eq (ea-size thing) :byte))
 881     (tn
 882      (and (member (sc-name (tn-sc thing)) *byte-sc-names*) t))
 883     (t nil)))
 884
 885 (defun word-reg-p (thing)
 886   (and (tn-p thing)
 887        (eq (sb-name (sc-sb (tn-sc thing))) 'registers)
 888        (member (sc-name (tn-sc thing)) *word-sc-names*)
 889        t))
 890
 891 (defun word-ea-p (thing)
 892   (typecase thing
 893     (ea (eq (ea-size thing) :word))
 894     (tn (and (member (sc-name (tn-sc thing)) *word-sc-names*) t))
 895     (t nil)))
 896
 897 (defun dword-reg-p (thing)
 898   (and (tn-p thing)
 899        (eq (sb-name (sc-sb (tn-sc thing))) 'registers)
 900        (member (sc-name (tn-sc thing)) *dword-sc-names*)
 901        t))
 902
 903 (defun dword-ea-p (thing)
 904   (typecase thing
 905     (ea (eq (ea-size thing) :dword))
 906     (tn
 907      (and (member (sc-name (tn-sc thing)) *dword-sc-names*) t))
 908     (t nil)))
 909
 910 (defun register-p (thing)
 911   (and (tn-p thing)
 912        (eq (sb-name (sc-sb (tn-sc thing))) 'registers)))
 913
 914 (defun accumulator-p (thing)
 915   (and (register-p thing)
 916        (= (tn-offset thing) 0)))
 917 \f
 918 ;;;; utilities
 919
 920 (def!constant +operand-size-prefix-byte+ #b01100110)
 921
 922 (defun maybe-emit-operand-size-prefix (segment size)
 923   (unless (or (eq size :byte) (eq size +default-operand-size+))
 924     (emit-byte segment +operand-size-prefix-byte+)))
 925
 926 (defun operand-size (thing)
 927   (typecase thing
 928     (tn
 929      ;; FIXME: might as well be COND instead of having to use #. readmacro
 930      ;; to hack up the code
 931      (case (sc-name (tn-sc thing))
 932        (#.*dword-sc-names*
 933         :dword)
 934        (#.*word-sc-names*
 935         :word)
 936        (#.*byte-sc-names*
 937         :byte)
 938        ;; added by jrd: float-registers is a separate size (?)
 939        (#.*float-sc-names*
 940         :float)
 941        (#.*double-sc-names*
 942         :double)
 943        (t
 944         (error "can't tell the size of ~S ~S" thing (sc-name (tn-sc thing))))))
 945     (ea
 946      (ea-size thing))
 947     (t
 948      nil)))
 949
 950 (defun matching-operand-size (dst src)
 951   (let ((dst-size (operand-size dst))
 952         (src-size (operand-size src)))
 953     (if dst-size
 954         (if src-size
 955             (if (eq dst-size src-size)
 956                 dst-size
 957                 (error "size mismatch: ~S is a ~S and ~S is a ~S."
 958                        dst dst-size src src-size))
 959             dst-size)
 960         (if src-size
 961             src-size
 962             (error "can't tell the size of either ~S or ~S" dst src)))))
 963
 964 (defun emit-sized-immediate (segment size value)
 965   (ecase size
 966     (:byte
 967      (emit-byte segment value))
 968     (:word
 969      (emit-word segment value))
 970     (:dword
 971      (emit-dword segment value))))
 972 \f
 973 ;;;; prefixes
 974
 975 (define-instruction x66 (segment)
 976   (:printer x66 () nil :print-name nil)
 977   (:emitter
 978    (bug "#X66 prefix used as a standalone instruction")))
 979
 980 (defun emit-prefix (segment name)
 981   (ecase name
 982     ((nil))
 983     (:lock
 984      #!+sb-thread
 985      (emit-byte segment #xf0))
 986     (:fs
 987      (emit-byte segment #x64))
 988     (:gs
 989      (emit-byte segment #x65))))
 990
 991 (define-instruction fs (segment)
 992   (:printer seg ((fsgs #b0)) nil :print-name nil)
 993   (:emitter
 994    (bug "FS prefix used as a standalone instruction")))
 995
 996 (define-instruction gs (segment)
 997   (:printer seg ((fsgs #b1)) nil :print-name nil)
 998   (:emitter
 999    (bug "GS prefix used as a standalone instruction")))
1000
1001 (define-instruction lock (segment)
1002   (:printer byte ((op #b11110000)) nil)
1003   (:emitter
1004    (bug "LOCK prefix used as a standalone instruction")))
1005
1006 (define-instruction rep (segment)
1007   (:emitter
1008    (emit-byte segment #b11110011)))
1009
1010 (define-instruction repe (segment)
1011   (:printer byte ((op #b11110011)) nil)
1012   (:emitter
1013    (emit-byte segment #b11110011)))
1014
1015 (define-instruction repne (segment)
1016   (:printer byte ((op #b11110010)) nil)
1017   (:emitter
1018    (emit-byte segment #b11110010)))
1019
1020 ;;;; general data transfer
1021
1022 (define-instruction mov (segment dst src &optional prefix)
1023   ;; immediate to register
1024   (:printer reg ((op #b1011) (imm nil :type 'imm-data))
1025             '(:name :tab reg ", " imm))
1026   ;; absolute mem to/from accumulator
1027   (:printer simple-dir ((op #b101000) (imm nil :type 'imm-addr))
1028             `(:name :tab ,(swap-if 'dir 'accum ", " '("[" imm "]"))))
1029   ;; register to/from register/memory
1030   (:printer reg-reg/mem-dir ((op #b100010)))
1031   ;; immediate to register/memory
1032   (:printer reg/mem-imm ((op '(#b1100011 #b000))))
1033
1034   (:emitter
1035    (emit-prefix segment prefix)
1036    (let ((size (matching-operand-size dst src)))
1037      (maybe-emit-operand-size-prefix segment size)
1038      (cond ((register-p dst)
1039             (cond ((integerp src)
1040                    (emit-byte-with-reg segment
1041                                        (if (eq size :byte)
1042                                            #b10110
1043                                            #b10111)
1044                                        (reg-tn-encoding dst))
1045                    (emit-sized-immediate segment size src))
1046                   ((and (fixup-p src) (accumulator-p dst))
1047                    (emit-byte segment
1048                               (if (eq size :byte)
1049                                   #b10100000
1050                                   #b10100001))
1051                    (emit-absolute-fixup segment src))
1052                   (t
1053                    (emit-byte segment
1054                               (if (eq size :byte)
1055                                   #b10001010
1056                                   #b10001011))
1057                    (emit-ea segment src (reg-tn-encoding dst) t))))
1058            ((and (fixup-p dst) (accumulator-p src))
1059             (emit-byte segment (if (eq size :byte) #b10100010 #b10100011))
1060             (emit-absolute-fixup segment dst))
1061            ((integerp src)
1062             (emit-byte segment (if (eq size :byte) #b11000110 #b11000111))
1063             (emit-ea segment dst #b000)
1064             (emit-sized-immediate segment size src))
1065            ((register-p src)
1066             (emit-byte segment (if (eq size :byte) #b10001000 #b10001001))
1067             (emit-ea segment dst (reg-tn-encoding src)))
1068            ((fixup-p src)
1069             (aver (eq size :dword))
1070             (emit-byte segment #b11000111)
1071             (emit-ea segment dst #b000)
1072             (emit-absolute-fixup segment src))
1073            (t
1074             (error "bogus arguments to MOV: ~S ~S" dst src))))))
1075
1076 (defun emit-move-with-extension (segment dst src opcode)
1077   (aver (register-p dst))
1078   (let ((dst-size (operand-size dst))
1079         (src-size (operand-size src)))
1080     (ecase dst-size
1081       (:word
1082        (aver (eq src-size :byte))
1083        (maybe-emit-operand-size-prefix segment :word)
1084        (emit-byte segment #b00001111)
1085        (emit-byte segment opcode)
1086        (emit-ea segment src (reg-tn-encoding dst)))
1087       (:dword
1088        (ecase src-size
1089          (:byte
1090           (maybe-emit-operand-size-prefix segment :dword)
1091           (emit-byte segment #b00001111)
1092           (emit-byte segment opcode)
1093           (emit-ea segment src (reg-tn-encoding dst)))
1094          (:word
1095           (emit-byte segment #b00001111)
1096           (emit-byte segment (logior opcode 1))
1097           (emit-ea segment src (reg-tn-encoding dst))))))))
1098
1099 (define-instruction movsx (segment dst src)
1100   (:printer ext-reg-reg/mem ((op #b1011111)
1101                              (reg nil :type 'word-reg)
1102                              (reg/mem nil :type 'sized-reg/mem)))
1103   (:emitter (emit-move-with-extension segment dst src #b10111110)))
1104
1105 (define-instruction movzx (segment dst src)
1106   (:printer ext-reg-reg/mem ((op #b1011011)
1107                              (reg nil :type 'word-reg)
1108                              (reg/mem nil :type 'sized-reg/mem)))
1109   (:emitter (emit-move-with-extension segment dst src #b10110110)))
1110
1111 (define-instruction push (segment src &optional prefix)
1112   ;; register
1113   (:printer reg-no-width ((op #b01010)))
1114   ;; register/memory
1115   (:printer reg/mem ((op '(#b1111111 #b110)) (width 1)))
1116   ;; immediate
1117   (:printer byte ((op #b01101010) (imm nil :type 'signed-imm-byte))
1118             '(:name :tab imm))
1119   (:printer byte ((op #b01101000) (imm nil :type 'imm-word))
1120             '(:name :tab imm))
1121   ;; ### segment registers?
1122
1123   (:emitter
1124    (emit-prefix segment prefix)
1125    (cond ((integerp src)
1126           (cond ((<= -128 src 127)
1127                  (emit-byte segment #b01101010)
1128                  (emit-byte segment src))
1129                 (t
1130                  (emit-byte segment #b01101000)
1131                  (emit-dword segment src))))
1132          ((fixup-p src)
1133           ;; Interpret the fixup as an immediate dword to push.
1134           (emit-byte segment #b01101000)
1135           (emit-absolute-fixup segment src))
1136          (t
1137           (let ((size (operand-size src)))
1138             (aver (not (eq size :byte)))
1139             (maybe-emit-operand-size-prefix segment size)
1140             (cond ((register-p src)
1141                    (emit-byte-with-reg segment #b01010 (reg-tn-encoding src)))
1142                   (t
1143                    (emit-byte segment #b11111111)
1144                    (emit-ea segment src #b110 t))))))))
1145
1146 (define-instruction pusha (segment)
1147   (:printer byte ((op #b01100000)))
1148   (:emitter
1149    (emit-byte segment #b01100000)))
1150
1151 (define-instruction pop (segment dst)
1152   (:printer reg-no-width ((op #b01011)))
1153   (:printer reg/mem ((op '(#b1000111 #b000)) (width 1)))
1154   (:emitter
1155    (let ((size (operand-size dst)))
1156      (aver (not (eq size :byte)))
1157      (maybe-emit-operand-size-prefix segment size)
1158      (cond ((register-p dst)
1159             (emit-byte-with-reg segment #b01011 (reg-tn-encoding dst)))
1160            (t
1161             (emit-byte segment #b10001111)
1162             (emit-ea segment dst #b000))))))
1163
1164 (define-instruction popa (segment)
1165   (:printer byte ((op #b01100001)))
1166   (:emitter
1167    (emit-byte segment #b01100001)))
1168
1169 (define-instruction xchg (segment operand1 operand2)
1170   ;; Register with accumulator.
1171   (:printer reg-no-width ((op #b10010)) '(:name :tab accum ", " reg))
1172   ;; Register/Memory with Register.
1173   (:printer reg-reg/mem ((op #b1000011)))
1174   (:emitter
1175    (let ((size (matching-operand-size operand1 operand2)))
1176      (maybe-emit-operand-size-prefix segment size)
1177      (labels ((xchg-acc-with-something (acc something)
1178                 (if (and (not (eq size :byte)) (register-p something))
1179                     (emit-byte-with-reg segment
1180                                         #b10010
1181                                         (reg-tn-encoding something))
1182                     (xchg-reg-with-something acc something)))
1183               (xchg-reg-with-something (reg something)
1184                 (emit-byte segment (if (eq size :byte) #b10000110 #b10000111))
1185                 (emit-ea segment something (reg-tn-encoding reg))))
1186        (cond ((accumulator-p operand1)
1187               (xchg-acc-with-something operand1 operand2))
1188              ((accumulator-p operand2)
1189               (xchg-acc-with-something operand2 operand1))
1190              ((register-p operand1)
1191               (xchg-reg-with-something operand1 operand2))
1192              ((register-p operand2)
1193               (xchg-reg-with-something operand2 operand1))
1194              (t
1195               (error "bogus args to XCHG: ~S ~S" operand1 operand2)))))))
1196
1197 (define-instruction lea (segment dst src)
1198   (:printer reg-reg/mem ((op #b1000110) (width 1)))
1199   (:emitter
1200    (aver (dword-reg-p dst))
1201    (emit-byte segment #b10001101)
1202    (emit-ea segment src (reg-tn-encoding dst))))
1203
1204 (define-instruction cmpxchg (segment dst src &optional prefix)
1205   ;; Register/Memory with Register.
1206   (:printer ext-reg-reg/mem ((op #b1011000)) '(:name :tab reg/mem ", " reg))
1207   (:emitter
1208    (aver (register-p src))
1209    (emit-prefix segment prefix)
1210    (let ((size (matching-operand-size src dst)))
1211      (maybe-emit-operand-size-prefix segment size)
1212      (emit-byte segment #b00001111)
1213      (emit-byte segment (if (eq size :byte) #b10110000 #b10110001))
1214      (emit-ea segment dst (reg-tn-encoding src)))))
1215
1216 (define-instruction pause (segment)
1217   (:printer two-bytes ((op '(#xf3 #x90))))
1218   (:emitter
1219    (emit-byte segment #xf3)
1220    (emit-byte segment #x90)))
1221 \f
1222 ;;;; flag control instructions
1223
1224 ;;; CLC -- Clear Carry Flag.
1225 (define-instruction clc (segment)
1226   (:printer byte ((op #b11111000)))
1227   (:emitter
1228    (emit-byte segment #b11111000)))
1229
1230 ;;; CLD -- Clear Direction Flag.
1231 (define-instruction cld (segment)
1232   (:printer byte ((op #b11111100)))
1233   (:emitter
1234    (emit-byte segment #b11111100)))
1235
1236 ;;; CLI -- Clear Iterrupt Enable Flag.
1237 (define-instruction cli (segment)
1238   (:printer byte ((op #b11111010)))
1239   (:emitter
1240    (emit-byte segment #b11111010)))
1241
1242 ;;; CMC -- Complement Carry Flag.
1243 (define-instruction cmc (segment)
1244   (:printer byte ((op #b11110101)))
1245   (:emitter
1246    (emit-byte segment #b11110101)))
1247
1248 ;;; LAHF -- Load AH into flags.
1249 (define-instruction lahf (segment)
1250   (:printer byte ((op #b10011111)))
1251   (:emitter
1252    (emit-byte segment #b10011111)))
1253
1254 ;;; POPF -- Pop flags.
1255 (define-instruction popf (segment)
1256   (:printer byte ((op #b10011101)))
1257   (:emitter
1258    (emit-byte segment #b10011101)))
1259
1260 ;;; PUSHF -- push flags.
1261 (define-instruction pushf (segment)
1262   (:printer byte ((op #b10011100)))
1263   (:emitter
1264    (emit-byte segment #b10011100)))
1265
1266 ;;; SAHF -- Store AH into flags.
1267 (define-instruction sahf (segment)
1268   (:printer byte ((op #b10011110)))
1269   (:emitter
1270    (emit-byte segment #b10011110)))
1271
1272 ;;; STC -- Set Carry Flag.
1273 (define-instruction stc (segment)
1274   (:printer byte ((op #b11111001)))
1275   (:emitter
1276    (emit-byte segment #b11111001)))
1277
1278 ;;; STD -- Set Direction Flag.
1279 (define-instruction std (segment)
1280   (:printer byte ((op #b11111101)))
1281   (:emitter
1282    (emit-byte segment #b11111101)))
1283
1284 ;;; STI -- Set Interrupt Enable Flag.
1285 (define-instruction sti (segment)
1286   (:printer byte ((op #b11111011)))
1287   (:emitter
1288    (emit-byte segment #b11111011)))
1289 \f
1290 ;;;; arithmetic
1291
1292 (defun emit-random-arith-inst (name segment dst src opcode
1293                                &optional allow-constants)
1294   (let ((size (matching-operand-size dst src)))
1295     (maybe-emit-operand-size-prefix segment size)
1296     (cond
1297      ((integerp src)
1298       (cond ((and (not (eq size :byte)) (<= -128 src 127))
1299              (emit-byte segment #b10000011)
1300              (emit-ea segment dst opcode allow-constants)
1301              (emit-byte segment src))
1302             ((accumulator-p dst)
1303              (emit-byte segment
1304                         (dpb opcode
1305                              (byte 3 3)
1306                              (if (eq size :byte)
1307                                  #b00000100
1308                                  #b00000101)))
1309              (emit-sized-immediate segment size src))
1310             (t
1311              (emit-byte segment (if (eq size :byte) #b10000000 #b10000001))
1312              (emit-ea segment dst opcode allow-constants)
1313              (emit-sized-immediate segment size src))))
1314      ((register-p src)
1315       (emit-byte segment
1316                  (dpb opcode
1317                       (byte 3 3)
1318                       (if (eq size :byte) #b00000000 #b00000001)))
1319       (emit-ea segment dst (reg-tn-encoding src) allow-constants))
1320      ((register-p dst)
1321       (emit-byte segment
1322                  (dpb opcode
1323                       (byte 3 3)
1324                       (if (eq size :byte) #b00000010 #b00000011)))
1325       (emit-ea segment src (reg-tn-encoding dst) allow-constants))
1326      (t
1327       (error "bogus operands to ~A" name)))))
1328
1329 (eval-when (:compile-toplevel :execute)
1330   (defun arith-inst-printer-list (subop)
1331     `((accum-imm ((op ,(dpb subop (byte 3 2) #b0000010))))
1332       (reg/mem-imm ((op (#b1000000 ,subop))))
1333       (reg/mem-imm ((op (#b1000001 ,subop))
1334                     (imm nil :type signed-imm-byte)))
1335       (reg-reg/mem-dir ((op ,(dpb subop (byte 3 1) #b000000)))))))
1336
1337 (define-instruction add (segment dst src &optional prefix)
1338   (:printer-list (arith-inst-printer-list #b000))
1339   (:emitter
1340    (emit-prefix segment prefix)
1341    (emit-random-arith-inst "ADD" segment dst src #b000)))
1342
1343 (define-instruction adc (segment dst src)
1344   (:printer-list (arith-inst-printer-list #b010))
1345   (:emitter (emit-random-arith-inst "ADC" segment dst src #b010)))
1346
1347 (define-instruction sub (segment dst src &optional prefix)
1348   (:printer-list (arith-inst-printer-list #b101))
1349   (:emitter
1350    (emit-prefix segment prefix)
1351    (emit-random-arith-inst "SUB" segment dst src #b101)))
1352
1353 (define-instruction sbb (segment dst src)
1354   (:printer-list (arith-inst-printer-list #b011))
1355   (:emitter (emit-random-arith-inst "SBB" segment dst src #b011)))
1356
1357 (define-instruction cmp (segment dst src &optional prefix)
1358   (:printer-list (arith-inst-printer-list #b111))
1359   (:emitter
1360    (emit-prefix segment prefix)
1361    (emit-random-arith-inst "CMP" segment dst src #b111 t)))
1362
1363 (define-instruction inc (segment dst)
1364   ;; Register.
1365   (:printer reg-no-width ((op #b01000)))
1366   ;; Register/Memory
1367   (:printer reg/mem ((op '(#b1111111 #b000))))
1368   (:emitter
1369    (let ((size (operand-size dst)))
1370      (maybe-emit-operand-size-prefix segment size)
1371      (cond ((and (not (eq size :byte)) (register-p dst))
1372             (emit-byte-with-reg segment #b01000 (reg-tn-encoding dst)))
1373            (t
1374             (emit-byte segment (if (eq size :byte) #b11111110 #b11111111))
1375             (emit-ea segment dst #b000))))))
1376
1377 (define-instruction dec (segment dst)
1378   ;; Register.
1379   (:printer reg-no-width ((op #b01001)))
1380   ;; Register/Memory
1381   (:printer reg/mem ((op '(#b1111111 #b001))))
1382   (:emitter
1383    (let ((size (operand-size dst)))
1384      (maybe-emit-operand-size-prefix segment size)
1385      (cond ((and (not (eq size :byte)) (register-p dst))
1386             (emit-byte-with-reg segment #b01001 (reg-tn-encoding dst)))
1387            (t
1388             (emit-byte segment (if (eq size :byte) #b11111110 #b11111111))
1389             (emit-ea segment dst #b001))))))
1390
1391 (define-instruction neg (segment dst)
1392   (:printer reg/mem ((op '(#b1111011 #b011))))
1393   (:emitter
1394    (let ((size (operand-size dst)))
1395      (maybe-emit-operand-size-prefix segment size)
1396      (emit-byte segment (if (eq size :byte) #b11110110 #b11110111))
1397      (emit-ea segment dst #b011))))
1398
1399 (define-instruction aaa (segment)
1400   (:printer byte ((op #b00110111)))
1401   (:emitter
1402    (emit-byte segment #b00110111)))
1403
1404 (define-instruction aas (segment)
1405   (:printer byte ((op #b00111111)))
1406   (:emitter
1407    (emit-byte segment #b00111111)))
1408
1409 (define-instruction daa (segment)
1410   (:printer byte ((op #b00100111)))
1411   (:emitter
1412    (emit-byte segment #b00100111)))
1413
1414 (define-instruction das (segment)
1415   (:printer byte ((op #b00101111)))
1416   (:emitter
1417    (emit-byte segment #b00101111)))
1418
1419 (define-instruction mul (segment dst src)
1420   (:printer accum-reg/mem ((op '(#b1111011 #b100))))
1421   (:emitter
1422    (let ((size (matching-operand-size dst src)))
1423      (aver (accumulator-p dst))
1424      (maybe-emit-operand-size-prefix segment size)
1425      (emit-byte segment (if (eq size :byte) #b11110110 #b11110111))
1426      (emit-ea segment src #b100))))
1427
1428 (define-instruction imul (segment dst &optional src1 src2)
1429   (:printer accum-reg/mem ((op '(#b1111011 #b101))))
1430   (:printer ext-reg-reg/mem ((op #b1010111)))
1431   (:printer reg-reg/mem ((op #b0110100) (width 1)
1432                          (imm nil :type 'signed-imm-word))
1433             '(:name :tab reg ", " reg/mem ", " imm))
1434   (:printer reg-reg/mem ((op #b0110101) (width 1)
1435                          (imm nil :type 'signed-imm-byte))
1436             '(:name :tab reg ", " reg/mem ", " imm))
1437   (:emitter
1438    (flet ((r/m-with-immed-to-reg (reg r/m immed)
1439             (let* ((size (matching-operand-size reg r/m))
1440                    (sx (and (not (eq size :byte)) (<= -128 immed 127))))
1441               (maybe-emit-operand-size-prefix segment size)
1442               (emit-byte segment (if sx #b01101011 #b01101001))
1443               (emit-ea segment r/m (reg-tn-encoding reg))
1444               (if sx
1445                   (emit-byte segment immed)
1446                   (emit-sized-immediate segment size immed)))))
1447      (cond (src2
1448             (r/m-with-immed-to-reg dst src1 src2))
1449            (src1
1450             (if (integerp src1)
1451                 (r/m-with-immed-to-reg dst dst src1)
1452                 (let ((size (matching-operand-size dst src1)))
1453                   (maybe-emit-operand-size-prefix segment size)
1454                   (emit-byte segment #b00001111)
1455                   (emit-byte segment #b10101111)
1456                   (emit-ea segment src1 (reg-tn-encoding dst)))))
1457            (t
1458             (let ((size (operand-size dst)))
1459               (maybe-emit-operand-size-prefix segment size)
1460               (emit-byte segment (if (eq size :byte) #b11110110 #b11110111))
1461               (emit-ea segment dst #b101)))))))
1462
1463 (define-instruction div (segment dst src)
1464   (:printer accum-reg/mem ((op '(#b1111011 #b110))))
1465   (:emitter
1466    (let ((size (matching-operand-size dst src)))
1467      (aver (accumulator-p dst))
1468      (maybe-emit-operand-size-prefix segment size)
1469      (emit-byte segment (if (eq size :byte) #b11110110 #b11110111))
1470      (emit-ea segment src #b110))))
1471
1472 (define-instruction idiv (segment dst src)
1473   (:printer accum-reg/mem ((op '(#b1111011 #b111))))
1474   (:emitter
1475    (let ((size (matching-operand-size dst src)))
1476      (aver (accumulator-p dst))
1477      (maybe-emit-operand-size-prefix segment size)
1478      (emit-byte segment (if (eq size :byte) #b11110110 #b11110111))
1479      (emit-ea segment src #b111))))
1480
1481 (define-instruction aad (segment)
1482   (:printer two-bytes ((op '(#b11010101 #b00001010))))
1483   (:emitter
1484    (emit-byte segment #b11010101)
1485    (emit-byte segment #b00001010)))
1486
1487 (define-instruction aam (segment)
1488   (:printer two-bytes ((op '(#b11010100 #b00001010))))
1489   (:emitter
1490    (emit-byte segment #b11010100)
1491    (emit-byte segment #b00001010)))
1492
1493 (define-instruction bswap (segment dst)
1494   (:printer ext-reg-no-width ((op #b11001)))
1495   (:emitter
1496    (emit-byte segment #x0f)
1497    (emit-byte-with-reg segment #b11001 (reg-tn-encoding dst))))
1498
1499 ;;; CBW -- Convert Byte to Word. AX <- sign_xtnd(AL)
1500 (define-instruction cbw (segment)
1501   (:printer two-bytes ((op '(#b01100110 #b10011000))))
1502   (:emitter
1503    (maybe-emit-operand-size-prefix segment :word)
1504    (emit-byte segment #b10011000)))
1505
1506 ;;; CWDE -- Convert Word To Double Word Extened. EAX <- sign_xtnd(AX)
1507 (define-instruction cwde (segment)
1508   (:printer byte ((op #b10011000)))
1509   (:emitter
1510    (maybe-emit-operand-size-prefix segment :dword)
1511    (emit-byte segment #b10011000)))
1512
1513 ;;; CWD -- Convert Word to Double Word. DX:AX <- sign_xtnd(AX)
1514 (define-instruction cwd (segment)
1515   (:printer two-bytes ((op '(#b01100110 #b10011001))))
1516   (:emitter
1517    (maybe-emit-operand-size-prefix segment :word)
1518    (emit-byte segment #b10011001)))
1519
1520 ;;; CDQ -- Convert Double Word to Quad Word. EDX:EAX <- sign_xtnd(EAX)
1521 (define-instruction cdq (segment)
1522   (:printer byte ((op #b10011001)))
1523   (:emitter
1524    (maybe-emit-operand-size-prefix segment :dword)
1525    (emit-byte segment #b10011001)))
1526
1527 (define-instruction xadd (segment dst src &optional prefix)
1528   ;; Register/Memory with Register.
1529   (:printer ext-reg-reg/mem ((op #b1100000)) '(:name :tab reg/mem ", " reg))
1530   (:emitter
1531    (aver (register-p src))
1532    (emit-prefix segment prefix)
1533    (let ((size (matching-operand-size src dst)))
1534      (maybe-emit-operand-size-prefix segment size)
1535      (emit-byte segment #b00001111)
1536      (emit-byte segment (if (eq size :byte) #b11000000 #b11000001))
1537      (emit-ea segment dst (reg-tn-encoding src)))))
1538
1539 \f
1540 ;;;; logic
1541
1542 (defun emit-shift-inst (segment dst amount opcode)
1543   (let ((size (operand-size dst)))
1544     (maybe-emit-operand-size-prefix segment size)
1545     (multiple-value-bind (major-opcode immed)
1546         (case amount
1547           (:cl (values #b11010010 nil))
1548           (1 (values #b11010000 nil))
1549           (t (values #b11000000 t)))
1550       (emit-byte segment
1551                  (if (eq size :byte) major-opcode (logior major-opcode 1)))
1552       (emit-ea segment dst opcode)
1553       (when immed
1554         (emit-byte segment amount)))))
1555
1556 (eval-when (:compile-toplevel :execute)
1557   (defun shift-inst-printer-list (subop)
1558     `((reg/mem ((op (#b1101000 ,subop)))
1559                (:name :tab reg/mem ", 1"))
1560       (reg/mem ((op (#b1101001 ,subop)))
1561                (:name :tab reg/mem ", " 'cl))
1562       (reg/mem-imm ((op (#b1100000 ,subop))
1563                     (imm nil :type signed-imm-byte))))))
1564
1565 (define-instruction rol (segment dst amount)
1566   (:printer-list
1567    (shift-inst-printer-list #b000))
1568   (:emitter
1569    (emit-shift-inst segment dst amount #b000)))
1570
1571 (define-instruction ror (segment dst amount)
1572   (:printer-list
1573    (shift-inst-printer-list #b001))
1574   (:emitter
1575    (emit-shift-inst segment dst amount #b001)))
1576
1577 (define-instruction rcl (segment dst amount)
1578   (:printer-list
1579    (shift-inst-printer-list #b010))
1580   (:emitter
1581    (emit-shift-inst segment dst amount #b010)))
1582
1583 (define-instruction rcr (segment dst amount)
1584   (:printer-list
1585    (shift-inst-printer-list #b011))
1586   (:emitter
1587    (emit-shift-inst segment dst amount #b011)))
1588
1589 (define-instruction shl (segment dst amount)
1590   (:printer-list
1591    (shift-inst-printer-list #b100))
1592   (:emitter
1593    (emit-shift-inst segment dst amount #b100)))
1594
1595 (define-instruction shr (segment dst amount)
1596   (:printer-list
1597    (shift-inst-printer-list #b101))
1598   (:emitter
1599    (emit-shift-inst segment dst amount #b101)))
1600
1601 (define-instruction sar (segment dst amount)
1602   (:printer-list
1603    (shift-inst-printer-list #b111))
1604   (:emitter
1605    (emit-shift-inst segment dst amount #b111)))
1606
1607 (defun emit-double-shift (segment opcode dst src amt)
1608   (let ((size (matching-operand-size dst src)))
1609     (when (eq size :byte)
1610       (error "Double shifts can only be used with words."))
1611     (maybe-emit-operand-size-prefix segment size)
1612     (emit-byte segment #b00001111)
1613     (emit-byte segment (dpb opcode (byte 1 3)
1614                             (if (eq amt :cl) #b10100101 #b10100100)))
1615     #+nil
1616     (emit-ea segment dst src)
1617     (emit-ea segment dst (reg-tn-encoding src)) ; pw tries this
1618     (unless (eq amt :cl)
1619       (emit-byte segment amt))))
1620
1621 (eval-when (:compile-toplevel :execute)
1622   (defun double-shift-inst-printer-list (op)
1623     `((ext-reg-reg/mem ((op ,(logior op #b10)) (width 0)
1624                         (imm nil :type signed-imm-byte))
1625          (:name :tab reg/mem ", " reg ", " imm))
1626       (ext-reg-reg/mem ((op ,(logior op #b10)) (width 1))
1627          (:name :tab reg/mem ", " reg ", " 'cl)))))
1628
1629 (define-instruction shld (segment dst src amt)
1630   (:declare (type (or (member :cl) (mod 32)) amt))
1631   (:printer-list (double-shift-inst-printer-list #b1010000))
1632   (:emitter
1633    (emit-double-shift segment #b0 dst src amt)))
1634
1635 (define-instruction shrd (segment dst src amt)
1636   (:declare (type (or (member :cl) (mod 32)) amt))
1637   (:printer-list (double-shift-inst-printer-list #b1010100))
1638   (:emitter
1639    (emit-double-shift segment #b1 dst src amt)))
1640
1641 (define-instruction and (segment dst src)
1642   (:printer-list
1643    (arith-inst-printer-list #b100))
1644   (:emitter
1645    (emit-random-arith-inst "AND" segment dst src #b100)))
1646
1647 (define-instruction test (segment this that)
1648   (:printer accum-imm ((op #b1010100)))
1649   (:printer reg/mem-imm ((op '(#b1111011 #b000))))
1650   (:printer reg-reg/mem ((op #b1000010)))
1651   (:emitter
1652    (let ((size (matching-operand-size this that)))
1653      (maybe-emit-operand-size-prefix segment size)
1654      (flet ((test-immed-and-something (immed something)
1655               (cond ((accumulator-p something)
1656                      (emit-byte segment
1657                                 (if (eq size :byte) #b10101000 #b10101001))
1658                      (emit-sized-immediate segment size immed))
1659                     (t
1660                      (emit-byte segment
1661                                 (if (eq size :byte) #b11110110 #b11110111))
1662                      (emit-ea segment something #b000)
1663                      (emit-sized-immediate segment size immed))))
1664             (test-reg-and-something (reg something)
1665               (emit-byte segment (if (eq size :byte) #b10000100 #b10000101))
1666               (emit-ea segment something (reg-tn-encoding reg))))
1667        (cond ((integerp that)
1668               (test-immed-and-something that this))
1669              ((integerp this)
1670               (test-immed-and-something this that))
1671              ((register-p this)
1672               (test-reg-and-something this that))
1673              ((register-p that)
1674               (test-reg-and-something that this))
1675              (t
1676               (error "bogus operands for TEST: ~S and ~S" this that)))))))
1677
1678 ;;; Emit the most compact form of the test immediate instruction,
1679 ;;; using an 8 bit test when the immediate is only 8 bits and the
1680 ;;; value is one of the four low registers (eax, ebx, ecx, edx) or the
1681 ;;; control stack.
1682 (defun emit-optimized-test-inst (x y)
1683   (typecase y
1684     ((unsigned-byte 7)
1685      (let ((offset (tn-offset x)))
1686        (cond ((and (sc-is x any-reg descriptor-reg)
1687                    (or (= offset eax-offset) (= offset ebx-offset)
1688                        (= offset ecx-offset) (= offset edx-offset)))
1689               (inst test (make-random-tn :kind :normal
1690                                          :sc (sc-or-lose 'byte-reg)
1691                                          :offset offset)
1692                     y))
1693              ((sc-is x control-stack)
1694               (inst test (make-ea :byte :base ebp-tn
1695                                   :disp (frame-byte-offset offset))
1696                     y))
1697              (t
1698               (inst test x y)))))
1699     (t
1700      (inst test x y))))
1701
1702 (define-instruction or (segment dst src &optional prefix)
1703   (:printer-list
1704    (arith-inst-printer-list #b001))
1705   (:emitter
1706    (emit-prefix segment prefix)
1707    (emit-random-arith-inst "OR" segment dst src #b001)))
1708
1709 (define-instruction xor (segment dst src &optional prefix)
1710   (:printer-list
1711    (arith-inst-printer-list #b110))
1712   (:emitter
1713    (emit-prefix segment prefix)
1714    (emit-random-arith-inst "XOR" segment dst src #b110)))
1715
1716 (define-instruction not (segment dst)
1717   (:printer reg/mem ((op '(#b1111011 #b010))))
1718   (:emitter
1719    (let ((size (operand-size dst)))
1720      (maybe-emit-operand-size-prefix segment size)
1721      (emit-byte segment (if (eq size :byte) #b11110110 #b11110111))
1722      (emit-ea segment dst #b010))))
1723 \f
1724 ;;;; string manipulation
1725
1726 (define-instruction cmps (segment size)
1727   (:printer string-op ((op #b1010011)))
1728   (:emitter
1729    (maybe-emit-operand-size-prefix segment size)
1730    (emit-byte segment (if (eq size :byte) #b10100110 #b10100111))))
1731
1732 (define-instruction ins (segment acc)
1733   (:printer string-op ((op #b0110110)))
1734   (:emitter
1735    (let ((size (operand-size acc)))
1736      (aver (accumulator-p acc))
1737      (maybe-emit-operand-size-prefix segment size)
1738      (emit-byte segment (if (eq size :byte) #b01101100 #b01101101)))))
1739
1740 (define-instruction lods (segment acc)
1741   (:printer string-op ((op #b1010110)))
1742   (:emitter
1743    (let ((size (operand-size acc)))
1744      (aver (accumulator-p acc))
1745      (maybe-emit-operand-size-prefix segment size)
1746      (emit-byte segment (if (eq size :byte) #b10101100 #b10101101)))))
1747
1748 (define-instruction movs (segment size)
1749   (:printer string-op ((op #b1010010)))
1750   (:emitter
1751    (maybe-emit-operand-size-prefix segment size)
1752    (emit-byte segment (if (eq size :byte) #b10100100 #b10100101))))
1753
1754 (define-instruction outs (segment acc)
1755   (:printer string-op ((op #b0110111)))
1756   (:emitter
1757    (let ((size (operand-size acc)))
1758      (aver (accumulator-p acc))
1759      (maybe-emit-operand-size-prefix segment size)
1760      (emit-byte segment (if (eq size :byte) #b01101110 #b01101111)))))
1761
1762 (define-instruction scas (segment acc)
1763   (:printer string-op ((op #b1010111)))
1764   (:emitter
1765    (let ((size (operand-size acc)))
1766      (aver (accumulator-p acc))
1767      (maybe-emit-operand-size-prefix segment size)
1768      (emit-byte segment (if (eq size :byte) #b10101110 #b10101111)))))
1769
1770 (define-instruction stos (segment acc)
1771   (:printer string-op ((op #b1010101)))
1772   (:emitter
1773    (let ((size (operand-size acc)))
1774      (aver (accumulator-p acc))
1775      (maybe-emit-operand-size-prefix segment size)
1776      (emit-byte segment (if (eq size :byte) #b10101010 #b10101011)))))
1777
1778 (define-instruction xlat (segment)
1779   (:printer byte ((op #b11010111)))
1780   (:emitter
1781    (emit-byte segment #b11010111)))
1782
1783 \f
1784 ;;;; bit manipulation
1785
1786 (define-instruction bsf (segment dst src)
1787   (:printer ext-reg-reg/mem ((op #b1011110) (width 0)))
1788   (:emitter
1789    (let ((size (matching-operand-size dst src)))
1790      (when (eq size :byte)
1791        (error "can't scan bytes: ~S" src))
1792      (maybe-emit-operand-size-prefix segment size)
1793      (emit-byte segment #b00001111)
1794      (emit-byte segment #b10111100)
1795      (emit-ea segment src (reg-tn-encoding dst)))))
1796
1797 (define-instruction bsr (segment dst src)
1798   (:printer ext-reg-reg/mem ((op #b1011110) (width 1)))
1799   (:emitter
1800    (let ((size (matching-operand-size dst src)))
1801      (when (eq size :byte)
1802        (error "can't scan bytes: ~S" src))
1803      (maybe-emit-operand-size-prefix segment size)
1804      (emit-byte segment #b00001111)
1805      (emit-byte segment #b10111101)
1806      (emit-ea segment src (reg-tn-encoding dst)))))
1807
1808 (defun emit-bit-test-and-mumble (segment src index opcode)
1809   (let ((size (operand-size src)))
1810     (when (eq size :byte)
1811       (error "can't scan bytes: ~S" src))
1812     (maybe-emit-operand-size-prefix segment size)
1813     (emit-byte segment #b00001111)
1814     (cond ((integerp index)
1815            (emit-byte segment #b10111010)
1816            (emit-ea segment src opcode)
1817            (emit-byte segment index))
1818           (t
1819            (emit-byte segment (dpb opcode (byte 3 3) #b10000011))
1820            (emit-ea segment src (reg-tn-encoding index))))))
1821
1822 (eval-when (:compile-toplevel :execute)
1823   (defun bit-test-inst-printer-list (subop)
1824     `((ext-reg/mem-imm ((op (#b1011101 ,subop))
1825                         (reg/mem nil :type word-reg/mem)
1826                         (imm nil :type imm-data)
1827                         (width 0)))
1828       (ext-reg-reg/mem ((op ,(dpb subop (byte 3 2) #b1000001))
1829                         (width 1))
1830                        (:name :tab reg/mem ", " reg)))))
1831
1832 (define-instruction bt (segment src index)
1833   (:printer-list (bit-test-inst-printer-list #b100))
1834   (:emitter
1835    (emit-bit-test-and-mumble segment src index #b100)))
1836
1837 (define-instruction btc (segment src index)
1838   (:printer-list (bit-test-inst-printer-list #b111))
1839   (:emitter
1840    (emit-bit-test-and-mumble segment src index #b111)))
1841
1842 (define-instruction btr (segment src index)
1843   (:printer-list (bit-test-inst-printer-list #b110))
1844   (:emitter
1845    (emit-bit-test-and-mumble segment src index #b110)))
1846
1847 (define-instruction bts (segment src index)
1848   (:printer-list (bit-test-inst-printer-list #b101))
1849   (:emitter
1850    (emit-bit-test-and-mumble segment src index #b101)))
1851
1852 \f
1853 ;;;; control transfer
1854
1855 (define-instruction call (segment where)
1856   (:printer near-jump ((op #b11101000)))
1857   (:printer reg/mem ((op '(#b1111111 #b010)) (width 1)))
1858   (:emitter
1859    (typecase where
1860      (label
1861       (emit-byte segment #b11101000)
1862       (emit-back-patch segment
1863                        4
1864                        (lambda (segment posn)
1865                          (emit-dword segment
1866                                      (- (label-position where)
1867                                         (+ posn 4))))))
1868      (fixup
1869       (emit-byte segment #b11101000)
1870       (emit-relative-fixup segment where))
1871      (t
1872       (emit-byte segment #b11111111)
1873       (emit-ea segment where #b010)))))
1874
1875 (defun emit-byte-displacement-backpatch (segment target)
1876   (emit-back-patch segment
1877                    1
1878                    (lambda (segment posn)
1879                      (let ((disp (- (label-position target) (1+ posn))))
1880                        (aver (<= -128 disp 127))
1881                        (emit-byte segment disp)))))
1882
1883 (define-instruction jmp (segment cond &optional where)
1884   ;; conditional jumps
1885   (:printer short-cond-jump ((op #b0111)) '('j cc :tab label))
1886   (:printer near-cond-jump () '('j cc :tab label))
1887   ;; unconditional jumps
1888   (:printer short-jump ((op #b1011)))
1889   (:printer near-jump ((op #b11101001)) )
1890   (:printer reg/mem ((op '(#b1111111 #b100)) (width 1)))
1891   (:emitter
1892    (cond (where
1893           (emit-chooser
1894            segment 6 2
1895            (lambda (segment posn delta-if-after)
1896              (let ((disp (- (label-position where posn delta-if-after)
1897                             (+ posn 2))))
1898                (when (<= -128 disp 127)
1899                  (emit-byte segment
1900                             (dpb (conditional-opcode cond)
1901                                  (byte 4 0)
1902                                  #b01110000))
1903                  (emit-byte-displacement-backpatch segment where)
1904                  t)))
1905            (lambda (segment posn)
1906              (let ((disp (- (label-position where) (+ posn 6))))
1907                (emit-byte segment #b00001111)
1908                (emit-byte segment
1909                           (dpb (conditional-opcode cond)
1910                                (byte 4 0)
1911                                #b10000000))
1912                (emit-dword segment disp)))))
1913          ((label-p (setq where cond))
1914           (emit-chooser
1915            segment 5 0
1916            (lambda (segment posn delta-if-after)
1917              (let ((disp (- (label-position where posn delta-if-after)
1918                             (+ posn 2))))
1919                (when (<= -128 disp 127)
1920                  (emit-byte segment #b11101011)
1921                  (emit-byte-displacement-backpatch segment where)
1922                  t)))
1923            (lambda (segment posn)
1924              (let ((disp (- (label-position where) (+ posn 5))))
1925                (emit-byte segment #b11101001)
1926                (emit-dword segment disp)))))
1927          ((fixup-p where)
1928           (emit-byte segment #b11101001)
1929           (emit-relative-fixup segment where))
1930          (t
1931           (unless (or (ea-p where) (tn-p where))
1932                   (error "don't know what to do with ~A" where))
1933           (emit-byte segment #b11111111)
1934           (emit-ea segment where #b100)))))
1935
1936 (define-instruction jmp-short (segment label)
1937   (:emitter
1938    (emit-byte segment #b11101011)
1939    (emit-byte-displacement-backpatch segment label)))
1940
1941 (define-instruction ret (segment &optional stack-delta)
1942   (:printer byte ((op #b11000011)))
1943   (:printer byte ((op #b11000010) (imm nil :type 'imm-word-16))
1944             '(:name :tab imm))
1945   (:emitter
1946    (cond ((and stack-delta (not (zerop stack-delta)))
1947           (emit-byte segment #b11000010)
1948           (emit-word segment stack-delta))
1949          (t
1950           (emit-byte segment #b11000011)))))
1951
1952 (define-instruction jecxz (segment target)
1953   (:printer short-jump ((op #b0011)))
1954   (:emitter
1955    (emit-byte segment #b11100011)
1956    (emit-byte-displacement-backpatch segment target)))
1957
1958 (define-instruction loop (segment target)
1959   (:printer short-jump ((op #b0010)))
1960   (:emitter
1961    (emit-byte segment #b11100010)       ; pfw this was 11100011, or jecxz!!!!
1962    (emit-byte-displacement-backpatch segment target)))
1963
1964 (define-instruction loopz (segment target)
1965   (:printer short-jump ((op #b0001)))
1966   (:emitter
1967    (emit-byte segment #b11100001)
1968    (emit-byte-displacement-backpatch segment target)))
1969
1970 (define-instruction loopnz (segment target)
1971   (:printer short-jump ((op #b0000)))
1972   (:emitter
1973    (emit-byte segment #b11100000)
1974    (emit-byte-displacement-backpatch segment target)))
1975 \f
1976 ;;;; conditional move
1977 (define-instruction cmov (segment cond dst src)
1978   (:printer cond-move ())
1979   (:emitter
1980    (aver (register-p dst))
1981    (let ((size (matching-operand-size dst src)))
1982      (aver (or (eq size :word) (eq size :dword)))
1983      (maybe-emit-operand-size-prefix segment size))
1984    (emit-byte segment #b00001111)
1985    (emit-byte segment (dpb (conditional-opcode cond) (byte 4 0) #b01000000))
1986    (emit-ea segment src (reg-tn-encoding dst))))
1987
1988 ;;;; conditional byte set
1989
1990 (define-instruction set (segment dst cond)
1991   (:printer cond-set ())
1992   (:emitter
1993    (emit-byte segment #b00001111)
1994    (emit-byte segment (dpb (conditional-opcode cond) (byte 4 0) #b10010000))
1995    (emit-ea segment dst #b000)))
1996 \f
1997 ;;;; enter/leave
1998
1999 (define-instruction enter (segment disp &optional (level 0))
2000   (:declare (type (unsigned-byte 16) disp)
2001             (type (unsigned-byte 8) level))
2002   (:printer enter-format ((op #b11001000)))
2003   (:emitter
2004    (emit-byte segment #b11001000)
2005    (emit-word segment disp)
2006    (emit-byte segment level)))
2007
2008 (define-instruction leave (segment)
2009   (:printer byte ((op #b11001001)))
2010   (:emitter
2011    (emit-byte segment #b11001001)))
2012 \f
2013 ;;;; prefetch
2014 (define-instruction prefetchnta (segment ea)
2015   (:printer prefetch ((op #b00011000) (reg #b000)))
2016   (:emitter
2017    (aver (typep ea 'ea))
2018    (aver (eq :byte (ea-size ea)))
2019    (emit-byte segment #b00001111)
2020    (emit-byte segment #b00011000)
2021    (emit-ea segment ea #b000)))
2022
2023 (define-instruction prefetcht0 (segment ea)
2024   (:printer prefetch ((op #b00011000) (reg #b001)))
2025   (:emitter
2026    (aver (typep ea 'ea))
2027    (aver (eq :byte (ea-size ea)))
2028    (emit-byte segment #b00001111)
2029    (emit-byte segment #b00011000)
2030    (emit-ea segment ea #b001)))
2031
2032 (define-instruction prefetcht1 (segment ea)
2033   (:printer prefetch ((op #b00011000) (reg #b010)))
2034   (:emitter
2035    (aver (typep ea 'ea))
2036    (aver (eq :byte (ea-size ea)))
2037    (emit-byte segment #b00001111)
2038    (emit-byte segment #b00011000)
2039    (emit-ea segment ea #b010)))
2040
2041 (define-instruction prefetcht2 (segment ea)
2042   (:printer prefetch ((op #b00011000) (reg #b011)))
2043   (:emitter
2044    (aver (typep ea 'ea))
2045    (aver (eq :byte (ea-size ea)))
2046    (emit-byte segment #b00001111)
2047    (emit-byte segment #b00011000)
2048    (emit-ea segment ea #b011)))
2049 \f
2050 ;;;; interrupt instructions
2051
2052 (defun snarf-error-junk (sap offset &optional length-only)
2053   (let* ((length (sb!sys:sap-ref-8 sap offset))
2054          (vector (make-array length :element-type '(unsigned-byte 8))))
2055     (declare (type sb!sys:system-area-pointer sap)
2056              (type (unsigned-byte 8) length)
2057              (type (simple-array (unsigned-byte 8) (*)) vector))
2058     (cond (length-only
2059            (values 0 (1+ length) nil nil))
2060           (t
2061            (sb!kernel:copy-ub8-from-system-area sap (1+ offset)
2062                                                 vector 0 length)
2063            (collect ((sc-offsets)
2064                      (lengths))
2065              (lengths 1)                ; the length byte
2066              (let* ((index 0)
2067                     (error-number (sb!c:read-var-integer vector index)))
2068                (lengths index)
2069                (loop
2070                  (when (>= index length)
2071                    (return))
2072                  (let ((old-index index))
2073                    (sc-offsets (sb!c:read-var-integer vector index))
2074                    (lengths (- index old-index))))
2075                (values error-number
2076                        (1+ length)
2077                        (sc-offsets)
2078                        (lengths))))))))
2079
2080 #|
2081 (defmacro break-cases (breaknum &body cases)
2082   (let ((bn-temp (gensym)))
2083     (collect ((clauses))
2084       (dolist (case cases)
2085         (clauses `((= ,bn-temp ,(car case)) ,@(cdr case))))
2086       `(let ((,bn-temp ,breaknum))
2087          (cond ,@(clauses))))))
2088 |#
2089
2090 (defun break-control (chunk inst stream dstate)
2091   (declare (ignore inst))
2092   (flet ((nt (x) (if stream (sb!disassem:note x dstate))))
2093     ;; FIXME: Make sure that BYTE-IMM-CODE is defined. The genesis
2094     ;; map has it undefined; and it should be easier to look in the target
2095     ;; Lisp (with (DESCRIBE 'BYTE-IMM-CODE)) than to definitively deduce
2096     ;; from first principles whether it's defined in some way that genesis
2097     ;; can't grok.
2098     (case #!-ud2-breakpoints (byte-imm-code chunk dstate)
2099           #!+ud2-breakpoints (word-imm-code chunk dstate)
2100       (#.error-trap
2101        (nt "error trap")
2102        (sb!disassem:handle-break-args #'snarf-error-junk stream dstate))
2103       (#.cerror-trap
2104        (nt "cerror trap")
2105        (sb!disassem:handle-break-args #'snarf-error-junk stream dstate))
2106       (#.breakpoint-trap
2107        (nt "breakpoint trap"))
2108       (#.pending-interrupt-trap
2109        (nt "pending interrupt trap"))
2110       (#.halt-trap
2111        (nt "halt trap"))
2112       (#.fun-end-breakpoint-trap
2113        (nt "function end breakpoint trap")))))
2114
2115 (define-instruction break (segment code)
2116   (:declare (type (unsigned-byte 8) code))
2117   #!-ud2-breakpoints (:printer byte-imm ((op #b11001100)) '(:name :tab code)
2118                                :control #'break-control)
2119   #!+ud2-breakpoints (:printer word-imm ((op #b0000101100001111)) '(:name :tab code)
2120                                :control #'break-control)
2121   (:emitter
2122    #!-ud2-breakpoints (emit-byte segment #b11001100)
2123    ;; On darwin, trap handling via SIGTRAP is unreliable, therefore we
2124    ;; throw a sigill with 0x0b0f instead and check for this in the
2125    ;; SIGILL handler and pass it on to the sigtrap handler if
2126    ;; appropriate
2127    #!+ud2-breakpoints (emit-word segment #b0000101100001111)
2128    (emit-byte segment code)))
2129
2130 (define-instruction int (segment number)
2131   (:declare (type (unsigned-byte 8) number))
2132   (:printer byte-imm ((op #b11001101)))
2133   (:emitter
2134    (etypecase number
2135      ((member 3)
2136       (emit-byte segment #b11001100))
2137      ((unsigned-byte 8)
2138       (emit-byte segment #b11001101)
2139       (emit-byte segment number)))))
2140
2141 (define-instruction into (segment)
2142   (:printer byte ((op #b11001110)))
2143   (:emitter
2144    (emit-byte segment #b11001110)))
2145
2146 (define-instruction bound (segment reg bounds)
2147   (:emitter
2148    (let ((size (matching-operand-size reg bounds)))
2149      (when (eq size :byte)
2150        (error "can't bounds-test bytes: ~S" reg))
2151      (maybe-emit-operand-size-prefix segment size)
2152      (emit-byte segment #b01100010)
2153      (emit-ea segment bounds (reg-tn-encoding reg)))))
2154
2155 (define-instruction iret (segment)
2156   (:printer byte ((op #b11001111)))
2157   (:emitter
2158    (emit-byte segment #b11001111)))
2159 \f
2160 ;;;; processor control
2161
2162 (define-instruction hlt (segment)
2163   (:printer byte ((op #b11110100)))
2164   (:emitter
2165    (emit-byte segment #b11110100)))
2166
2167 (define-instruction nop (segment)
2168   (:printer byte ((op #b10010000)))
2169   (:emitter
2170    (emit-byte segment #b10010000)))
2171
2172 (define-instruction wait (segment)
2173   (:printer byte ((op #b10011011)))
2174   (:emitter
2175    (emit-byte segment #b10011011)))
2176 \f
2177 ;;;; miscellaneous hackery
2178
2179 (define-instruction byte (segment byte)
2180   (:emitter
2181    (emit-byte segment byte)))
2182
2183 (define-instruction word (segment word)
2184   (:emitter
2185    (emit-word segment word)))
2186
2187 (define-instruction dword (segment dword)
2188   (:emitter
2189    (emit-dword segment dword)))
2190
2191 (defun emit-header-data (segment type)
2192   (emit-back-patch segment
2193                    4
2194                    (lambda (segment posn)
2195                      (emit-dword segment
2196                                  (logior type
2197                                          (ash (+ posn
2198                                                  (component-header-length))
2199                                               (- n-widetag-bits
2200                                                  word-shift)))))))
2201
2202 (define-instruction simple-fun-header-word (segment)
2203   (:emitter
2204    (emit-header-data segment simple-fun-header-widetag)))
2205
2206 (define-instruction lra-header-word (segment)
2207   (:emitter
2208    (emit-header-data segment return-pc-header-widetag)))
2209 \f
2210 ;;;; fp instructions
2211 ;;;;
2212 ;;;; FIXME: This section said "added by jrd", which should end up in CREDITS.
2213 ;;;;
2214 ;;;; Note: We treat the single-precision and double-precision variants
2215 ;;;; as separate instructions.
2216
2217 ;;; Load single to st(0).
2218 (define-instruction fld (segment source)
2219   (:printer floating-point ((op '(#b001 #b000))))
2220   (:emitter
2221     (emit-byte segment #b11011001)
2222     (emit-fp-op segment source #b000)))
2223
2224 ;;; Load double to st(0).
2225 (define-instruction fldd (segment source)
2226   (:printer floating-point ((op '(#b101 #b000))))
2227   (:printer floating-point-fp ((op '(#b001 #b000))))
2228   (:emitter
2229    (if (fp-reg-tn-p source)
2230        (emit-byte segment #b11011001)
2231      (emit-byte segment #b11011101))
2232     (emit-fp-op segment source #b000)))
2233
2234 ;;; Load long to st(0).
2235 (define-instruction fldl (segment source)
2236   (:printer floating-point ((op '(#b011 #b101))))
2237   (:emitter
2238     (emit-byte segment #b11011011)
2239     (emit-fp-op segment source #b101)))
2240
2241 ;;; Store single from st(0).
2242 (define-instruction fst (segment dest)
2243   (:printer floating-point ((op '(#b001 #b010))))
2244   (:emitter
2245     (cond ((fp-reg-tn-p dest)
2246            (emit-byte segment #b11011101)
2247            (emit-fp-op segment dest #b010))
2248           (t
2249            (emit-byte segment #b11011001)
2250            (emit-fp-op segment dest #b010)))))
2251
2252 ;;; Store double from st(0).
2253 (define-instruction fstd (segment dest)
2254   (:printer floating-point ((op '(#b101 #b010))))
2255   (:printer floating-point-fp ((op '(#b101 #b010))))
2256   (:emitter
2257    (cond ((fp-reg-tn-p dest)
2258           (emit-byte segment #b11011101)
2259           (emit-fp-op segment dest #b010))
2260          (t
2261           (emit-byte segment #b11011101)
2262           (emit-fp-op segment dest #b010)))))
2263
2264 ;;; Arithmetic ops are all done with at least one operand at top of
2265 ;;; stack. The other operand is is another register or a 32/64 bit
2266 ;;; memory loc.
2267
2268 ;;; dtc: I've tried to follow the Intel ASM386 conventions, but note
2269 ;;; that these conflict with the Gdb conventions for binops. To reduce
2270 ;;; the confusion I've added comments showing the mathamatical
2271 ;;; operation and the two syntaxes. By the ASM386 convention the
2272 ;;; instruction syntax is:
2273 ;;;
2274 ;;;      Fop Source
2275 ;;; or   Fop Destination, Source
2276 ;;;
2277 ;;; If only one operand is given then it is the source and the
2278 ;;; destination is ST(0). There are reversed forms of the fsub and
2279 ;;; fdiv instructions inducated by an 'R' suffix.
2280 ;;;
2281 ;;; The mathematical operation for the non-reverse form is always:
2282 ;;;     destination = destination op source
2283 ;;;
2284 ;;; For the reversed form it is:
2285 ;;;     destination = source op destination
2286 ;;;
2287 ;;; The instructions below only accept one operand at present which is
2288 ;;; usually the source. I've hack in extra instructions to implement
2289 ;;; the fops with a ST(i) destination, these have a -sti suffix and
2290 ;;; the operand is the destination with the source being ST(0).
2291
2292 ;;; Add single:
2293 ;;;   st(0) = st(0) + memory or st(i).
2294 (define-instruction fadd (segment source)
2295   (:printer floating-point ((op '(#b000 #b000))))
2296   (:emitter
2297     (emit-byte segment #b11011000)
2298     (emit-fp-op segment source #b000)))
2299
2300 ;;; Add double:
2301 ;;;   st(0) = st(0) + memory or st(i).
2302 (define-instruction faddd (segment source)
2303   (:printer floating-point ((op '(#b100 #b000))))
2304   (:printer floating-point-fp ((op '(#b000 #b000))))
2305   (:emitter
2306    (if (fp-reg-tn-p source)
2307        (emit-byte segment #b11011000)
2308      (emit-byte segment #b11011100))
2309    (emit-fp-op segment source #b000)))
2310
2311 ;;; Add double destination st(i):
2312 ;;;   st(i) = st(0) + st(i).
2313 (define-instruction fadd-sti (segment destination)
2314   (:printer floating-point-fp ((op '(#b100 #b000))))
2315   (:emitter
2316    (aver (fp-reg-tn-p destination))
2317    (emit-byte segment #b11011100)
2318    (emit-fp-op segment destination #b000)))
2319 ;;; with pop
2320 (define-instruction faddp-sti (segment destination)
2321   (:printer floating-point-fp ((op '(#b110 #b000))))
2322   (:emitter
2323    (aver (fp-reg-tn-p destination))
2324    (emit-byte segment #b11011110)
2325    (emit-fp-op segment destination #b000)))
2326
2327 ;;; Subtract single:
2328 ;;;   st(0) = st(0) - memory or st(i).
2329 (define-instruction fsub (segment source)
2330   (:printer floating-point ((op '(#b000 #b100))))
2331   (:emitter
2332     (emit-byte segment #b11011000)
2333     (emit-fp-op segment source #b100)))
2334
2335 ;;; Subtract single, reverse:
2336 ;;;   st(0) = memory or st(i) - st(0).
2337 (define-instruction fsubr (segment source)
2338   (:printer floating-point ((op '(#b000 #b101))))
2339   (:emitter
2340     (emit-byte segment #b11011000)
2341     (emit-fp-op segment source #b101)))
2342
2343 ;;; Subtract double:
2344 ;;;   st(0) = st(0) - memory or st(i).
2345 (define-instruction fsubd (segment source)
2346   (:printer floating-point ((op '(#b100 #b100))))
2347   (:printer floating-point-fp ((op '(#b000 #b100))))
2348   (:emitter
2349    (if (fp-reg-tn-p source)
2350        (emit-byte segment #b11011000)
2351      (emit-byte segment #b11011100))
2352    (emit-fp-op segment source #b100)))
2353
2354 ;;; Subtract double, reverse:
2355 ;;;   st(0) = memory or st(i) - st(0).
2356 (define-instruction fsubrd (segment source)
2357   (:printer floating-point ((op '(#b100 #b101))))
2358   (:printer floating-point-fp ((op '(#b000 #b101))))
2359   (:emitter
2360    (if (fp-reg-tn-p source)
2361        (emit-byte segment #b11011000)
2362      (emit-byte segment #b11011100))
2363    (emit-fp-op segment source #b101)))
2364
2365 ;;; Subtract double, destination st(i):
2366 ;;;   st(i) = st(i) - st(0).
2367 ;;;
2368 ;;; ASM386 syntax: FSUB ST(i), ST
2369 ;;; Gdb    syntax: fsubr %st,%st(i)
2370 (define-instruction fsub-sti (segment destination)
2371   (:printer floating-point-fp ((op '(#b100 #b101))))
2372   (:emitter
2373    (aver (fp-reg-tn-p destination))
2374    (emit-byte segment #b11011100)
2375    (emit-fp-op segment destination #b101)))
2376 ;;; with a pop
2377 (define-instruction fsubp-sti (segment destination)
2378   (:printer floating-point-fp ((op '(#b110 #b101))))
2379   (:emitter
2380    (aver (fp-reg-tn-p destination))
2381    (emit-byte segment #b11011110)
2382    (emit-fp-op segment destination #b101)))
2383
2384 ;;; Subtract double, reverse, destination st(i):
2385 ;;;   st(i) = st(0) - st(i).
2386 ;;;
2387 ;;; ASM386 syntax: FSUBR ST(i), ST
2388 ;;; Gdb    syntax: fsub %st,%st(i)
2389 (define-instruction fsubr-sti (segment destination)
2390   (:printer floating-point-fp ((op '(#b100 #b100))))
2391   (:emitter
2392    (aver (fp-reg-tn-p destination))
2393    (emit-byte segment #b11011100)
2394    (emit-fp-op segment destination #b100)))
2395 ;;; with a pop
2396 (define-instruction fsubrp-sti (segment destination)
2397   (:printer floating-point-fp ((op '(#b110 #b100))))
2398   (:emitter
2399    (aver (fp-reg-tn-p destination))
2400    (emit-byte segment #b11011110)
2401    (emit-fp-op segment destination #b100)))
2402
2403 ;;; Multiply single:
2404 ;;;   st(0) = st(0) * memory or st(i).
2405 (define-instruction fmul (segment source)
2406   (:printer floating-point ((op '(#b000 #b001))))
2407   (:emitter
2408     (emit-byte segment #b11011000)
2409     (emit-fp-op segment source #b001)))
2410
2411 ;;; Multiply double:
2412 ;;;   st(0) = st(0) * memory or st(i).
2413 (define-instruction fmuld (segment source)
2414   (:printer floating-point ((op '(#b100 #b001))))
2415   (:printer floating-point-fp ((op '(#b000 #b001))))
2416   (:emitter
2417    (if (fp-reg-tn-p source)
2418        (emit-byte segment #b11011000)
2419      (emit-byte segment #b11011100))
2420    (emit-fp-op segment source #b001)))
2421
2422 ;;; Multiply double, destination st(i):
2423 ;;;   st(i) = st(i) * st(0).
2424 (define-instruction fmul-sti (segment destination)
2425   (:printer floating-point-fp ((op '(#b100 #b001))))
2426   (:emitter
2427    (aver (fp-reg-tn-p destination))
2428    (emit-byte segment #b11011100)
2429    (emit-fp-op segment destination #b001)))
2430
2431 ;;; Divide single:
2432 ;;;   st(0) = st(0) / memory or st(i).
2433 (define-instruction fdiv (segment source)
2434   (:printer floating-point ((op '(#b000 #b110))))
2435   (:emitter
2436     (emit-byte segment #b11011000)
2437     (emit-fp-op segment source #b110)))
2438
2439 ;;; Divide single, reverse:
2440 ;;;   st(0) = memory or st(i) / st(0).
2441 (define-instruction fdivr (segment source)
2442   (:printer floating-point ((op '(#b000 #b111))))
2443   (:emitter
2444     (emit-byte segment #b11011000)
2445     (emit-fp-op segment source #b111)))
2446
2447 ;;; Divide double:
2448 ;;;   st(0) = st(0) / memory or st(i).
2449 (define-instruction fdivd (segment source)
2450   (:printer floating-point ((op '(#b100 #b110))))
2451   (:printer floating-point-fp ((op '(#b000 #b110))))
2452   (:emitter
2453    (if (fp-reg-tn-p source)
2454        (emit-byte segment #b11011000)
2455      (emit-byte segment #b11011100))
2456    (emit-fp-op segment source #b110)))
2457
2458 ;;; Divide double, reverse:
2459 ;;;   st(0) = memory or st(i) / st(0).
2460 (define-instruction fdivrd (segment source)
2461   (:printer floating-point ((op '(#b100 #b111))))
2462   (:printer floating-point-fp ((op '(#b000 #b111))))
2463   (:emitter
2464    (if (fp-reg-tn-p source)
2465        (emit-byte segment #b11011000)
2466      (emit-byte segment #b11011100))
2467    (emit-fp-op segment source #b111)))
2468
2469 ;;; Divide double, destination st(i):
2470 ;;;   st(i) = st(i) / st(0).
2471 ;;;
2472 ;;; ASM386 syntax: FDIV ST(i), ST
2473 ;;; Gdb    syntax: fdivr %st,%st(i)
2474 (define-instruction fdiv-sti (segment destination)
2475   (:printer floating-point-fp ((op '(#b100 #b111))))
2476   (:emitter
2477    (aver (fp-reg-tn-p destination))
2478    (emit-byte segment #b11011100)
2479    (emit-fp-op segment destination #b111)))
2480
2481 ;;; Divide double, reverse, destination st(i):
2482 ;;;   st(i) = st(0) / st(i).
2483 ;;;
2484 ;;; ASM386 syntax: FDIVR ST(i), ST
2485 ;;; Gdb    syntax: fdiv %st,%st(i)
2486 (define-instruction fdivr-sti (segment destination)
2487   (:printer floating-point-fp ((op '(#b100 #b110))))
2488   (:emitter
2489    (aver (fp-reg-tn-p destination))
2490    (emit-byte segment #b11011100)
2491    (emit-fp-op segment destination #b110)))
2492
2493 ;;; Exchange fr0 with fr(n). (There is no double precision variant.)
2494 (define-instruction fxch (segment source)
2495   (:printer floating-point-fp ((op '(#b001 #b001))))
2496   (:emitter
2497     (aver (and (tn-p source)
2498                (eq (sb-name (sc-sb (tn-sc source))) 'float-registers)))
2499     (emit-byte segment #b11011001)
2500     (emit-fp-op segment source #b001)))
2501
2502 ;;; Push 32-bit integer to st0.
2503 (define-instruction fild (segment source)
2504   (:printer floating-point ((op '(#b011 #b000))))
2505   (:emitter
2506    (emit-byte segment #b11011011)
2507    (emit-fp-op segment source #b000)))
2508
2509 ;;; Push 64-bit integer to st0.
2510 (define-instruction fildl (segment source)
2511   (:printer floating-point ((op '(#b111 #b101))))
2512   (:emitter
2513    (emit-byte segment #b11011111)
2514    (emit-fp-op segment source #b101)))
2515
2516 ;;; Store 32-bit integer.
2517 (define-instruction fist (segment dest)
2518   (:printer floating-point ((op '(#b011 #b010))))
2519   (:emitter
2520    (emit-byte segment #b11011011)
2521    (emit-fp-op segment dest #b010)))
2522
2523 ;;; Store and pop 32-bit integer.
2524 (define-instruction fistp (segment dest)
2525   (:printer floating-point ((op '(#b011 #b011))))
2526   (:emitter
2527    (emit-byte segment #b11011011)
2528    (emit-fp-op segment dest #b011)))
2529
2530 ;;; Store and pop 64-bit integer.
2531 (define-instruction fistpl (segment dest)
2532   (:printer floating-point ((op '(#b111 #b111))))
2533   (:emitter
2534    (emit-byte segment #b11011111)
2535    (emit-fp-op segment dest #b111)))
2536
2537 ;;; Store single from st(0) and pop.
2538 (define-instruction fstp (segment dest)
2539   (:printer floating-point ((op '(#b001 #b011))))
2540   (:emitter
2541    (cond ((fp-reg-tn-p dest)
2542           (emit-byte segment #b11011101)
2543           (emit-fp-op segment dest #b011))
2544          (t
2545           (emit-byte segment #b11011001)
2546           (emit-fp-op segment dest #b011)))))
2547
2548 ;;; Store double from st(0) and pop.
2549 (define-instruction fstpd (segment dest)
2550   (:printer floating-point ((op '(#b101 #b011))))
2551   (:printer floating-point-fp ((op '(#b101 #b011))))
2552   (:emitter
2553    (cond ((fp-reg-tn-p dest)
2554           (emit-byte segment #b11011101)
2555           (emit-fp-op segment dest #b011))
2556          (t
2557           (emit-byte segment #b11011101)
2558           (emit-fp-op segment dest #b011)))))
2559
2560 ;;; Store long from st(0) and pop.
2561 (define-instruction fstpl (segment dest)
2562   (:printer floating-point ((op '(#b011 #b111))))
2563   (:emitter
2564     (emit-byte segment #b11011011)
2565     (emit-fp-op segment dest #b111)))
2566
2567 ;;; Decrement stack-top pointer.
2568 (define-instruction fdecstp (segment)
2569   (:printer floating-point-no ((op #b10110)))
2570   (:emitter
2571    (emit-byte segment #b11011001)
2572    (emit-byte segment #b11110110)))
2573
2574 ;;; Increment stack-top pointer.
2575 (define-instruction fincstp (segment)
2576   (:printer floating-point-no ((op #b10111)))
2577   (:emitter
2578    (emit-byte segment #b11011001)
2579    (emit-byte segment #b11110111)))
2580
2581 ;;; Free fp register.
2582 (define-instruction ffree (segment dest)
2583   (:printer floating-point-fp ((op '(#b101 #b000))))
2584   (:emitter
2585    (emit-byte segment #b11011101)
2586    (emit-fp-op segment dest #b000)))
2587
2588 (define-instruction fabs (segment)
2589   (:printer floating-point-no ((op #b00001)))
2590   (:emitter
2591    (emit-byte segment #b11011001)
2592    (emit-byte segment #b11100001)))
2593
2594 (define-instruction fchs (segment)
2595   (:printer floating-point-no ((op #b00000)))
2596   (:emitter
2597    (emit-byte segment #b11011001)
2598    (emit-byte segment #b11100000)))
2599
2600 (define-instruction frndint(segment)
2601   (:printer floating-point-no ((op #b11100)))
2602   (:emitter
2603    (emit-byte segment #b11011001)
2604    (emit-byte segment #b11111100)))
2605
2606 ;;; Initialize NPX.
2607 (define-instruction fninit(segment)
2608   (:printer floating-point-5 ((op #b00011)))
2609   (:emitter
2610    (emit-byte segment #b11011011)
2611    (emit-byte segment #b11100011)))
2612
2613 ;;; Store Status Word to AX.
2614 (define-instruction fnstsw(segment)
2615   (:printer floating-point-st ((op #b00000)))
2616   (:emitter
2617    (emit-byte segment #b11011111)
2618    (emit-byte segment #b11100000)))
2619
2620 ;;; Load Control Word.
2621 ;;;
2622 ;;; src must be a memory location
2623 (define-instruction fldcw(segment src)
2624   (:printer floating-point ((op '(#b001 #b101))))
2625   (:emitter
2626    (emit-byte segment #b11011001)
2627    (emit-fp-op segment src #b101)))
2628
2629 ;;; Store Control Word.
2630 (define-instruction fnstcw(segment dst)
2631   (:printer floating-point ((op '(#b001 #b111))))
2632   (:emitter
2633    (emit-byte segment #b11011001)
2634    (emit-fp-op segment dst #b111)))
2635
2636 ;;; Store FP Environment.
2637 (define-instruction fstenv(segment dst)
2638   (:printer floating-point ((op '(#b001 #b110))))
2639   (:emitter
2640    (emit-byte segment #b11011001)
2641    (emit-fp-op segment dst #b110)))
2642
2643 ;;; Restore FP Environment.
2644 (define-instruction fldenv(segment src)
2645   (:printer floating-point ((op '(#b001 #b100))))
2646   (:emitter
2647    (emit-byte segment #b11011001)
2648    (emit-fp-op segment src #b100)))
2649
2650 ;;; Save FP State.
2651 (define-instruction fsave(segment dst)
2652   (:printer floating-point ((op '(#b101 #b110))))
2653   (:emitter
2654    (emit-byte segment #b11011101)
2655    (emit-fp-op segment dst #b110)))
2656
2657 ;;; Restore FP State.
2658 (define-instruction frstor(segment src)
2659   (:printer floating-point ((op '(#b101 #b100))))
2660   (:emitter
2661    (emit-byte segment #b11011101)
2662    (emit-fp-op segment src #b100)))
2663
2664 ;;; Clear exceptions.
2665 (define-instruction fnclex(segment)
2666   (:printer floating-point-5 ((op #b00010)))
2667   (:emitter
2668    (emit-byte segment #b11011011)
2669    (emit-byte segment #b11100010)))
2670
2671 ;;; comparison
2672 (define-instruction fcom (segment src)
2673   (:printer floating-point ((op '(#b000 #b010))))
2674   (:emitter
2675    (emit-byte segment #b11011000)
2676    (emit-fp-op segment src #b010)))
2677
2678 (define-instruction fcomd (segment src)
2679   (:printer floating-point ((op '(#b100 #b010))))
2680   (:printer floating-point-fp ((op '(#b000 #b010))))
2681   (:emitter
2682    (if (fp-reg-tn-p src)
2683        (emit-byte segment #b11011000)
2684      (emit-byte segment #b11011100))
2685    (emit-fp-op segment src #b010)))
2686
2687 ;;; Compare ST1 to ST0, popping the stack twice.
2688 (define-instruction fcompp (segment)
2689   (:printer floating-point-3 ((op '(#b110 #b011001))))
2690   (:emitter
2691    (emit-byte segment #b11011110)
2692    (emit-byte segment #b11011001)))
2693
2694 ;;; unordered comparison
2695 (define-instruction fucom (segment src)
2696   (:printer floating-point-fp ((op '(#b101 #b100))))
2697   (:emitter
2698    (aver (fp-reg-tn-p src))
2699    (emit-byte segment #b11011101)
2700    (emit-fp-op segment src #b100)))
2701
2702 (define-instruction ftst (segment)
2703   (:printer floating-point-no ((op #b00100)))
2704   (:emitter
2705    (emit-byte segment #b11011001)
2706    (emit-byte segment #b11100100)))
2707
2708 ;;;; 80387 specials
2709
2710 (define-instruction fsqrt(segment)
2711   (:printer floating-point-no ((op #b11010)))
2712   (:emitter
2713    (emit-byte segment #b11011001)
2714    (emit-byte segment #b11111010)))
2715
2716 (define-instruction fscale(segment)
2717   (:printer floating-point-no ((op #b11101)))
2718   (:emitter
2719    (emit-byte segment #b11011001)
2720    (emit-byte segment #b11111101)))
2721
2722 (define-instruction fxtract(segment)
2723   (:printer floating-point-no ((op #b10100)))
2724   (:emitter
2725    (emit-byte segment #b11011001)
2726    (emit-byte segment #b11110100)))
2727
2728 (define-instruction fsin(segment)
2729   (:printer floating-point-no ((op #b11110)))
2730   (:emitter
2731    (emit-byte segment #b11011001)
2732    (emit-byte segment #b11111110)))
2733
2734 (define-instruction fcos(segment)
2735   (:printer floating-point-no ((op #b11111)))
2736   (:emitter
2737    (emit-byte segment #b11011001)
2738    (emit-byte segment #b11111111)))
2739
2740 (define-instruction fprem1(segment)
2741   (:printer floating-point-no ((op #b10101)))
2742   (:emitter
2743    (emit-byte segment #b11011001)
2744    (emit-byte segment #b11110101)))
2745
2746 (define-instruction fprem(segment)
2747   (:printer floating-point-no ((op #b11000)))
2748   (:emitter
2749    (emit-byte segment #b11011001)
2750    (emit-byte segment #b11111000)))
2751
2752 (define-instruction fxam (segment)
2753   (:printer floating-point-no ((op #b00101)))
2754   (:emitter
2755    (emit-byte segment #b11011001)
2756    (emit-byte segment #b11100101)))
2757
2758 ;;; These do push/pop to stack and need special handling
2759 ;;; in any VOPs that use them. See the book.
2760
2761 ;;; st0 <- st1*log2(st0)
2762 (define-instruction fyl2x(segment)      ; pops stack
2763   (:printer floating-point-no ((op #b10001)))
2764   (:emitter
2765    (emit-byte segment #b11011001)
2766    (emit-byte segment #b11110001)))
2767
2768 (define-instruction fyl2xp1(segment)
2769   (:printer floating-point-no ((op #b11001)))
2770   (:emitter
2771    (emit-byte segment #b11011001)
2772    (emit-byte segment #b11111001)))
2773
2774 (define-instruction f2xm1(segment)
2775   (:printer floating-point-no ((op #b10000)))
2776   (:emitter
2777    (emit-byte segment #b11011001)
2778    (emit-byte segment #b11110000)))
2779
2780 (define-instruction fptan(segment)      ; st(0) <- 1; st(1) <- tan
2781   (:printer floating-point-no ((op #b10010)))
2782   (:emitter
2783    (emit-byte segment #b11011001)
2784    (emit-byte segment #b11110010)))
2785
2786 (define-instruction fpatan(segment)     ; POPS STACK
2787   (:printer floating-point-no ((op #b10011)))
2788   (:emitter
2789    (emit-byte segment #b11011001)
2790    (emit-byte segment #b11110011)))
2791
2792 ;;;; loading constants
2793
2794 (define-instruction fldz(segment)
2795   (:printer floating-point-no ((op #b01110)))
2796   (:emitter
2797    (emit-byte segment #b11011001)
2798    (emit-byte segment #b11101110)))
2799
2800 (define-instruction fld1(segment)
2801   (:printer floating-point-no ((op #b01000)))
2802   (:emitter
2803    (emit-byte segment #b11011001)
2804    (emit-byte segment #b11101000)))
2805
2806 (define-instruction fldpi(segment)
2807   (:printer floating-point-no ((op #b01011)))
2808   (:emitter
2809    (emit-byte segment #b11011001)
2810    (emit-byte segment #b11101011)))
2811
2812 (define-instruction fldl2t(segment)
2813   (:printer floating-point-no ((op #b01001)))
2814   (:emitter
2815    (emit-byte segment #b11011001)
2816    (emit-byte segment #b11101001)))
2817
2818 (define-instruction fldl2e(segment)
2819   (:printer floating-point-no ((op #b01010)))
2820   (:emitter
2821    (emit-byte segment #b11011001)
2822    (emit-byte segment #b11101010)))
2823
2824 (define-instruction fldlg2(segment)
2825   (:printer floating-point-no ((op #b01100)))
2826   (:emitter
2827    (emit-byte segment #b11011001)
2828    (emit-byte segment #b11101100)))
2829
2830 (define-instruction fldln2(segment)
2831   (:printer floating-point-no ((op #b01101)))
2832   (:emitter
2833    (emit-byte segment #b11011001)
2834    (emit-byte segment #b11101101)))
2835
2836 ;;;; Miscellany
2837
2838 (define-instruction cpuid (segment)
2839   (:printer two-bytes ((op '(#b00001111 #b10100010))))
2840   (:emitter
2841    (emit-byte segment #b00001111)
2842    (emit-byte segment #b10100010)))
2843
2844 (define-instruction rdtsc (segment)
2845   (:printer two-bytes ((op '(#b00001111 #b00110001))))
2846   (:emitter
2847    (emit-byte segment #b00001111)
2848    (emit-byte segment #b00110001)))
2849
2850 ;;;; Late VM definitions
2851 (defun canonicalize-inline-constant (constant)
2852   (let ((first (car constant)))
2853     (typecase first
2854       (single-float (setf constant (list :single-float first)))
2855       (double-float (setf constant (list :double-float first)))))
2856   (destructuring-bind (type value) constant
2857     (ecase type
2858       ((:byte :word :dword)
2859          (aver (integerp value))
2860          (cons type value))
2861       ((:base-char)
2862          (aver (base-char-p value))
2863          (cons :byte (char-code value)))
2864       ((:character)
2865          (aver (characterp value))
2866          (cons :dword (char-code value)))
2867       ((:single-float)
2868          (aver (typep value 'single-float))
2869          (cons :dword (ldb (byte 32 0) (single-float-bits value))))
2870       ((:double-float-bits)
2871          (aver (integerp value))
2872          (cons :double-float (ldb (byte 64 0) value)))
2873       ((:double-float)
2874          (aver (typep value 'double-float))
2875          (cons :double-float
2876                (ldb (byte 64 0) (logior (ash (double-float-high-bits value) 32)
2877                                         (double-float-low-bits value))))))))
2878
2879 (defun inline-constant-value (constant)
2880   (let ((label (gen-label))
2881         (size  (ecase (car constant)
2882                  ((:byte :word :dword) (car constant))
2883                  (:double-float :dword))))
2884     (values label (make-ea size
2885                            :disp (make-fixup nil :code-object label)))))
2886
2887 (defun emit-constant-segment-header (segment constants optimize)
2888   (declare (ignore segment constants))
2889   (loop repeat (if optimize 64 16) do (inst byte #x90)))
2890
2891 (defun size-nbyte (size)
2892   (ecase size
2893     (:byte  1)
2894     (:word  2)
2895     (:dword 4)
2896     (:double-float 8)))
2897
2898 (defun sort-inline-constants (constants)
2899   (stable-sort constants #'> :key (lambda (constant)
2900                                     (size-nbyte (caar constant)))))
2901
2902 (defun emit-inline-constant (constant label)
2903   (let ((size (size-nbyte (car constant))))
2904     (emit-alignment (integer-length (1- size)))
2905     (emit-label label)
2906     (let ((val (cdr constant)))
2907       (loop repeat size
2908             do (inst byte (ldb (byte 8 0) val))
2909                (setf val (ash val -8))))))