src/runtime/x86-assem.S

   1 /*
   2  * very-low-level utilities for runtime support
   3  */
   4
   5 /*
   6  * This software is part of the SBCL system. See the README file for
   7  * more information.
   8  *
   9  * This software is derived from the CMU CL system, which was
  10  * written at Carnegie Mellon University and released into the
  11  * public domain. The software is in the public domain and is
  12  * provided with absolutely no warranty. See the COPYING and CREDITS
  13  * files for more information.
  14  */
  15 \f
  16 #define LANGUAGE_ASSEMBLY
  17 #include "sbcl.h"
  18 #include "validate.h"
  19 #include "genesis/closure.h"
  20 #include "genesis/funcallable-instance.h"
  21 #include "genesis/fdefn.h"
  22 #include "genesis/static-symbols.h"
  23 #include "genesis/symbol.h"
  24 #include "genesis/thread.h"
  25
  26 /* Minimize conditionalization for different OS naming schemes.
  27  *
  28  * (As of sbcl-0.8.10, this seems no longer to be much of an issue,
  29  * since everyone has converged on ELF. If this generality really
  30  * turns out not to matter, perhaps it's just clutter we could get
  31  * rid of? -- WHN 2004-04-18)
  32  *
  33  * (Except Win32, which is unlikely ever to be ELF, sorry. -- AB 2005-12-08)
  34  */
  35 #if defined __linux__  || defined __FreeBSD__ || defined __NetBSD__ || defined __OpenBSD__ || defined __sun
  36 #define GNAME(var) var
  37 #else
  38 #define GNAME(var) _##var
  39 #endif
  40
  41 /* Get the right type of alignment. Linux, FreeBSD and NetBSD (but not OpenBSD)
  42  * want alignment in bytes.
  43  *
  44  * (As in the GNAME() definitions above, as of sbcl-0.8.10, this seems
  45  * no longer to be much of an issue, since everyone has converged on
  46  * the same value. If this generality really turns out not to
  47  * matter any more, perhaps it's just clutter we could get
  48  * rid of? -- WHN 2004-04-18)
  49  */
  50 #if defined(__linux__) || defined(__FreeBSD__) || defined(__NetBSD__) || defined(__OpenBSD__) || defined(__sun) || defined(LISP_FEATURE_WIN32)
  51 #define align_4byte     4
  52 #define align_8byte     8
  53 #define align_16byte    16
  54 #else
  55 #define align_4byte     2
  56 #define align_8byte     3
  57 #define align_16byte    4
  58 #endif
  59
  60 /*
  61  * The assembler used for win32 doesn't like .type or .size directives,
  62  * so we want to conditionally kill them out. So let's wrap them in macros
  63  * that are defined to be no-ops on win32. Hopefully this still works on
  64  * other platforms.
  65  */
  66 #if !defined(LISP_FEATURE_WIN32) && !defined(LISP_FEATURE_DARWIN)
  67 #define TYPE(name) .type name,@function
  68 #define SIZE(name) .size name,.-name
  69 #else
  70 #define TYPE(name)
  71 #define SIZE(name)
  72 #endif
  73
  74 /*
  75  * x86/darwin (as of MacOS X 10.4.5) doesn't reliably file signal
  76  * handlers (SIGTRAP or Mach exception handlers) for 0xCC, wo we have
  77  * to use ud2 instead. ud2 is an undefined opcode, #x0b0f, or
  78  * 0F 0B in low-endian notation, that causes SIGILL to fire. We check
  79  * for this instruction in the SIGILL handler and if we see it, we
  80  * advance the EIP by two bytes to skip over ud2 instruction and
  81  * call sigtrap_handler. */
  82 #if defined(LISP_FEATURE_UD2_BREAKPOINTS)
  83 #define END()
  84 #define TRAP ud2
  85 #else
  86 #define END() .end
  87 #define TRAP int3
  88 #endif
  89
  90         .text
  91         .globl  GNAME(all_threads)
  92 \f
  93 /*
  94  * A call to call_into_c preserves esi, edi, and ebp.
  95  * (The C function will preserve ebx, esi, edi, and ebp across its
  96  * function call, but we trash ebx ourselves by using it to save the
  97  * return Lisp address.)
  98  *
  99  * Return values are in eax and maybe edx for quads, or st(0) for
 100  * floats.
 101  *
 102  * This should work for Lisp calls C calls Lisp calls C..
 103  *
 104  * FIXME & OAOOM: This duplicates call-out in src/compiler/x86/c-call.lisp,
 105  * so if you tweak this, change that too!
 106  */
 107         .text
 108         .align  align_16byte,0x90
 109         .globl GNAME(call_into_c)
 110         TYPE(GNAME(call_into_c))
 111 GNAME(call_into_c):
 112 /* Save the return Lisp address in ebx. */
 113         popl    %ebx
 114
 115 /* Setup the NPX for C */
 116         fstp    %st(0)
 117         fstp    %st(0)
 118         fstp    %st(0)
 119         fstp    %st(0)
 120         fstp    %st(0)
 121         fstp    %st(0)
 122         fstp    %st(0)
 123         fstp    %st(0)
 124
 125         call    *%eax             # normal callout using Lisp stack
 126         movl    %eax,%ecx         # remember integer return value
 127
 128 /* Check for a return FP value. */
 129         fxam
 130         fnstsw  %ax
 131         andl    $0x4500,%eax
 132         cmpl    $0x4100,%eax
 133         jne     Lfp_rtn_value
 134
 135 /* The return value is in eax, or eax,edx? */
 136 /* Set up the NPX stack for Lisp. */
 137         fldz                    # Ensure no regs are empty.
 138         fldz
 139         fldz
 140         fldz
 141         fldz
 142         fldz
 143         fldz
 144         fldz
 145
 146 /* Restore the return value. */
 147         movl    %ecx,%eax       # maybe return value
 148
 149 /* Return. */
 150         jmp     *%ebx
 151
 152 Lfp_rtn_value:
 153 /* The return result is in st(0). */
 154 /* Set up the NPX stack for Lisp, placing the result in st(0). */
 155         fldz                    # Ensure no regs are empty.
 156         fldz
 157         fldz
 158         fldz
 159         fldz
 160         fldz
 161         fldz
 162         fxch    %st(7)          # Move the result back to st(0).
 163
 164 /* We don't need to restore eax, because the result is in st(0). */
 165
 166 /* Return. FIXME: It would be nice to restructure this to use RET. */
 167         jmp     *%ebx
 168
 169         SIZE(GNAME(call_into_c))
 170
 171 \f
 172         .text
 173         .globl GNAME(call_into_lisp_first_time)
 174         TYPE(GNAME(call_into_lisp_first_time))
 175
 176 /* We don't worry too much about saving registers
 177  * here, because we never expect to return from the initial call to lisp
 178  * anyway */
 179
 180         .align  align_16byte,0x90
 181 GNAME(call_into_lisp_first_time):
 182         pushl   %ebp            # Save old frame pointer.
 183         movl    %esp,%ebp       # Establish new frame.
 184 #ifndef LISP_FEATURE_WIN32
 185         movl    GNAME(all_threads),%eax
 186         /* pthread machinery takes care of this for other threads */
 187         movl    THREAD_CONTROL_STACK_END_OFFSET(%eax) ,%esp
 188 #else
 189 /* Win32 -really- doesn't like you switching stacks out from under it. */
 190         movl    GNAME(all_threads),%eax
 191 #endif
 192         jmp     Lstack
 193 \f
 194         .text
 195         .globl GNAME(call_into_lisp)
 196         TYPE(GNAME(call_into_lisp))
 197
 198 /* The C conventions require that ebx, esi, edi, and ebp be preserved
 199  * across function calls. */
 200
 201         .align  align_16byte,0x90
 202 GNAME(call_into_lisp):
 203         pushl   %ebp            # Save old frame pointer.
 204         movl    %esp,%ebp       # Establish new frame.
 205 Lstack:
 206 /* Save the NPX state */
 207         fwait                   # Catch any pending NPX exceptions.
 208         subl    $108,%esp       # Make room for the NPX state.
 209         fnsave  (%esp)          # save and reset NPX
 210
 211         movl    (%esp),%eax     # Load NPX control word.
 212         andl    $0xfffff2ff,%eax        # Set rounding mode to nearest.
 213         orl     $0x00000200,%eax        # Set precision to 64 bits.  (53-bit mantissa)
 214         pushl   %eax
 215         fldcw   (%esp)          # Recover modes.
 216         popl    %eax
 217
 218         fldz                    # Ensure no FP regs are empty.
 219         fldz
 220         fldz
 221         fldz
 222         fldz
 223         fldz
 224         fldz
 225         fldz
 226
 227 /* Save C regs: ebx esi edi. */
 228         pushl   %ebx
 229         pushl   %esi
 230         pushl   %edi
 231
 232 /* Clear descriptor regs. */
 233         xorl    %eax,%eax       # lexenv
 234         xorl    %ebx,%ebx       # available
 235         xorl    %ecx,%ecx       # arg count
 236         xorl    %edx,%edx       # first arg
 237         xorl    %edi,%edi       # second arg
 238         xorl    %esi,%esi       # third arg
 239
 240 /* no longer in function call */
 241         movl    %esp,%ebx       # remember current stack
 242         pushl   %ebx            # Save entry stack on (maybe) new stack.
 243
 244         /* Establish Lisp args. */
 245         movl     8(%ebp),%eax   # lexenv?
 246         movl    12(%ebp),%ebx   # address of arg vec
 247         movl    16(%ebp),%ecx   # num args
 248         shll    $2,%ecx         # Make num args into fixnum.
 249         cmpl    $0,%ecx
 250         je      Ldone
 251         movl    (%ebx),%edx     # arg0
 252         cmpl    $4,%ecx
 253         je      Ldone
 254         movl    4(%ebx),%edi    # arg1
 255         cmpl    $8,%ecx
 256         je      Ldone
 257         movl    8(%ebx),%esi    # arg2
 258 Ldone:
 259         /* Registers eax, ecx, edx, edi, and esi are now live. */
 260
 261 #ifdef LISP_FEATURE_WIN32
 262         /* Establish an SEH frame. */
 263 #ifdef LISP_FEATURE_SB_THREAD
 264         /* FIXME: need to save BSP here. */
 265 #error "need to save BSP here, but don't know how yet."
 266 #else
 267         pushl   BINDING_STACK_POINTER + SYMBOL_VALUE_OFFSET
 268 #endif
 269         pushl   $GNAME(exception_handler_wrapper)
 270         pushl   %fs:0
 271         movl    %esp, %fs:0
 272 #endif
 273
 274         /* Alloc new frame. */
 275         push    %ebp            # Dummy for return address
 276         push    %ebp            # fp in save location S1
 277         mov     %esp,%ebp       # The current sp marks start of new frame.
 278         sub     $4,%esp         # Ensure 3 slots are allocated, two above.
 279
 280         call    *CLOSURE_FUN_OFFSET(%eax)
 281
 282         /* If the function returned multiple values, it will return to
 283            this point.  Lose them */
 284         jnc     LsingleValue
 285         mov     %ebx, %esp
 286 LsingleValue:
 287         /* A singled value function returns here */
 288
 289 #ifdef LISP_FEATURE_WIN32
 290         /* Remove our SEH frame. */
 291         popl    %fs:0
 292         add     $8, %esp
 293 #endif
 294
 295 /* Restore the stack, in case there was a stack change. */
 296         popl    %esp            # c-sp
 297
 298 /* Restore C regs: ebx esi edi. */
 299         popl    %edi
 300         popl    %esi
 301         popl    %ebx
 302
 303 /* Restore the NPX state. */
 304         frstor  (%esp)
 305         addl    $108, %esp
 306
 307         popl    %ebp            # c-sp
 308         movl    %edx,%eax       # c-val
 309         ret
 310         SIZE(GNAME(call_into_lisp))
 311 \f
 312 /* support for saving and restoring the NPX state from C */
 313         .text
 314         .globl  GNAME(fpu_save)
 315         TYPE(GNAME(fpu_save))
 316         .align  2,0x90
 317 GNAME(fpu_save):
 318         movl    4(%esp),%eax
 319         fnsave  (%eax)          # Save the NPX state. (resets NPX)
 320         ret
 321         SIZE(GNAME(fpu_save))
 322
 323         .globl  GNAME(fpu_restore)
 324         TYPE(GNAME(fpu_restore))
 325         .align  2,0x90
 326 GNAME(fpu_restore):
 327         movl    4(%esp),%eax
 328         frstor  (%eax)          # Restore the NPX state.
 329         ret
 330         SIZE(GNAME(fpu_restore))
 331 \f
 332 /*
 333  * the undefined-function trampoline
 334  */
 335         .text
 336         .align  align_16byte,0x90
 337         .globl GNAME(undefined_tramp)
 338         TYPE(GNAME(undefined_tramp))
 339         .byte   0, 0, 0, SIMPLE_FUN_HEADER_WIDETAG
 340 GNAME(undefined_tramp):
 341         pop     4(%ebp)         # Save return PC for backtrace.
 342         TRAP
 343         .byte   trap_Error
 344         .byte   2
 345         .byte   UNDEFINED_FUN_ERROR
 346         .byte   sc_DescriptorReg # eax in the Descriptor-reg SC
 347         ret
 348         SIZE(GNAME(undefined_tramp))
 349
 350 /*
 351  * the closure trampoline
 352  */
 353         .text
 354         .align  align_16byte,0x90
 355         .globl GNAME(closure_tramp)
 356         TYPE(GNAME(closure_tramp))
 357         .byte   0, 0, 0, SIMPLE_FUN_HEADER_WIDETAG
 358 GNAME(closure_tramp):
 359         movl    FDEFN_FUN_OFFSET(%eax),%eax
 360         /* FIXME: The '*' after "jmp" in the next line is from PVE's
 361          * patch posted to the CMU CL mailing list Oct 6, 1999. It looks
 362          * reasonable, and it certainly seems as though if CMU CL needs it,
 363          * SBCL needs it too, but I haven't actually verified that it's
 364          * right. It would be good to find a way to force the flow of
 365          * control through here to test it. */
 366         jmp     *CLOSURE_FUN_OFFSET(%eax)
 367         SIZE(GNAME(closure_tramp))
 368
 369         .text
 370         .align  align_16byte,0x90
 371         .globl GNAME(funcallable_instance_tramp)
 372         TYPE(GNAME(funcallable_instance_tramp))
 373 GNAME(funcallable_instance_tramp):
 374         movl    FUNCALLABLE_INSTANCE_FUNCTION_OFFSET(%eax),%eax
 375         /* KLUDGE: on this platform, whatever kind of function is in %rax
 376          * now, the first word of it contains the address to jump to. */
 377         jmp     *CLOSURE_FUN_OFFSET(%eax)
 378         SIZE(GNAME(funcallable_instance_tramp))
 379
 380 /*
 381  * fun-end breakpoint magic
 382  */
 383         .text
 384         .globl  GNAME(fun_end_breakpoint_guts)
 385         .align  align_16byte
 386 GNAME(fun_end_breakpoint_guts):
 387         /* Multiple Value return */
 388         jc      multiple_value_return
 389         /* Single value return: The eventual return will now use the
 390            multiple values return convention but with a return values
 391            count of one. */
 392         movl    %esp,%ebx       # Setup ebx - the ofp.
 393         subl    $4,%esp         # Allocate one stack slot for the return value
 394         movl    $4,%ecx         # Setup ecx for one return value.
 395         movl    $(NIL),%edi     # default second value
 396         movl    $(NIL),%esi     # default third value
 397
 398 multiple_value_return:
 399
 400         .globl GNAME(fun_end_breakpoint_trap)
 401 GNAME(fun_end_breakpoint_trap):
 402         TRAP
 403         .byte   trap_FunEndBreakpoint
 404         hlt                     # We should never return here.
 405
 406         .globl GNAME(fun_end_breakpoint_end)
 407 GNAME(fun_end_breakpoint_end):
 408
 409 \f
 410         .globl  GNAME(do_pending_interrupt)
 411         TYPE(GNAME(do_pending_interrupt))
 412         .align  align_16byte,0x90
 413 GNAME(do_pending_interrupt):
 414         TRAP
 415         .byte   trap_PendingInterrupt
 416         ret
 417         SIZE(GNAME(do_pending_interrupt))
 418 \f
 419 /* Allocate bytes and return the start of the allocated space
 420  * in the specified destination register.
 421  *
 422  * In the general case the size will be in the destination register.
 423  *
 424  * All registers must be preserved except the destination.
 425  * The C conventions will preserve ebx, esi, edi, and ebp.
 426  * So only eax, ecx, and edx need special care here.
 427  *
 428  * ALLOC factors out the logic of calling alloc(): stack alignment, etc.
 429  *
 430  * DEFINE_ALLOC_TO_FOO defines an alloction routine.
 431  */
 432
 433 #ifdef LISP_FEATURE_DARWIN
 434 #define ALLOC(size)                                             \
 435         pushl   %ebp;              /* Save EBP               */ \
 436         movl    %esp,%ebp;         /* Save ESP to EBP        */ \
 437         pushl   $0;                /* Reserve space for arg  */ \
 438         andl    $0xfffffff0,%esp;  /* Align stack to 16bytes */ \
 439         movl    size, (%esp);      /* Argument to alloc      */ \
 440         call    GNAME(alloc);                                   \
 441         movl    %ebp,%esp;         /* Restore ESP from EBP   */ \
 442         popl    %ebp;              /* Restore EBP            */
 443 #else
 444 #define ALLOC(size)                                             \
 445         pushl   size;              /* Argument to alloc      */ \
 446         call    GNAME(alloc);                                   \
 447         addl    $4,%esp;           /* Pop argument           */
 448 #endif
 449
 450 #define DEFINE_ALLOC_TO_EAX(name,size)                          \
 451         .globl  GNAME(name);                                    \
 452         TYPE(GNAME(name));                                      \
 453         .align  align_16byte,0x90;                              \
 454 GNAME(name):                                                    \
 455         pushl   %ecx;              /* Save ECX and EDX       */ \
 456         pushl   %edx;                                           \
 457         ALLOC(size)                                             \
 458         popl    %edx;              /* Restore ECX and EDX    */ \
 459         popl    %ecx;                                           \
 460         ret;                                                    \
 461         SIZE(GNAME(name))
 462
 463 #define DEFINE_ALLOC_TO_ECX(name,size)                          \
 464         .globl  GNAME(name);                                    \
 465         TYPE(GNAME(name));                                      \
 466         .align  align_16byte,0x90;                              \
 467 GNAME(name):                                                    \
 468         pushl   %eax;              /* Save EAX and EDX       */ \
 469         pushl   %edx;                                           \
 470         ALLOC(size)                                             \
 471         movl    %eax,%ecx;         /* Result to destination  */ \
 472         popl    %edx;                                           \
 473         popl    %eax;                                           \
 474         ret;                                                    \
 475         SIZE(GNAME(name))
 476
 477 #define DEFINE_ALLOC_TO_EDX(name,size)                          \
 478         .globl  GNAME(name);                                    \
 479         TYPE(GNAME(name));                                      \
 480         .align  align_16byte,0x90;                              \
 481 GNAME(name):                                                    \
 482         pushl   %eax;               /* Save EAX and ECX      */ \
 483         pushl   %ecx;                                           \
 484         ALLOC(size)                                             \
 485         movl    %eax,%edx;          /* Restore EAX and ECX   */ \
 486         popl    %ecx;                                           \
 487         popl    %eax;                                           \
 488         ret;                                                    \
 489         SIZE(GNAME(name))
 490
 491 #define DEFINE_ALLOC_TO_REG(name,reg,size)                      \
 492         .globl  GNAME(name);                                    \
 493         TYPE(GNAME(name));                                      \
 494         .align  align_16byte,0x90;                              \
 495 GNAME(name):                                                    \
 496         pushl   %eax;              /* Save EAX, ECX, and EDX */ \
 497         pushl   %ecx;                                           \
 498         pushl   %edx;                                           \
 499         ALLOC(size)                                             \
 500         movl    %eax,reg;          /* Restore them           */ \
 501         popl    %edx;                                           \
 502         popl    %ecx;                                           \
 503         popl    %eax;                                           \
 504         ret;                                                    \
 505         SIZE(GNAME(name))
 506
 507 DEFINE_ALLOC_TO_EAX(alloc_to_eax,%eax)
 508 DEFINE_ALLOC_TO_EAX(alloc_8_to_eax,$8)
 509 DEFINE_ALLOC_TO_EAX(alloc_16_to_eax,$16)
 510
 511 DEFINE_ALLOC_TO_ECX(alloc_to_ecx,%ecx)
 512 DEFINE_ALLOC_TO_ECX(alloc_8_to_ecx,$8)
 513 DEFINE_ALLOC_TO_ECX(alloc_16_to_ecx,$16)
 514
 515 DEFINE_ALLOC_TO_EDX(alloc_to_edx,%edx)
 516 DEFINE_ALLOC_TO_EDX(alloc_8_to_edx,$8)
 517 DEFINE_ALLOC_TO_EDX(alloc_16_to_edx,$16)
 518
 519 DEFINE_ALLOC_TO_REG(alloc_to_ebx,%ebx,%ebx)
 520 DEFINE_ALLOC_TO_REG(alloc_8_to_ebx,%ebx,$8)
 521 DEFINE_ALLOC_TO_REG(alloc_16_to_ebx,%ebx,$16)
 522
 523 DEFINE_ALLOC_TO_REG(alloc_to_esi,%esi,%esi)
 524 DEFINE_ALLOC_TO_REG(alloc_8_to_esi,%esi,$8)
 525 DEFINE_ALLOC_TO_REG(alloc_16_to_esi,%esi,$16)
 526
 527 DEFINE_ALLOC_TO_REG(alloc_to_edi,%edi,%edi)
 528 DEFINE_ALLOC_TO_REG(alloc_8_to_edi,%edi,$8)
 529 DEFINE_ALLOC_TO_REG(alloc_16_to_edi,%edi,$16)
 530
 531 /* Called from lisp when an inline allocation overflows.
 532  * Every register except the result needs to be preserved.
 533  * We depend on C to preserve ebx, esi, edi, and ebp.
 534  * But where necessary must save eax, ecx, edx. */
 535
 536 #ifdef LISP_FEATURE_SB_THREAD
 537 #define START_REGION %fs:THREAD_ALLOC_REGION_OFFSET
 538 #else
 539 #define START_REGION GNAME(boxed_region)
 540 #endif
 541
 542 #define ALLOC_OVERFLOW(size)                                    \
 543         /* Calculate the size for the allocation. */            \
 544         subl    START_REGION,size;                              \
 545         ALLOC(size)
 546
 547 /* This routine handles an overflow with eax=crfp+size. So the
 548    size=eax-crfp. */
 549         .align  align_16byte
 550         .globl  GNAME(alloc_overflow_eax)
 551         TYPE(GNAME(alloc_overflow_eax))
 552 GNAME(alloc_overflow_eax):
 553         pushl   %ecx            # Save ecx
 554         pushl   %edx            # Save edx
 555         ALLOC_OVERFLOW(%eax)
 556         popl    %edx    # Restore edx.
 557         popl    %ecx    # Restore ecx.
 558         ret
 559         SIZE(GNAME(alloc_overflow_eax))
 560
 561         .align  align_16byte
 562         .globl  GNAME(alloc_overflow_ecx)
 563         TYPE(GNAME(alloc_overflow_ecx))
 564 GNAME(alloc_overflow_ecx):
 565         pushl   %eax            # Save eax
 566         pushl   %edx            # Save edx
 567         ALLOC_OVERFLOW(%ecx)
 568         movl    %eax,%ecx       # setup the destination.
 569         popl    %edx    # Restore edx.
 570         popl    %eax    # Restore eax.
 571         ret
 572         SIZE(GNAME(alloc_overflow_ecx))
 573
 574         .align  align_16byte
 575         .globl  GNAME(alloc_overflow_edx)
 576         TYPE(GNAME(alloc_overflow_edx))
 577 GNAME(alloc_overflow_edx):
 578         pushl   %eax            # Save eax
 579         pushl   %ecx            # Save ecx
 580         ALLOC_OVERFLOW(%edx)
 581         movl    %eax,%edx       # setup the destination.
 582         popl    %ecx    # Restore ecx.
 583         popl    %eax    # Restore eax.
 584         ret
 585         SIZE(GNAME(alloc_overflow_edx))
 586
 587 /* This routine handles an overflow with ebx=crfp+size. So the
 588    size=ebx-crfp. */
 589         .align  align_16byte
 590         .globl  GNAME(alloc_overflow_ebx)
 591         TYPE(GNAME(alloc_overflow_ebx))
 592 GNAME(alloc_overflow_ebx):
 593         pushl   %eax            # Save eax
 594         pushl   %ecx            # Save ecx
 595         pushl   %edx            # Save edx
 596         ALLOC_OVERFLOW(%ebx)
 597         movl    %eax,%ebx       # setup the destination.
 598         popl    %edx    # Restore edx.
 599         popl    %ecx    # Restore ecx.
 600         popl    %eax    # Restore eax.
 601         ret
 602         SIZE(GNAME(alloc_overflow_ebx))
 603
 604 /* This routine handles an overflow with esi=crfp+size. So the
 605    size=esi-crfp. */
 606         .align  align_16byte
 607         .globl  GNAME(alloc_overflow_esi)
 608         TYPE(GNAME(alloc_overflow_esi))
 609 GNAME(alloc_overflow_esi):
 610         pushl   %eax            # Save eax
 611         pushl   %ecx            # Save ecx
 612         pushl   %edx            # Save edx
 613         ALLOC_OVERFLOW(%esi)
 614         movl    %eax,%esi       # setup the destination.
 615         popl    %edx    # Restore edx.
 616         popl    %ecx    # Restore ecx.
 617         popl    %eax    # Restore eax.
 618         ret
 619         SIZE(GNAME(alloc_overflow_esi))
 620
 621         .align  align_16byte
 622         .globl  GNAME(alloc_overflow_edi)
 623         TYPE(GNAME(alloc_overflow_edi))
 624 GNAME(alloc_overflow_edi):
 625         pushl   %eax            # Save eax
 626         pushl   %ecx            # Save ecx
 627         pushl   %edx            # Save edx
 628         ALLOC_OVERFLOW(%edi)
 629         movl    %eax,%edi       # setup the destination.
 630         popl    %edx    # Restore edx.
 631         popl    %ecx    # Restore ecx.
 632         popl    %eax    # Restore eax.
 633         ret
 634         SIZE(GNAME(alloc_overflow_edi))
 635
 636
 637 #ifdef LISP_FEATURE_WIN32
 638         /* The guts of the exception-handling system doesn't use
 639          * frame pointers, which manages to throw off backtraces
 640          * rather badly.  So here we grab the (known-good) EBP
 641          * and EIP from the exception context and use it to fake
 642          * up a stack frame which will skip over the system SEH
 643          * code. */
 644         .align  align_16byte
 645         .globl  GNAME(exception_handler_wrapper)
 646         TYPE(GNAME(exception_handler_wrapper))
 647 GNAME(exception_handler_wrapper):
 648         /* Context layout is: */
 649         /* 7 dwords before FSA. (0x1c) */
 650         /* 8 dwords and 0x50 bytes in the FSA. (0x70/0x8c) */
 651         /* 4 dwords segregs. (0x10/0x9c) */
 652         /* 6 dwords non-stack GPRs. (0x18/0xb4) */
 653         /* EBP (at 0xb4) */
 654         /* EIP (at 0xb8) */
 655 #define CONTEXT_EBP_OFFSET 0xb4
 656 #define CONTEXT_EIP_OFFSET 0xb8
 657         /* some other stuff we don't care about. */
 658         pushl   %ebp
 659         movl    0x10(%esp), %ebp        /* context */
 660         pushl   CONTEXT_EIP_OFFSET(%ebp)
 661         pushl   CONTEXT_EBP_OFFSET(%ebp)
 662         movl    %esp, %ebp
 663         pushl   0x1c(%esp)
 664         pushl   0x1c(%esp)
 665         pushl   0x1c(%esp)
 666         pushl   0x1c(%esp)
 667         call    GNAME(handle_exception)
 668         lea     8(%ebp), %esp
 669         popl    %ebp
 670         ret
 671         SIZE(GNAME(exception_handler_wrapper))
 672 #endif
 673
 674 #ifdef LISP_FEATURE_DARWIN
 675         .align align_16byte
 676         .globl GNAME(call_into_lisp_tramp)
 677         TYPE(GNAME(call_into_lisp_tramp))
 678 GNAME(call_into_lisp_tramp):
 679         /* 1. build the stack frame from the block that's pointed to by ECX
 680            2. free the block
 681            3. set ECX to 0
 682            4. call the function via call_into_lisp
 683         */
 684         pushl   0(%ecx)          /* return address */
 685
 686         pushl   %ebp
 687         movl    %esp, %ebp
 688
 689         pushl   32(%ecx)         /* eflags */
 690         pushl   28(%ecx)         /* EAX */
 691         pushl   20(%ecx)         /* ECX */
 692         pushl   16(%ecx)         /* EDX */
 693         pushl   24(%ecx)         /* EBX */
 694         pushl   $0                /* popal is going to ignore esp */
 695         pushl   %ebp              /* is this right?? */
 696         pushl   12(%ecx)         /* ESI */
 697         pushl   8(%ecx)          /* EDI */
 698         pushl   $0                /* args for call_into_lisp */
 699         pushl   $0
 700         pushl   4(%ecx)          /* function to call */
 701
 702         /* free our save block */
 703         pushl   %ecx              /* reserve sufficient space on stack for args */
 704         pushl   %ecx
 705         andl    $0xfffffff0, %esp  /* align stack */
 706         movl    $0x40, 4(%esp)
 707         movl    %ecx, (%esp)
 708         call    GNAME(os_invalidate)
 709
 710         /* call call_into_lisp */
 711         leal    -48(%ebp), %esp
 712         call    GNAME(call_into_lisp)
 713
 714         /* Clean up our mess */
 715         leal    -36(%ebp), %esp
 716         popal
 717         popfl
 718         leave
 719         ret
 720
 721         SIZE(call_into_lisp_tramp)
 722 #endif
 723
 724         .align  align_16byte,0x90
 725         .globl  GNAME(post_signal_tramp)
 726         TYPE(GNAME(post_signal_tramp))
 727 GNAME(post_signal_tramp):
 728         /* this is notionally the second half of a function whose first half
 729          * doesn't exist.  This is where call_into_lisp returns when called
 730          * using return_to_lisp_function */
 731         addl $12,%esp   /* clear call_into_lisp args from stack */
 732         popal           /* restore registers */
 733         popfl
 734 #ifdef LISP_FEATURE_DARWIN
 735         /* skip two padding words */
 736         addl $8,%esp
 737 #endif
 738         leave
 739         ret
 740         SIZE(GNAME(post_signal_tramp))
 741
 742
 743         /* fast_bzero implementations and code to detect which implementation
 744          * to use.
 745          */
 746 \f
 747         .globl GNAME(fast_bzero_pointer)
 748         .data
 749         .align  align_16byte
 750 GNAME(fast_bzero_pointer):
 751         /* Variable containing a pointer to the bzero function to use.
 752          * Initially points to a basic function.  Change this variable
 753          * to fast_bzero_detect if OS supports SSE.  */
 754         .long GNAME(fast_bzero_base)
 755 \f
 756         .text
 757         .align  align_16byte,0x90
 758         .globl GNAME(fast_bzero)
 759         TYPE(GNAME(fast_bzero))
 760 GNAME(fast_bzero):
 761         /* Indirect function call */
 762         jmp *GNAME(fast_bzero_pointer)
 763         SIZE(GNAME(fast_bzero))
 764
 765 \f
 766         .text
 767         .align  align_16byte,0x90
 768         .globl GNAME(fast_bzero_detect)
 769         TYPE(GNAME(fast_bzero_detect))
 770 GNAME(fast_bzero_detect):
 771         /* Decide whether to use SSE, MMX or REP version */
 772         push %eax /* CPUID uses EAX-EDX */
 773         push %ebx
 774         push %ecx
 775         push %edx
 776         mov $1, %eax
 777         cpuid
 778         test $0x04000000, %edx    /* SSE2 needed for MOVNTDQ */
 779         jnz Lsse2
 780         /* Originally there was another case here for using the
 781          * MOVNTQ instruction for processors that supported MMX but
 782          * not SSE2. This turned out to be a loss especially on
 783          * Athlons (where this instruction is apparently microcoded
 784          * somewhat slowly). So for simplicity revert to REP STOSL
 785          * for all non-SSE2 processors.
 786          */
 787 Lbase:
 788         movl $(GNAME(fast_bzero_base)), GNAME(fast_bzero_pointer)
 789         jmp Lrestore
 790 Lsse2:
 791         movl $(GNAME(fast_bzero_sse)), GNAME(fast_bzero_pointer)
 792         jmp Lrestore
 793
 794 Lrestore:
 795         pop %edx
 796         pop %ecx
 797         pop %ebx
 798         pop %eax
 799         jmp *GNAME(fast_bzero_pointer)
 800
 801         SIZE(GNAME(fast_bzero_detect))
 802
 803 \f
 804         .text
 805         .align  align_16byte,0x90
 806         .globl GNAME(fast_bzero_sse)
 807         TYPE(GNAME(fast_bzero_sse))
 808
 809 GNAME(fast_bzero_sse):
 810         /* A fast routine for zero-filling blocks of memory that are
 811          * guaranteed to start and end at a 4096-byte aligned address.
 812          */
 813         push %esi                 /* Save temporary registers */
 814         push %edi
 815         mov 16(%esp), %esi        /* Parameter: amount of bytes to fill */
 816         mov 12(%esp), %edi        /* Parameter: start address */
 817         shr $6, %esi              /* Amount of 64-byte blocks to copy */
 818         jz Lend_sse               /* If none, stop */
 819         movups %xmm7, -16(%esp)   /* Save XMM register */
 820         xorps  %xmm7, %xmm7       /* Zero the XMM register */
 821         jmp Lloop_sse
 822         .align align_16byte
 823 Lloop_sse:
 824
 825         /* Copy the 16 zeroes from xmm7 to memory, 4 times. MOVNTDQ is the
 826          * non-caching double-quadword moving variant, i.e. the memory areas
 827          * we're touching are not fetched into the L1 cache, since we're just
 828          * going to overwrite the memory soon anyway.
 829          */
 830         movntdq %xmm7, 0(%edi)
 831         movntdq %xmm7, 16(%edi)
 832         movntdq %xmm7, 32(%edi)
 833         movntdq %xmm7, 48(%edi)
 834
 835         add $64, %edi /* Advance pointer */
 836         dec %esi      /* Decrement 64-byte block count */
 837         jnz Lloop_sse
 838         movups -16(%esp), %xmm7 /* Restore the XMM register */
 839         sfence        /* Ensure that weakly ordered writes are flushed. */
 840 Lend_sse:
 841         mov 12(%esp), %esi      /* Parameter: start address */
 842         prefetcht0 0(%esi)      /* Prefetch the start of the block into cache,
 843                                  * since it's likely to be used immediately. */
 844         pop %edi      /* Restore temp registers */
 845         pop %esi
 846         ret
 847         SIZE(GNAME(fast_bzero_sse))
 848
 849 \f
 850         .text
 851         .align  align_16byte,0x90
 852         .globl GNAME(fast_bzero_base)
 853         TYPE(GNAME(fast_bzero_base))
 854
 855 GNAME(fast_bzero_base):
 856         /* A fast routine for zero-filling blocks of memory that are
 857          * guaranteed to start and end at a 4096-byte aligned address.
 858          */
 859         push %eax                 /* Save temporary registers */
 860         push %ecx
 861         push %edi
 862         mov 20(%esp), %ecx        /* Parameter: amount of bytes to fill */
 863         mov 16(%esp), %edi        /* Parameter: start address */
 864         xor %eax, %eax            /* Zero EAX */
 865         shr $2, %ecx              /* Amount of 4-byte blocks to copy */
 866         jz  Lend_base
 867
 868         rep
 869         stosl                     /* Store EAX to *EDI, ECX times, incrementing
 870                                    * EDI by 4 after each store */
 871
 872 Lend_base:
 873         pop %edi                  /* Restore temp registers */
 874         pop %ecx
 875         pop %eax
 876         ret
 877         SIZE(GNAME(fast_bzero_base))
 878
 879 \f
 880         END()