1.0.22.15: 16 byte align assembly routines on x86 and x86-64
[sbcl.git] / src / runtime / x86-assem.S
index 72b14b8..315643b 100644 (file)
@@ -17,6 +17,7 @@
 #include "sbcl.h"
 #include "validate.h"
 #include "genesis/closure.h"
+#include "genesis/funcallable-instance.h"
 #include "genesis/fdefn.h"
 #include "genesis/static-symbols.h"
 #include "genesis/symbol.h"
@@ -87,7 +88,6 @@
 #endif
 
        .text
-       .globl  GNAME(foreign_function_call_active)
        .globl  GNAME(all_threads)
 \f
 /*
  * floats.
  *
  * This should work for Lisp calls C calls Lisp calls C..
+ *
+ * FIXME & OAOOM: This duplicates call-out in src/compiler/x86/c-call.lisp,
+ * so if you tweak this, change that too!
  */
        .text
        .align  align_16byte,0x90
        .globl GNAME(call_into_c)
        TYPE(GNAME(call_into_c))
 GNAME(call_into_c):
-       movl    $1,GNAME(foreign_function_call_active)
-
 /* Save the return Lisp address in ebx. */
        popl    %ebx
 
@@ -121,20 +122,12 @@ GNAME(call_into_c):
        fstp    %st(0)
        fstp    %st(0)
 
-#ifdef LISP_FEATURE_WIN32
-       cld
-#endif
-
-#ifdef LISP_FEATURE_DARWIN
-        andl   $0xfffffff0,%esp        # align stack to 16-byte boundary before calling C
-#endif
-       call    *%eax           # normal callout using Lisp stack
-
-       movl    %eax,%ecx       # remember integer return value
+       call    *%eax             # normal callout using Lisp stack
+       movl    %eax,%ecx         # remember integer return value
 
 /* Check for a return FP value. */
        fxam
-       fnstsw  %eax
+       fnstsw  %ax
        andl    $0x4500,%eax
        cmpl    $0x4100,%eax
        jne     Lfp_rtn_value
@@ -153,7 +146,6 @@ GNAME(call_into_c):
 /* Restore the return value. */
        movl    %ecx,%eax       # maybe return value
 
-       movl    $0,GNAME(foreign_function_call_active)
 /* Return. */
        jmp     *%ebx
 
@@ -171,8 +163,7 @@ Lfp_rtn_value:
 
 /* We don't need to restore eax, because the result is in st(0). */
 
-       movl    $0,GNAME(foreign_function_call_active)
-/* Return. */  
+/* Return. FIXME: It would be nice to restructure this to use RET. */  
        jmp     *%ebx
 
        SIZE(GNAME(call_into_c))
@@ -194,10 +185,8 @@ GNAME(call_into_lisp_first_time):
 #ifndef LISP_FEATURE_WIN32
        movl    %esp,ALIEN_STACK + SYMBOL_VALUE_OFFSET
        movl    GNAME(all_threads),%eax
-       movl    THREAD_CONTROL_STACK_START_OFFSET(%eax) ,%esp
-       /* don't think too hard about what happens if we get interrupted
-       * here */
-       addl    $(THREAD_CONTROL_STACK_SIZE),%esp
+       /* pthread machinery takes care of this for other threads */
+       movl    THREAD_CONTROL_STACK_END_OFFSET(%eax) ,%esp
 #else
 /* Win32 -really- doesn't like you switching stacks out from under it. */
        movl    GNAME(all_threads),%eax
@@ -251,8 +240,6 @@ Lstack:
        xorl    %esi,%esi       # third arg
 
 /* no longer in function call */
-       movl    %eax, GNAME(foreign_function_call_active)
-
        movl    %esp,%ebx       # remember current stack
        pushl   %ebx            # Save entry stack on (maybe) new stack.
 
@@ -273,6 +260,19 @@ Lstack:
 Ldone: 
        /* Registers eax, ecx, edx, edi, and esi are now live. */
 
+#ifdef LISP_FEATURE_WIN32
+       /* Establish an SEH frame. */
+#ifdef LISP_FEATURE_SB_THREAD
+       /* FIXME: need to save BSP here. */
+#error "need to save BSP here, but don't know how yet."
+#else
+       pushl   BINDING_STACK_POINTER + SYMBOL_VALUE_OFFSET
+#endif
+       pushl   $GNAME(exception_handler_wrapper)
+       pushl   %fs:0
+       movl    %esp, %fs:0
+#endif
+
        /* Alloc new frame. */
        mov     %esp,%ebx       # The current sp marks start of new frame.
        push    %ebp            # fp in save location S0
@@ -288,6 +288,12 @@ Ldone:
 LsingleValue:
        /* A singled value function returns here */
 
+#ifdef LISP_FEATURE_WIN32
+       /* Remove our SEH frame. */
+       popl    %fs:0
+       add     $8, %esp
+#endif
+
 /* Restore the stack, in case there was a stack change. */
        popl    %esp            # c-sp
 
@@ -329,7 +335,7 @@ GNAME(fpu_restore):
  * the undefined-function trampoline
  */
        .text
-       .align  align_4byte,0x90
+       .align  align_16byte,0x90
        .globl GNAME(undefined_tramp)
        TYPE(GNAME(undefined_tramp))
         .byte   0, 0, 0, SIMPLE_FUN_HEADER_WIDETAG
@@ -346,7 +352,7 @@ GNAME(undefined_tramp):
  * the closure trampoline
  */
        .text
-       .align  align_4byte,0x90
+       .align  align_16byte,0x90
        .globl GNAME(closure_tramp)
        TYPE(GNAME(closure_tramp))
         .byte   0, 0, 0, SIMPLE_FUN_HEADER_WIDETAG
@@ -361,12 +367,23 @@ GNAME(closure_tramp):
        jmp     *CLOSURE_FUN_OFFSET(%eax)
        SIZE(GNAME(closure_tramp))
 
+       .text
+       .align  align_16byte,0x90
+       .globl GNAME(funcallable_instance_tramp)
+       TYPE(GNAME(funcallable_instance_tramp))
+GNAME(funcallable_instance_tramp):
+       movl    FUNCALLABLE_INSTANCE_FUNCTION_OFFSET(%eax),%eax 
+       /* KLUDGE: on this platform, whatever kind of function is in %rax
+        * now, the first word of it contains the address to jump to. */
+       jmp     *CLOSURE_FUN_OFFSET(%eax)
+       SIZE(GNAME(funcallable_instance_tramp))
+       
 /*
  * fun-end breakpoint magic
  */
        .text
        .globl  GNAME(fun_end_breakpoint_guts)
-       .align  align_4byte
+       .align  align_16byte
 GNAME(fun_end_breakpoint_guts):
        /* Multiple Value return */
        jc      multiple_value_return
@@ -393,16 +410,14 @@ GNAME(fun_end_breakpoint_end):
 \f
        .globl  GNAME(do_pending_interrupt)
        TYPE(GNAME(do_pending_interrupt))
-       .align  align_4byte,0x90
+       .align  align_16byte,0x90
 GNAME(do_pending_interrupt):
        TRAP
        .byte   trap_PendingInterrupt
        ret
        SIZE(GNAME(do_pending_interrupt))
 \f
-
-/*
- * Allocate bytes and return the start of the allocated space
+/* Allocate bytes and return the start of the allocated space
  * in the specified destination register.
  *
  * In the general case the size will be in the destination register.
@@ -410,361 +425,160 @@ GNAME(do_pending_interrupt):
  * All registers must be preserved except the destination.
  * The C conventions will preserve ebx, esi, edi, and ebp.
  * So only eax, ecx, and edx need special care here.
+ *
+ * ALLOC factors out the logic of calling alloc(): stack alignment, etc.
+ *
+ * DEFINE_ALLOC_TO_FOO defines an alloction routine.
  */
-       
-       .globl  GNAME(alloc_to_eax)
-       TYPE(GNAME(alloc_to_eax))
-       .align  align_4byte,0x90
-GNAME(alloc_to_eax):
-       pushl   %ecx    # Save ecx and edx as C could destroy them.
-       pushl   %edx
-       pushl   %eax    # Push the size.
-       call    GNAME(alloc)
-       addl    $4,%esp # Pop the size arg.
-       popl    %edx    # Restore ecx and edx.
-       popl    %ecx
-       ret
-       SIZE(GNAME(alloc_to_eax))
-
-       .globl  GNAME(alloc_8_to_eax)
-       TYPE(GNAME(alloc_8_to_eax))
-       .align  align_4byte,0x90
-GNAME(alloc_8_to_eax):
-       pushl   %ecx    # Save ecx and edx as C could destroy them.
-       pushl   %edx
-       pushl   $8      # Push the size.
-       call    GNAME(alloc)
-       addl    $4,%esp # Pop the size arg.
-       popl    %edx    # Restore ecx and edx.
-       popl    %ecx
-       ret
-       SIZE(GNAME(alloc_8_to_eax))
-
-       .globl  GNAME(alloc_8_to_eax)
-       TYPE(GNAME(alloc_8_to_eax))
-       .align  align_4byte,0x90
-
-       .globl  GNAME(alloc_16_to_eax)
-       TYPE(GNAME(alloc_16_to_eax))
-       .align  align_4byte,0x90
-GNAME(alloc_16_to_eax):
-       pushl   %ecx    # Save ecx and edx as C could destroy them.
-       pushl   %edx
-       pushl   $16     # Push the size.
-       call    GNAME(alloc)
-       addl    $4,%esp # Pop the size arg.
-       popl    %edx    # Restore ecx and edx.
-       popl    %ecx
-       ret
-       SIZE(GNAME(alloc_16_to_eax))
-
-       .globl  GNAME(alloc_to_ecx)
-       TYPE(GNAME(alloc_to_ecx))
-       .align  align_4byte,0x90
-GNAME(alloc_to_ecx):
-       pushl   %eax    # Save eax and edx as C could destroy them.
-       pushl   %edx
-       pushl   %ecx    # Push the size.
-       call    GNAME(alloc)
-       addl    $4,%esp # Pop the size arg.
-       movl    %eax,%ecx       # Set up the destination.
-       popl    %edx    # Restore eax and edx.
-       popl    %eax
-       ret
-       SIZE(GNAME(alloc_to_ecx))
-
-       .globl  GNAME(alloc_8_to_ecx)
-       TYPE(GNAME(alloc_8_to_ecx))
-       .align  align_4byte,0x90
-GNAME(alloc_8_to_ecx):
-       pushl   %eax    # Save eax and edx as C could destroy them.
-       pushl   %edx
-       pushl   $8      # Push the size.
-       call    GNAME(alloc)
-       addl    $4,%esp # Pop the size arg.
-       movl    %eax,%ecx       # Set up the destination.
-       popl    %edx    # Restore eax and edx.
-       popl    %eax
-       ret
-       SIZE(GNAME(alloc_8_to_ecx))
-
-       .globl  GNAME(alloc_16_to_ecx)
-       TYPE(GNAME(alloc_16_to_ecx))
-       .align  align_4byte,0x90
-GNAME(alloc_16_to_ecx):
-       pushl   %eax    # Save eax and edx as C could destroy them.
-       pushl   %edx
-       pushl   $16     # Push the size.
-       call    GNAME(alloc)
-       addl    $4,%esp # Pop the size arg.
-       movl    %eax,%ecx       # Set up the destination.
-       popl    %edx    # Restore eax and edx.
-       popl    %eax
-       ret
-       SIZE(GNAME(alloc_16_to_ecx))
-
-
-       .globl  GNAME(alloc_to_edx)
-       TYPE(GNAME(alloc_to_edx))
-       .align  align_4byte,0x90
-GNAME(alloc_to_edx):
-       pushl   %eax    # Save eax and ecx as C could destroy them.
-       pushl   %ecx
-       pushl   %edx    # Push the size.
-       call    GNAME(alloc)
-       addl    $4,%esp # Pop the size arg.
-       movl    %eax,%edx       # Set up the destination.
-       popl    %ecx    # Restore eax and ecx.
-       popl    %eax
-       ret
-       SIZE(GNAME(alloc_to_edx))
-
-       .globl  GNAME(alloc_8_to_edx)
-       TYPE(GNAME(alloc_8_to_edx))
-       .align  align_4byte,0x90
-GNAME(alloc_8_to_edx):
-       pushl   %eax    # Save eax and ecx as C could destroy them.
-       pushl   %ecx
-       pushl   $8      # Push the size.
-       call    GNAME(alloc)
-       addl    $4,%esp # Pop the size arg.
-       movl    %eax,%edx       # Set up the destination.
-       popl    %ecx    # Restore eax and ecx.
-       popl    %eax
-       ret
-       SIZE(GNAME(alloc_8_to_edx))
-
-       .globl  GNAME(alloc_16_to_edx)
-       TYPE(GNAME(alloc_16_to_edx))
-       .align  align_4byte,0x90
-GNAME(alloc_16_to_edx):
-       pushl   %eax    # Save eax and ecx as C could destroy them.
-       pushl   %ecx
-       pushl   $16     # Push the size.
-       call    GNAME(alloc)
-       addl    $4,%esp # Pop the size arg.
-       movl    %eax,%edx       # Set up the destination.
-       popl    %ecx    # Restore eax and ecx.
-       popl    %eax
-       ret
-       SIZE(GNAME(alloc_16_to_edx))
-
-
-
-       .globl  GNAME(alloc_to_ebx)
-       TYPE(GNAME(alloc_to_ebx))
-       .align  align_4byte,0x90
-GNAME(alloc_to_ebx):
-       pushl   %eax    # Save eax, ecx, and edx as C could destroy them.
-       pushl   %ecx
-       pushl   %edx
-       pushl   %ebx    # Push the size.
-       call    GNAME(alloc)
-       addl    $4,%esp # Pop the size arg.
-       movl    %eax,%ebx       # Set up the destination.
-       popl    %edx    # Restore eax, ecx and edx.
-       popl    %ecx
-       popl    %eax
-       ret
-       SIZE(GNAME(alloc_to_ebx))
-
-       .globl  GNAME(alloc_8_to_ebx)
-       TYPE(GNAME(alloc_8_to_ebx))
-       .align  align_4byte,0x90
-GNAME(alloc_8_to_ebx):
-       pushl   %eax    # Save eax, ecx, and edx as C could destroy them.
-       pushl   %ecx
-       pushl   %edx
-       pushl   $8      # Push the size.
-       call    GNAME(alloc)
-       addl    $4,%esp # Pop the size arg.
-       movl    %eax,%ebx       # Set up the destination.
-       popl    %edx    # Restore eax, ecx and edx.
-       popl    %ecx
-       popl    %eax
-       ret
-       SIZE(GNAME(alloc_8_to_ebx))
-
-       .globl  GNAME(alloc_16_to_ebx)
-       TYPE(GNAME(alloc_16_to_ebx))
-       .align  align_4byte,0x90
-GNAME(alloc_16_to_ebx):
-       pushl   %eax    # Save eax, ecx, and edx as C could destroy them.
-       pushl   %ecx
-       pushl   %edx
-       pushl   $16     # Push the size
-       call    GNAME(alloc)
-       addl    $4,%esp # pop the size arg.
-       movl    %eax,%ebx       # setup the destination.
-       popl    %edx    # Restore eax, ecx and edx.
-       popl    %ecx
-       popl    %eax
-       ret
-       SIZE(GNAME(alloc_16_to_ebx))
-
-
-
-       .globl  GNAME(alloc_to_esi)
-       TYPE(GNAME(alloc_to_esi))
-       .align  align_4byte,0x90
-GNAME(alloc_to_esi):
-       pushl   %eax    # Save eax, ecx, and edx as C could destroy them.
-       pushl   %ecx
-       pushl   %edx
-       pushl   %esi    # Push the size
-       call    GNAME(alloc)
-       addl    $4,%esp # pop the size arg.
-       movl    %eax,%esi       # setup the destination.
-       popl    %edx    # Restore eax, ecx and edx.
-       popl    %ecx
-       popl    %eax
-       ret
-       SIZE(GNAME(alloc_to_esi))
-
-       .globl  GNAME(alloc_8_to_esi)
-       TYPE(GNAME(alloc_8_to_esi))
-       .align  align_4byte,0x90
-GNAME(alloc_8_to_esi):
-       pushl   %eax    # Save eax, ecx, and edx as C could destroy them.
-       pushl   %ecx
-       pushl   %edx
-       pushl   $8      # Push the size
-       call    GNAME(alloc)
-       addl    $4,%esp # pop the size arg.
-       movl    %eax,%esi       # setup the destination.
-       popl    %edx    # Restore eax, ecx and edx.
-       popl    %ecx
-       popl    %eax
-       ret
-       SIZE(GNAME(alloc_8_to_esi))
 
-       .globl  GNAME(alloc_16_to_esi)
-       TYPE(GNAME(alloc_16_to_esi))
-       .align  align_4byte,0x90
-GNAME(alloc_16_to_esi):
-       pushl   %eax    # Save eax, ecx, and edx as C could destroy them.
-       pushl   %ecx
-       pushl   %edx
-       pushl   $16     # Push the size
-       call    GNAME(alloc)
-       addl    $4,%esp # pop the size arg.
-       movl    %eax,%esi       # setup the destination.
-       popl    %edx    # Restore eax, ecx and edx.
-       popl    %ecx
-       popl    %eax
-       ret
-       SIZE(GNAME(alloc_16_to_esi))
-
-
-       .globl  GNAME(alloc_to_edi)
-       TYPE(GNAME(alloc_to_edi))
-       .align  align_4byte,0x90
-GNAME(alloc_to_edi):
-       pushl   %eax    # Save eax, ecx, and edx as C could destroy them.
-       pushl   %ecx
-       pushl   %edx
-       pushl   %edi    # Push the size
-       call    GNAME(alloc)
-       addl    $4,%esp # pop the size arg.
-       movl    %eax,%edi       # setup the destination.
-       popl    %edx    # Restore eax, ecx and edx.
-       popl    %ecx
-       popl    %eax
-       ret
-       SIZE(GNAME(alloc_to_edi))
-
-       .globl  GNAME(alloc_8_to_edi)
-       TYPE(GNAME(alloc_8_to_edi))
-       .align  align_4byte,0x90
-GNAME(alloc_8_to_edi):
-       pushl   %eax    # Save eax, ecx, and edx as C could destroy them.
-       pushl   %ecx
-       pushl   %edx
-       pushl   $8      # Push the size
-       call    GNAME(alloc)
-       addl    $4,%esp # pop the size arg.
-       movl    %eax,%edi       # setup the destination.
-       popl    %edx    # Restore eax, ecx and edx.
-       popl    %ecx
-       popl    %eax
-       ret
-       SIZE(GNAME(alloc_8_to_edi))
+#ifdef LISP_FEATURE_DARWIN
+#define ALLOC(size)                                             \
+        pushl   %ebp;              /* Save EBP               */ \
+        movl    %esp,%ebp;         /* Save ESP to EBP        */ \
+        pushl   $0;                /* Reserve space for arg  */ \
+        andl    $0xfffffff0,%esp;  /* Align stack to 16bytes */ \
+        movl    size, (%esp);      /* Argument to alloc      */ \
+        call    GNAME(alloc);                                   \
+        movl    %ebp,%esp;         /* Restore ESP from EBP   */ \
+        popl    %ebp;              /* Restore EBP            */
+#else
+#define ALLOC(size)                                             \
+        pushl   size;              /* Argument to alloc      */ \
+        call    GNAME(alloc);                                   \
+        addl    $4,%esp;           /* Pop argument           */
+#endif
 
-       .globl  GNAME(alloc_16_to_edi)
-       TYPE(GNAME(alloc_16_to_edi))
-       .align  align_4byte,0x90
-GNAME(alloc_16_to_edi):
-       pushl   %eax    # Save eax, ecx, and edx as C could destroy them.
-       pushl   %ecx
-       pushl   %edx
-       pushl   $16     # Push the size
-       call    GNAME(alloc)
-       addl    $4,%esp # pop the size arg.
-       movl    %eax,%edi       # setup the destination.
-       popl    %edx    # Restore eax, ecx and edx.
-       popl    %ecx
-       popl    %eax
-       ret
-       SIZE(GNAME(alloc_16_to_edi))
+#define DEFINE_ALLOC_TO_EAX(name,size)                          \
+        .globl  GNAME(name);                                    \
+        TYPE(GNAME(name));                                      \
+        .align  align_16byte,0x90;                              \
+GNAME(name):                                                    \
+        pushl   %ecx;              /* Save ECX and EDX       */ \
+        pushl   %edx;                                           \
+        ALLOC(size)                                             \
+        popl    %edx;              /* Restore ECX and EDX    */ \
+        popl    %ecx;                                           \
+        ret;                                                    \
+        SIZE(GNAME(name))
+
+#define DEFINE_ALLOC_TO_ECX(name,size)                          \
+        .globl  GNAME(name);                                    \
+        TYPE(GNAME(name));                                      \
+        .align  align_16byte,0x90;                              \
+GNAME(name):                                                    \
+        pushl   %eax;              /* Save EAX and EDX       */ \
+        pushl   %edx;                                           \
+        ALLOC(size)                                             \
+        movl    %eax,%ecx;         /* Result to destination  */ \
+        popl    %edx;                                           \
+        popl    %eax;                                           \
+        ret;                                                    \
+        SIZE(GNAME(name))
+        
+#define DEFINE_ALLOC_TO_EDX(name,size)                          \
+        .globl  GNAME(name);                                    \
+        TYPE(GNAME(name));                                      \
+        .align  align_16byte,0x90;                              \
+GNAME(name):                                                    \
+        pushl   %eax;               /* Save EAX and ECX      */ \
+        pushl   %ecx;                                           \
+        ALLOC(size)                                             \
+        movl    %eax,%edx;          /* Restore EAX and ECX   */ \
+        popl    %ecx;                                           \
+        popl    %eax;                                           \
+        ret;                                                    \
+        SIZE(GNAME(name))
+
+#define DEFINE_ALLOC_TO_REG(name,reg,size)                      \
+        .globl  GNAME(name);                                    \
+        TYPE(GNAME(name));                                      \
+        .align  align_16byte,0x90;                              \
+GNAME(name):                                                    \
+        pushl   %eax;              /* Save EAX, ECX, and EDX */ \
+        pushl   %ecx;                                           \
+        pushl   %edx;                                           \
+        ALLOC(size)                                             \
+        movl    %eax,reg;          /* Restore them           */ \
+        popl    %edx;                                           \
+        popl    %ecx;                                           \
+        popl    %eax;                                           \
+        ret;                                                    \
+       SIZE(GNAME(name))
+
+DEFINE_ALLOC_TO_EAX(alloc_to_eax,%eax)
+DEFINE_ALLOC_TO_EAX(alloc_8_to_eax,$8)
+DEFINE_ALLOC_TO_EAX(alloc_16_to_eax,$16)
+
+DEFINE_ALLOC_TO_ECX(alloc_to_ecx,%ecx)
+DEFINE_ALLOC_TO_ECX(alloc_8_to_ecx,$8)
+DEFINE_ALLOC_TO_ECX(alloc_16_to_ecx,$16)
+
+DEFINE_ALLOC_TO_EDX(alloc_to_edx,%edx)
+DEFINE_ALLOC_TO_EDX(alloc_8_to_edx,$8)
+DEFINE_ALLOC_TO_EDX(alloc_16_to_edx,$16)
+
+DEFINE_ALLOC_TO_REG(alloc_to_ebx,%ebx,%ebx)
+DEFINE_ALLOC_TO_REG(alloc_8_to_ebx,%ebx,$8)
+DEFINE_ALLOC_TO_REG(alloc_16_to_ebx,%ebx,$16)
+
+DEFINE_ALLOC_TO_REG(alloc_to_esi,%esi,%esi)
+DEFINE_ALLOC_TO_REG(alloc_8_to_esi,%esi,$8)
+DEFINE_ALLOC_TO_REG(alloc_16_to_esi,%esi,$16)
+
+DEFINE_ALLOC_TO_REG(alloc_to_edi,%edi,%edi)
+DEFINE_ALLOC_TO_REG(alloc_8_to_edi,%edi,$8)
+DEFINE_ALLOC_TO_REG(alloc_16_to_edi,%edi,$16)
 
-       
 /* Called from lisp when an inline allocation overflows.
-   Every register except the result needs to be preserved.
-   We depend on C to preserve ebx, esi, edi, and ebp.
-   But where necessary must save eax, ecx, edx. */
+ * Every register except the result needs to be preserved.
+ * We depend on C to preserve ebx, esi, edi, and ebp.
+ * But where necessary must save eax, ecx, edx. */
 
 #ifdef LISP_FEATURE_SB_THREAD
 #define START_REGION %fs:THREAD_ALLOC_REGION_OFFSET
 #else
 #define START_REGION GNAME(boxed_region)
 #endif
-               
+
+#define ALLOC_OVERFLOW(size)                                    \
+        /* Calculate the size for the allocation. */            \
+        subl    START_REGION,size;                              \
+        ALLOC(size)
+
 /* This routine handles an overflow with eax=crfp+size. So the
    size=eax-crfp. */
-        .align  align_4byte
+        .align  align_16byte
         .globl  GNAME(alloc_overflow_eax)
        TYPE(GNAME(alloc_overflow_eax))
 GNAME(alloc_overflow_eax):
         pushl   %ecx            # Save ecx
         pushl   %edx            # Save edx
-        /* Calculate the size for the allocation. */
-        subl    START_REGION,%eax
-        pushl   %eax            # Push the size
-        call    GNAME(alloc)
-        addl    $4,%esp # pop the size arg.
+       ALLOC_OVERFLOW(%eax)
         popl    %edx    # Restore edx.
         popl    %ecx    # Restore ecx.
         ret
         SIZE(GNAME(alloc_overflow_eax))
 
-        .align  align_4byte
+        .align  align_16byte
         .globl  GNAME(alloc_overflow_ecx)
        TYPE(GNAME(alloc_overflow_ecx))
 GNAME(alloc_overflow_ecx):
         pushl   %eax            # Save eax
         pushl   %edx            # Save edx
-        /* Calculate the size for the allocation. */
-        subl    START_REGION,%ecx
-        pushl   %ecx            # Push the size
-        call    GNAME(alloc)
-        addl    $4,%esp # pop the size arg.
+       ALLOC_OVERFLOW(%ecx)
         movl    %eax,%ecx       # setup the destination.
         popl    %edx    # Restore edx.
         popl    %eax    # Restore eax.
         ret
         SIZE(GNAME(alloc_overflow_ecx))
 
-        .align  align_4byte
+        .align  align_16byte
         .globl  GNAME(alloc_overflow_edx)
         TYPE(GNAME(alloc_overflow_edx))
 GNAME(alloc_overflow_edx):
         pushl   %eax            # Save eax
         pushl   %ecx            # Save ecx
-        /* Calculate the size for the allocation. */
-        subl    START_REGION,%edx
-        pushl   %edx            # Push the size
-        call    GNAME(alloc)
-        addl    $4,%esp # pop the size arg.
+       ALLOC_OVERFLOW(%edx)
         movl    %eax,%edx       # setup the destination.
         popl    %ecx    # Restore ecx.
         popl    %eax    # Restore eax.
@@ -773,18 +587,14 @@ GNAME(alloc_overflow_edx):
 
 /* This routine handles an overflow with ebx=crfp+size. So the
    size=ebx-crfp. */
-        .align  align_4byte
+        .align  align_16byte
         .globl  GNAME(alloc_overflow_ebx)
         TYPE(GNAME(alloc_overflow_ebx))
 GNAME(alloc_overflow_ebx):
         pushl   %eax            # Save eax
         pushl   %ecx            # Save ecx
         pushl   %edx            # Save edx
-        /* Calculate the size for the allocation. */
-        subl    START_REGION,%ebx
-        pushl   %ebx            # Push the size
-        call    GNAME(alloc)
-        addl    $4,%esp # pop the size arg.
+       ALLOC_OVERFLOW(%ebx)
         movl    %eax,%ebx       # setup the destination.
         popl    %edx    # Restore edx.
         popl    %ecx    # Restore ecx.
@@ -794,18 +604,14 @@ GNAME(alloc_overflow_ebx):
 
 /* This routine handles an overflow with esi=crfp+size. So the
    size=esi-crfp. */
-        .align  align_4byte
+        .align  align_16byte
         .globl  GNAME(alloc_overflow_esi)
         TYPE(GNAME(alloc_overflow_esi))
 GNAME(alloc_overflow_esi):
         pushl   %eax            # Save eax
         pushl   %ecx            # Save ecx
         pushl   %edx            # Save edx
-        /* Calculate the size for the allocation. */
-        subl    START_REGION,%esi
-        pushl   %esi            # Push the size
-        call    GNAME(alloc)
-        addl    $4,%esp # pop the size arg.
+       ALLOC_OVERFLOW(%esi)
         movl    %eax,%esi       # setup the destination.
         popl    %edx    # Restore edx.
         popl    %ecx    # Restore ecx.
@@ -813,18 +619,14 @@ GNAME(alloc_overflow_esi):
         ret
         SIZE(GNAME(alloc_overflow_esi))
 
-        .align  align_4byte
+        .align  align_16byte
         .globl  GNAME(alloc_overflow_edi)
         TYPE(GNAME(alloc_overflow_edi))
 GNAME(alloc_overflow_edi):
         pushl   %eax            # Save eax
         pushl   %ecx            # Save ecx
         pushl   %edx            # Save edx
-        /* Calculate the size for the allocation. */
-        subl    START_REGION,%edi
-        pushl   %edi            # Push the size
-        call    GNAME(alloc)
-        addl    $4,%esp # pop the size arg.
+       ALLOC_OVERFLOW(%edi)
         movl    %eax,%edi       # setup the destination.
         popl    %edx    # Restore edx.
         popl    %ecx    # Restore ecx.
@@ -833,8 +635,45 @@ GNAME(alloc_overflow_edi):
         SIZE(GNAME(alloc_overflow_edi))
 
 
+#ifdef LISP_FEATURE_WIN32
+       /* The guts of the exception-handling system doesn't use
+        * frame pointers, which manages to throw off backtraces
+        * rather badly.  So here we grab the (known-good) EBP
+        * and EIP from the exception context and use it to fake
+        * up a stack frame which will skip over the system SEH
+        * code. */
+       .align  align_16byte
+       .globl  GNAME(exception_handler_wrapper)
+       TYPE(GNAME(exception_handler_wrapper))
+GNAME(exception_handler_wrapper):
+       /* Context layout is: */
+       /* 7 dwords before FSA. (0x1c) */
+       /* 8 dwords and 0x50 bytes in the FSA. (0x70/0x8c) */
+       /* 4 dwords segregs. (0x10/0x9c) */
+       /* 6 dwords non-stack GPRs. (0x18/0xb4) */
+       /* EBP (at 0xb4) */
+       /* EIP (at 0xb8) */
+#define CONTEXT_EBP_OFFSET 0xb4
+#define CONTEXT_EIP_OFFSET 0xb8
+       /* some other stuff we don't care about. */
+       pushl   %ebp
+       movl    0x10(%esp), %ebp        /* context */
+       pushl   CONTEXT_EIP_OFFSET(%ebp)
+       pushl   CONTEXT_EBP_OFFSET(%ebp)
+       movl    %esp, %ebp
+       pushl   0x1c(%esp)
+       pushl   0x1c(%esp)
+       pushl   0x1c(%esp)
+       pushl   0x1c(%esp)
+       call    GNAME(handle_exception)
+       lea     8(%ebp), %esp
+       popl    %ebp
+       ret
+       SIZE(GNAME(exception_handler_wrapper))
+#endif
+
 #ifdef LISP_FEATURE_DARWIN
-        .align align_4byte
+        .align align_16byte
         .globl GNAME(call_into_lisp_tramp)
         TYPE(GNAME(call_into_lisp_tramp))
 GNAME(call_into_lisp_tramp):
@@ -883,7 +722,7 @@ GNAME(call_into_lisp_tramp):
         SIZE(call_into_lisp_tramp)
 #endif
         
-       .align  align_4byte,0x90
+       .align  align_16byte,0x90
        .globl  GNAME(post_signal_tramp)
        TYPE(GNAME(post_signal_tramp))
 GNAME(post_signal_tramp):
@@ -901,39 +740,6 @@ GNAME(post_signal_tramp):
        ret
        SIZE(GNAME(post_signal_tramp))
 
-#ifdef LISP_FEATURE_WIN32
-       /*
-        * This is part of the funky magic for exception handling on win32.
-        * see sigtrap_emulator() in win32-os.c for details.
-        */
-       .globl GNAME(sigtrap_trampoline)
-GNAME(sigtrap_trampoline):
-       pushl   %eax
-       pushl   %ebp
-       movl    %esp, %ebp
-       call    GNAME(sigtrap_wrapper)
-       pop     %eax
-       pop     %eax
-       TRAP
-       .byte   trap_ContextRestore
-       hlt                     # We should never return here.
-        
-       /*
-        * This is part of the funky magic for exception handling on win32.
-        * see handle_exception() in win32-os.c for details.
-        */
-       .globl GNAME(exception_trampoline)
-GNAME(exception_trampoline):
-       pushl   %eax
-       pushl   %ebp
-       movl    %esp, %ebp
-       call    GNAME(handle_win32_exception_wrapper)
-       pop     %eax
-       pop     %eax
-       TRAP
-       .byte   trap_ContextRestore
-       hlt                     # We should never return here.
-#endif
 
         /* fast_bzero implementations and code to detect which implementation
          * to use.
@@ -941,7 +747,7 @@ GNAME(exception_trampoline):
 \f
        .globl GNAME(fast_bzero_pointer)
        .data
-        .align  align_4byte
+        .align  align_16byte
 GNAME(fast_bzero_pointer):
         /* Variable containing a pointer to the bzero function to use.
          * Initially points to a basic function.  Change this variable
@@ -949,7 +755,7 @@ GNAME(fast_bzero_pointer):
         .long GNAME(fast_bzero_base)
 \f
        .text
-       .align  align_8byte,0x90
+       .align  align_16byte,0x90
        .globl GNAME(fast_bzero)
        TYPE(GNAME(fast_bzero))
 GNAME(fast_bzero):        
@@ -959,7 +765,7 @@ GNAME(fast_bzero):
         
 \f      
        .text
-       .align  align_8byte,0x90
+       .align  align_16byte,0x90
        .globl GNAME(fast_bzero_detect)
        TYPE(GNAME(fast_bzero_detect))
 GNAME(fast_bzero_detect):
@@ -997,7 +803,7 @@ Lrestore:
         
 \f
        .text
-       .align  align_8byte,0x90
+       .align  align_16byte,0x90
        .globl GNAME(fast_bzero_sse)
        TYPE(GNAME(fast_bzero_sse))
         
@@ -1043,7 +849,7 @@ Lend_sse:
                 
 \f
        .text
-       .align  align_8byte,0x90
+       .align  align_16byte,0x90
        .globl GNAME(fast_bzero_base)
        TYPE(GNAME(fast_bzero_base))
         
@@ -1059,7 +865,6 @@ GNAME(fast_bzero_base):
         xor %eax, %eax            /* Zero EAX */
         shr $2, %ecx              /* Amount of 4-byte blocks to copy */
         jz  Lend_base
-        cld                       /* Set direction of STOSL to increment */
 
         rep
         stosl                     /* Store EAX to *EDI, ECX times, incrementing
@@ -1074,4 +879,3 @@ Lend_base:
         
 \f      
         END()
-        
\ No newline at end of file