1.0.41.21: runtime: Current stack and frame pointers are per-thread data.
[sbcl.git] / src / runtime / x86-64-arch.c
index 5f10060..bc25a9e 100644 (file)
 #include "interrupt.h"
 #include "interr.h"
 #include "breakpoint.h"
-#include "monitor.h"
 #include "thread.h"
+#include "pseudo-atomic.h"
 
 #include "genesis/static-symbols.h"
 #include "genesis/symbol.h"
 
 #define BREAKPOINT_INST 0xcc    /* INT3 */
+#define UD2_INST 0x0b0f         /* UD2 */
+
+#ifndef LISP_FEATURE_UD2_BREAKPOINTS
+#define BREAKPOINT_WIDTH 1
+#else
+#define BREAKPOINT_WIDTH 2
+#endif
 
 unsigned long fast_random_state = 1;
 
 void arch_init(void)
 {}
+
+os_vm_address_t
+arch_get_bad_addr(int sig, siginfo_t *code, os_context_t *context)
+{
+    return (os_vm_address_t)code->si_addr;
+}
+
 \f
 /*
  * hacking signal contexts
@@ -44,10 +58,10 @@ void arch_init(void)
  * want to get to, and on OS, which determines how we get to it.)
  */
 
-int *
+os_context_register_t *
 context_eflags_addr(os_context_t *context)
 {
-#if defined __linux__
+#if defined __linux__ || defined __sun
     /* KLUDGE: As of kernel 2.2.14 on Red Hat 6.2, there's code in the
      * <sys/ucontext.h> file to define symbolic names for offsets into
      * gregs[], but it's conditional on __USE_GNU and not defined, so
@@ -55,9 +69,13 @@ context_eflags_addr(os_context_t *context)
      * instead. */
     return &context->uc_mcontext.gregs[17];
 #elif defined __FreeBSD__
-    return &context->uc_mcontext.mc_eflags;
+    return &context->uc_mcontext.mc_rflags;
+#elif defined LISP_FEATURE_DARWIN
+    return CONTEXT_ADDR_FROM_STEM(rflags);
 #elif defined __OpenBSD__
-    return &context->sc_eflags;
+    return &context->sc_rflags;
+#elif defined __NetBSD__
+    return CONTEXT_ADDR_FROM_STEM(RFLAGS);
 #else
 #error unsupported OS
 #endif
@@ -94,11 +112,13 @@ void arch_skip_instruction(os_context_t *context)
 
         case trap_PendingInterrupt:
         case trap_Halt:
+        case trap_SingleStepAround:
+        case trap_SingleStepBefore:
             /* only needed to skip the Code */
             break;
 
         default:
-            fprintf(stderr,"[arch_skip_inst invalid code %d\n]\n",code);
+            fprintf(stderr,"[arch_skip_inst invalid code %ld\n]\n",code);
             break;
         }
 
@@ -116,14 +136,21 @@ arch_internal_error_arguments(os_context_t *context)
 boolean
 arch_pseudo_atomic_atomic(os_context_t *context)
 {
-    return SymbolValue(PSEUDO_ATOMIC_ATOMIC,arch_os_get_current_thread());
+    return get_pseudo_atomic_atomic(arch_os_get_current_thread());
 }
 
 void
 arch_set_pseudo_atomic_interrupted(os_context_t *context)
 {
-    SetSymbolValue(PSEUDO_ATOMIC_INTERRUPTED, make_fixnum(1),
-                   arch_os_get_current_thread());
+    struct thread *thread = arch_os_get_current_thread();
+    set_pseudo_atomic_interrupted(thread);
+}
+
+void
+arch_clear_pseudo_atomic_interrupted(os_context_t *context)
+{
+    struct thread *thread = arch_os_get_current_thread();
+    clear_pseudo_atomic_interrupted(thread);
 }
 \f
 /*
@@ -135,8 +162,14 @@ arch_install_breakpoint(void *pc)
 {
     unsigned int result = *(unsigned int*)pc;
 
+#ifndef LISP_FEATURE_UD2_BREAKPOINTS
     *(char*)pc = BREAKPOINT_INST;               /* x86 INT3       */
     *((char*)pc+1) = trap_Breakpoint;           /* Lisp trap code */
+#else
+    *(char*)pc = UD2_INST & 0xff;
+    *((char*)pc+1) = UD2_INST >> 8;
+    *((char*)pc+2) = trap_Breakpoint;
+#endif
 
     return result;
 }
@@ -146,15 +179,18 @@ arch_remove_breakpoint(void *pc, unsigned int orig_inst)
 {
     *((char *)pc) = orig_inst & 0xff;
     *((char *)pc + 1) = (orig_inst & 0xff00) >> 8;
+#if BREAKPOINT_WIDTH > 1
+    *((char *)pc + 2) = (orig_inst & 0xff0000) >> 16;
+#endif
 }
 \f
 /* When single stepping, single_stepping holds the original instruction
  * PC location. */
 unsigned int *single_stepping = NULL;
 #ifdef CANNOT_GET_TO_SINGLE_STEP_FLAG
-unsigned long  single_step_save1;
-unsigned long  single_step_save2;
-unsigned long  single_step_save3;
+unsigned int  single_step_save1;
+unsigned int  single_step_save2;
+unsigned int  single_step_save3;
 #endif
 
 void
@@ -163,8 +199,7 @@ arch_do_displaced_inst(os_context_t *context, unsigned int orig_inst)
     unsigned int *pc = (unsigned int*)(*os_context_pc_addr(context));
 
     /* Put the original instruction back. */
-    *((char *)pc) = orig_inst & 0xff;
-    *((char *)pc + 1) = (orig_inst & 0xff00) >> 8;
+    arch_remove_breakpoint(pc, orig_inst);
 
 #ifdef CANNOT_GET_TO_SINGLE_STEP_FLAG
     /* Install helper instructions for the single step:
@@ -182,21 +217,41 @@ arch_do_displaced_inst(os_context_t *context, unsigned int orig_inst)
     single_stepping = pc;
 
 #ifdef CANNOT_GET_TO_SINGLE_STEP_FLAG
-    *os_context_pc_addr(context) = (char *)pc - 9;
+    *os_context_pc_addr(context) = (os_context_register_t)((char *)pc - 9);
 #endif
 }
+
+void
+arch_handle_breakpoint(os_context_t *context)
+{
+    *os_context_pc_addr(context) -= BREAKPOINT_WIDTH;
+    handle_breakpoint(context);
+}
+
+void
+arch_handle_fun_end_breakpoint(os_context_t *context)
+{
+    *os_context_pc_addr(context) -= BREAKPOINT_WIDTH;
+    *os_context_pc_addr(context) =
+        (unsigned long)handle_fun_end_breakpoint(context);
+}
+
+void
+arch_handle_single_step_trap(os_context_t *context, int trap)
+{
+    arch_skip_instruction(context);
+    /* On x86-64 the fdefn / function is always in RAX, so we pass
+     * 0 as the register_offset. */
+    handle_single_step_trap(context, trap, 0);
+}
+
 \f
 void
-sigtrap_handler(int signal, siginfo_t *info, void *void_context)
+sigtrap_handler(int signal, siginfo_t *info, os_context_t *context)
 {
-    int code = info->si_code;
-    os_context_t *context = (os_context_t*)void_context;
     unsigned int trap;
 
-    if (single_stepping && (signal==SIGTRAP))
-    {
-        /* fprintf(stderr,"* single step trap %x\n", single_stepping); */
-
+    if (single_stepping) {
 #ifdef CANNOT_GET_TO_SINGLE_STEP_FLAG
         /* Un-install single step helper instructions. */
         *(single_stepping-3) = single_step_save1;
@@ -206,11 +261,13 @@ sigtrap_handler(int signal, siginfo_t *info, void *void_context)
         *context_eflags_addr(context) ^= 0x100;
 #endif
         /* Re-install the breakpoint if possible. */
-        if (*os_context_pc_addr(context) == (int)single_stepping + 1) {
+        if (((char *)*os_context_pc_addr(context) >
+             (char *)single_stepping) &&
+            ((char *)*os_context_pc_addr(context) <=
+             (char *)single_stepping + BREAKPOINT_WIDTH)) {
             fprintf(stderr, "warning: couldn't reinstall breakpoint\n");
         } else {
-            *((char *)single_stepping) = BREAKPOINT_INST;       /* x86 INT3 */
-            *((char *)single_stepping+1) = trap_Breakpoint;
+            arch_install_breakpoint(single_stepping);
         }
 
         single_stepping = NULL;
@@ -219,71 +276,82 @@ sigtrap_handler(int signal, siginfo_t *info, void *void_context)
 
     /* This is just for info in case the monitor wants to print an
      * approximation. */
-    current_control_stack_pointer =
+    access_control_stack_pointer(arch_os_get_current_thread()) =
         (lispobj *)*os_context_sp_addr(context);
 
-    /* FIXME: CMUCL puts the float control restoration code here.
-       Thus, it seems to me that single-stepping won't restore the
-       float control.  Since SBCL currently doesn't support
-       single-stepping (as far as I can tell) this is somewhat moot,
-       but it might be worth either moving this code up or deleting
-       the single-stepping code entirely.  -- CSR, 2002-07-15 */
-#ifdef LISP_FEATURE_LINUX
-    os_restore_fp_control(context);
-#endif
-
     /* On entry %eip points just after the INT3 byte and aims at the
      * 'kind' value (eg trap_Cerror). For error-trap and Cerror-trap a
      * number of bytes will follow, the first is the length of the byte
      * arguments to follow. */
     trap = *(unsigned char *)(*os_context_pc_addr(context));
-    switch (trap) {
-
-    case trap_PendingInterrupt:
-        FSHOW((stderr, "/<trap pending interrupt>\n"));
-        arch_skip_instruction(context);
-        interrupt_handle_pending(context);
-        break;
-
-    case trap_Halt:
-        /* Note: the old CMU CL code tried to save FPU state
-         * here, and restore it after we do our thing, but there
-         * seems to be no point in doing that, since we're just
-         * going to lose(..) anyway. */
-        fake_foreign_function_call(context);
-        lose("%%PRIMITIVE HALT called; the party is over.");
-
-    case trap_Error:
-    case trap_Cerror:
-        FSHOW((stderr, "<trap error/cerror %d>\n", code));
-        interrupt_internal_error(signal, info, context, code==trap_Cerror);
-        break;
-
-    case trap_Breakpoint:
-        --*os_context_pc_addr(context);
-        handle_breakpoint(signal, info, context);
-        break;
-
-    case trap_FunEndBreakpoint:
-        --*os_context_pc_addr(context);
-        *os_context_pc_addr(context) =
-            (unsigned long)handle_fun_end_breakpoint(signal, info, context);
-        break;
-
-    default:
-        FSHOW((stderr,"/[C--trap default %d %d %x]\n",
-               signal, code, context));
-        interrupt_handle_now(signal, info, context);
-        break;
+
+    handle_trap(context, trap);
+}
+
+void
+sigill_handler(int signal, siginfo_t *siginfo, os_context_t *context) {
+    /* Triggering SIGTRAP using int3 is unreliable on OS X/x86, so
+     * we need to use illegal instructions for traps.
+     */
+#if defined(LISP_FEATURE_UD2_BREAKPOINTS) && !defined(LISP_FEATURE_MACH_EXCEPTION_HANDLER)
+    if (*((unsigned short *)*os_context_pc_addr(context)) == UD2_INST) {
+        *os_context_pc_addr(context) += 2;
+        return sigtrap_handler(signal, siginfo, context);
     }
+#endif
+
+    fake_foreign_function_call(context);
+    lose("Unhandled SIGILL.");
+}
+
+#ifdef X86_64_SIGFPE_FIXUP
+#define MXCSR_IE (0x01)         /* Invalid Operation */
+#define MXCSR_DE (0x02)         /* Denormal */
+#define MXCSR_ZE (0x04)         /* Devide-by-Zero */
+#define MXCSR_OE (0x08)         /* Overflow */
+#define MXCSR_UE (0x10)         /* Underflow */
+#define MXCSR_PE (0x20)         /* Precision */
+
+static inline int
+mxcsr_to_code(unsigned int mxcsr)
+{
+    /* Extract unmasked exception bits. */
+    mxcsr &= ~(mxcsr >> 7) & 0x3F;
+
+    /* This order is defined at "Intel 64 and IA-32 Architectures
+     * Software Developerfs Manual" Volume 1: "Basic Architecture",
+     * 4.9.2 "Floating-Point Exception Priority". */
+    if (mxcsr & MXCSR_IE)
+        return FPE_FLTINV;
+    else if (mxcsr & MXCSR_ZE)
+        return FPE_FLTDIV;
+    else if (mxcsr & MXCSR_DE)
+        return FPE_FLTUND;
+    else if (mxcsr & MXCSR_OE)
+        return FPE_FLTOVF;
+    else if (mxcsr & MXCSR_UE)
+        return FPE_FLTUND;
+    else if (mxcsr & MXCSR_PE)
+        return FPE_FLTRES;
+
+    return 0;
 }
 
 static void
-sigill_handler(int signal, siginfo_t *siginfo, void *void_context) {
-    os_context_t *context = (os_context_t*)void_context;
-    fake_foreign_function_call(context);
-    monitor_or_something();
+sigfpe_handler(int signal, siginfo_t *siginfo, os_context_t *context)
+{
+    unsigned int *mxcsr = arch_os_context_mxcsr_addr(context);
+
+    if (siginfo->si_code == 0) { /* XMM exception */
+        siginfo->si_code = mxcsr_to_code(*mxcsr);
+
+        /* Clear sticky exception flag. */
+        *mxcsr &= ~0x3F;
+    }
+
+    interrupt_handle_now(signal, siginfo, context);
 }
+#endif
 
 void
 arch_install_interrupt_handlers()
@@ -300,59 +368,18 @@ arch_install_interrupt_handlers()
      * OS I haven't tested on?) and we have to go back to the old CMU
      * CL way, I hope there will at least be a comment to explain
      * why.. -- WHN 2001-06-07 */
+#if !defined(LISP_FEATURE_MACH_EXCEPTION_HANDLER)
     undoably_install_low_level_interrupt_handler(SIGILL , sigill_handler);
     undoably_install_low_level_interrupt_handler(SIGTRAP, sigtrap_handler);
+#endif
+
+#ifdef X86_64_SIGFPE_FIXUP
+    undoably_install_low_level_interrupt_handler(SIGFPE, sigfpe_handler);
+#endif
 
     SHOW("returning from arch_install_interrupt_handlers()");
 }
 \f
-/* This is implemented in assembly language and called from C: */
-extern lispobj
-call_into_lisp(lispobj fun, lispobj *args, int nargs);
-
-/* These functions are an interface to the Lisp call-in facility.
- * Since this is C we can know nothing about the calling environment.
- * The control stack might be the C stack if called from the monitor
- * or the Lisp stack if called as a result of an interrupt or maybe
- * even a separate stack. The args are most likely on that stack but
- * could be in registers depending on what the compiler likes. So we
- * copy the args into a portable vector and let the assembly language
- * call-in function figure it out. */
-
-lispobj
-funcall0(lispobj function)
-{
-    lispobj *args = NULL;
-
-    FSHOW((stderr, "/entering funcall0(0x%lx)\n", (long)function));
-    return call_into_lisp(function, args, 0);
-}
-lispobj
-funcall1(lispobj function, lispobj arg0)
-{
-    lispobj args[1];
-    args[0] = arg0;
-    return call_into_lisp(function, args, 1);
-}
-lispobj
-funcall2(lispobj function, lispobj arg0, lispobj arg1)
-{
-    lispobj args[2];
-    args[0] = arg0;
-    args[1] = arg1;
-    return call_into_lisp(function, args, 2);
-}
-lispobj
-funcall3(lispobj function, lispobj arg0, lispobj arg1, lispobj arg2)
-{
-    lispobj args[3];
-    args[0] = arg0;
-    args[1] = arg1;
-    args[2] = arg2;
-    return call_into_lisp(function, args, 3);
-}
-
-
 #ifdef LISP_FEATURE_LINKAGE_TABLE
 /* FIXME: It might be cleaner to generate these from the lisp side of
  * things.