1.0.37.8: add ATOMIC-DECF, fix WAIT-ON-SEMAPHORE-BUGLET
[sbcl.git] / src / code / target-thread.lisp
index 61ea1af..eaf1692 100644 (file)
 
 (in-package "SB!THREAD")
 
+;;; Conditions
+
+(define-condition thread-error (error)
+  ((thread :reader thread-error-thread :initarg :thread))
+  #!+sb-doc
+  (:documentation
+   "Conditions of type THREAD-ERROR are signalled when thread operations fail.
+The offending thread is initialized by the :THREAD initialization argument and
+read by the function THREAD-ERROR-THREAD."))
+
+#!+sb-doc
+(setf
+ (fdocumentation 'thread-error-thread 'function)
+ "Return the offending thread that the THREAD-ERROR pertains to.")
+
+(define-condition symbol-value-in-thread-error (cell-error thread-error)
+  ((info :reader symbol-value-in-thread-error-info :initarg :info))
+  (:report
+   (lambda (condition stream)
+     (destructuring-bind (op problem)
+         (symbol-value-in-thread-error-info condition)
+       (format stream "Cannot ~(~A~) value of ~S in ~S: ~S"
+               op
+               (cell-error-name condition)
+               (thread-error-thread condition)
+               (ecase problem
+                 (:unbound-in-thread "the symbol is unbound in thread.")
+                 (:no-tls-value "the symbol has no thread-local value.")
+                 (:thread-dead "the thread has exited.")
+                 (:invalid-tls-value "the thread-local value is not valid."))))))
+  #!+sb-doc
+  (:documentation
+   "Signalled when SYMBOL-VALUE-IN-THREAD or its SETF version fails due to eg.
+the symbol not having a thread-local value, or the target thread having
+exited. The offending symbol can be accessed using CELL-ERROR-NAME, and the
+offending thread using THREAD-ERROR-THREAD."))
+
+(define-condition join-thread-error (thread-error) ()
+  (:report (lambda (c s)
+             (format s "Joining thread failed: thread ~A ~
+                        did not return normally."
+                     (thread-error-thread c))))
+  #!+sb-doc
+  (:documentation
+   "Signalled when joining a thread fails due to abnormal exit of the thread
+to be joined. The offending thread can be accessed using
+THREAD-ERROR-THREAD."))
+
+(defun join-thread-error-thread (condition)
+  (thread-error-thread condition))
+(define-compiler-macro join-thread-error-thread (condition)
+  (deprecation-warning 'join-thread-error-thread 'thread-error-thread)
+  `(thread-error-thread ,condition))
+
+#!+sb-doc
+(setf
+ (fdocumentation 'join-thread-error-thread 'function)
+ "The thread that we failed to join. Deprecated, use THREAD-ERROR-THREAD
+instead.")
+
+(define-condition interrupt-thread-error (thread-error) ()
+  (:report (lambda (c s)
+             (format s "Interrupt thread failed: thread ~A has exited."
+                     (thread-error-thread c))))
+  #!+sb-doc
+  (:documentation
+   "Signalled when interrupting a thread fails because the thread has already
+exited. The offending thread can be accessed using THREAD-ERROR-THREAD."))
+
+(defun interrupt-thread-error-thread (condition)
+  (thread-error-thread condition))
+(define-compiler-macro interrupt-thread-error-thread (condition)
+  (deprecation-warning 'join-thread-error-thread 'thread-error-thread)
+  `(thread-error-thread ,condition))
+
+#!+sb-doc
+(setf
+ (fdocumentation 'interrupt-thread-error-thread 'function)
+ "The thread that was not interrupted. Deprecated, use THREAD-ERROR-THREAD
+instead.")
+
 ;;; Of the WITH-PINNED-OBJECTS in this file, not every single one is
 ;;; necessary because threads are only supported with the conservative
 ;;; gencgc and numbers on the stack (returned by GET-LISP-OBJ-ADDRESS)
 (setf (fdocumentation '*current-thread* 'variable)
       "Bound in each thread to the thread itself.")
 
-(defstruct (thread (:constructor %make-thread))
-  #!+sb-doc
-  "Thread type. Do not rely on threads being structs as it may change
-in future versions."
-  name
-  %alive-p
-  os-thread
-  interruptions
-  (interruptions-lock (make-mutex :name "thread interruptions lock"))
-  result
-  (result-lock (make-mutex :name "thread result lock")))
-
 #!+sb-doc
-(setf (fdocumentation 'thread-name 'function)
-      "The name of the thread. Setfable.")
+(setf
+ (fdocumentation 'thread-name 'function)
+ "Name of the thread. Can be assigned to using SETF. Thread names can be
+arbitrary printable objects, and need not be unique.")
 
 (def!method print-object ((thread thread) stream)
   (print-unreadable-object (thread stream :type t :identity t)
     (let* ((cookie (list thread))
            (info (if (thread-alive-p thread)
                      :running
-                     (multiple-value-list (join-thread thread :default cookie))))
+                     (multiple-value-list
+                      (join-thread thread :default cookie))))
            (state (if (eq :running info)
                       info
                       (if (eq cookie (car info))
                           :aborted
                           :finished)))
            (values (when (eq :finished state) info)))
-      (format stream "~@[~S ~]~:[~A~;~A~:[ no values~; values: ~:*~{~S~^, ~}~]~]"
+      (format stream
+              "~@[~S ~]~:[~A~;~A~:[ no values~; values: ~:*~{~S~^, ~}~]~]"
               (thread-name thread)
               (eq :finished state)
               state
@@ -58,7 +131,9 @@ in future versions."
 
 (defun thread-alive-p (thread)
   #!+sb-doc
-  "Check if THREAD is running."
+  "Return T if THREAD is still alive. Note that the return value is
+potentially stale even before the function returns, as the thread may exit at
+any time."
   (thread-%alive-p thread))
 
 ;; A thread is eligible for gc iff it has finished and there are no
@@ -75,7 +150,9 @@ in future versions."
 
 (defun list-all-threads ()
   #!+sb-doc
-  "Return a list of the live threads."
+  "Return a list of the live threads. Note that the return value is
+potentially stale even before the function returns, as new threads may be
+created and old ones may exit at any time."
   (with-all-threads-lock
     (copy-list *all-threads*)))
 
@@ -85,8 +162,10 @@ in future versions."
 
 (declaim (inline current-thread-os-thread))
 (defun current-thread-os-thread ()
-  (sap-int
-   (sb!vm::current-thread-offset-sap sb!vm::thread-os-thread-slot)))
+  #!+sb-thread
+  (sap-int (sb!vm::current-thread-offset-sap sb!vm::thread-os-thread-slot))
+  #!-sb-thread
+  0)
 
 (defun init-initial-thread ()
   (/show0 "Entering INIT-INITIAL-THREAD")
@@ -98,8 +177,14 @@ in future versions."
     ;; in case we are in reinit since saving core with multiple
     ;; threads doesn't work.
     (setq *all-threads* (list initial-thread))))
+\f
 
-;;;;
+;;;; Aliens, low level stuff
+
+(define-alien-routine "kill_safely"
+    integer
+  (os-thread #!-alpha unsigned-long #!+alpha unsigned-int)
+  (signal int))
 
 #!+sb-thread
 (progn
@@ -110,11 +195,14 @@ in future versions."
   (define-alien-routine ("create_thread" %create-thread)
       unsigned-long (lisp-fun-address unsigned-long))
 
-  (define-alien-routine "signal_interrupt_thread"
-      integer (os-thread unsigned-long))
+  (declaim (inline %block-deferrable-signals))
+  (define-alien-routine ("block_deferrable_signals" %block-deferrable-signals)
+      void
+    (where sb!alien:unsigned-long)
+    (old sb!alien:unsigned-long))
 
-  (define-alien-routine "block_deferrable_signals"
-      void)
+  (defun block-deferrable-signals ()
+    (%block-deferrable-signals 0 0))
 
   #!+sb-lutex
   (progn
@@ -191,10 +279,13 @@ in future versions."
 (defun sb!vm::current-thread-offset-sap (n)
   (declare (type (unsigned-byte 27) n))
   (sb!vm::current-thread-offset-sap n))
+\f
+
+;;;; Spinlocks
 
 (declaim (inline get-spinlock release-spinlock))
 
-;; Should always be called with interrupts disabled.
+;;; Should always be called with interrupts disabled.
 (defun get-spinlock (spinlock)
   (declare (optimize (speed 3) (safety 0)))
   (let* ((new *current-thread*)
@@ -204,23 +295,40 @@ in future versions."
         (error "Recursive lock attempt on ~S." spinlock))
       #!+sb-thread
       (flet ((cas ()
-               (unless (sb!ext:compare-and-swap (spinlock-value spinlock) nil new)
-                 (return-from get-spinlock t))))
+               (if (sb!ext:compare-and-swap (spinlock-value spinlock) nil new)
+                   (thread-yield)
+                   (return-from get-spinlock t))))
         (if (and (not *interrupts-enabled*) *allow-with-interrupts*)
-            ;; If interrupts are enabled, but we are allowed to enabled them,
-            ;; check for pending interrupts every once in a while.
-            (loop
-              (loop repeat 128 do (cas)) ; 128 is arbitrary here
-              (sb!unix::%check-interrupts))
+            ;; If interrupts are disabled, but we are allowed to
+            ;; enabled them, check for pending interrupts every once
+            ;; in a while. %CHECK-INTERRUPTS is taking shortcuts, make
+            ;; sure that deferrables are unblocked by doing an empty
+            ;; WITH-INTERRUPTS once.
+            (progn
+              (with-interrupts)
+              (loop
+               (loop repeat 128 do (cas)) ; 128 is arbitrary here
+               (sb!unix::%check-interrupts)))
             (loop (cas)))))
     t))
 
 (defun release-spinlock (spinlock)
   (declare (optimize (speed 3) (safety 0)))
-  (setf (spinlock-value spinlock) nil)
-  nil)
-
-;;;; mutexes
+  ;; On x86 and x86-64 we can get away with no memory barriers, (see
+  ;; Linux kernel mailing list "spin_unlock optimization(i386)"
+  ;; thread, summary at
+  ;; http://kt.iserv.nl/kernel-traffic/kt19991220_47.html#1.
+  ;;
+  ;; If the compiler may reorder this with other instructions, insert
+  ;; compiler barrier here.
+  ;;
+  ;; FIXME: this does not work on SMP Pentium Pro and OOSTORE systems,
+  ;; neither on most non-x86 architectures (but we don't have threads
+  ;; on those).
+  (setf (spinlock-value spinlock) nil))
+\f
+
+;;;; Mutexes
 
 #!+sb-doc
 (setf (fdocumentation 'make-mutex 'function)
@@ -239,6 +347,15 @@ in future versions."
   (defconstant +lock-taken+ 1)
   (defconstant +lock-contested+ 2))
 
+(defun mutex-owner (mutex)
+  "Current owner of the mutex, NIL if the mutex is free. Naturally,
+this is racy by design (another thread may acquire the mutex after
+this function returns), it is intended for informative purposes. For
+testing whether the current thread is holding a mutex see
+HOLDING-MUTEX-P."
+  ;; Make sure to get the current value.
+  (sb!ext:compare-and-swap (mutex-%owner mutex) nil nil))
+
 (defun get-mutex (mutex &optional (new-owner *current-thread*) (waitp t))
   #!+sb-doc
   "Acquire MUTEX for NEW-OWNER, which must be a thread or NIL. If
@@ -265,8 +382,14 @@ directly."
            #!-sb-thread (ignore waitp))
   (unless new-owner
     (setq new-owner *current-thread*))
-  (when (eql new-owner (mutex-%owner mutex))
-    (error "Recursive lock attempt ~S." mutex))
+  (let ((old (mutex-%owner mutex)))
+    (when (eq new-owner old)
+      (error "Recursive lock attempt ~S." mutex))
+    #!-sb-thread
+    (when old
+      (error "Strange deadlock on ~S in an unithreaded build?" mutex)))
+  #!-sb-thread
+  (setf (mutex-%owner mutex) new-owner)
   #!+sb-thread
   (progn
     ;; FIXME: Lutexes do not currently support deadlines, as at least
@@ -286,6 +409,8 @@ directly."
       (setf (mutex-%owner mutex) new-owner)
       t)
     #!-sb-lutex
+    ;; This is a direct translation of the Mutex 2 algorithm from
+    ;; "Futexes are Tricky" by Ulrich Drepper.
     (let ((old (sb!ext:compare-and-swap (mutex-state mutex)
                                         +lock-free+
                                         +lock-taken+)))
@@ -298,13 +423,16 @@ directly."
                                                         +lock-taken+
                                                         +lock-contested+))))
              ;; Wait on the contested lock.
-             (multiple-value-bind (to-sec to-usec) (decode-timeout nil)
-               (when (= 1 (with-pinned-objects (mutex)
-                            (futex-wait (mutex-state-address mutex)
-                                        (get-lisp-obj-address +lock-contested+)
-                                        (or to-sec -1)
-                                        (or to-usec 0))))
-                 (signal-deadline))))
+             (loop
+              (multiple-value-bind (to-sec to-usec) (decode-timeout nil)
+                (case (with-pinned-objects (mutex)
+                        (futex-wait (mutex-state-address mutex)
+                                    (get-lisp-obj-address +lock-contested+)
+                                    (or to-sec -1)
+                                    (or to-usec 0)))
+                  ((1) (signal-deadline))
+                  ((2))
+                  (otherwise (return))))))
            (setf old (sb!ext:compare-and-swap (mutex-state mutex)
                                               +lock-free+
                                               +lock-contested+))
@@ -320,7 +448,7 @@ directly."
             (waitp
              (bug "Failed to acquire lock with WAITP."))))))
 
-(defun release-mutex (mutex)
+(defun release-mutex (mutex &key (if-not-owner :punt))
   #!+sb-doc
   "Release MUTEX by setting it to NIL. Wake up threads waiting for
 this mutex.
@@ -328,31 +456,46 @@ this mutex.
 RELEASE-MUTEX is not interrupt safe: interrupts should be disabled
 around calls to it.
 
-Signals a WARNING is current thread is not the current owner of the
-mutex."
+If the current thread is not the owner of the mutex then it silently
+returns without doing anything (if IF-NOT-OWNER is :PUNT), signals a
+WARNING (if IF-NOT-OWNER is :WARN), or releases the mutex anyway (if
+IF-NOT-OWNER is :FORCE)."
   (declare (type mutex mutex))
   ;; Order matters: set owner to NIL before releasing state.
   (let* ((self *current-thread*)
          (old-owner (sb!ext:compare-and-swap (mutex-%owner mutex) self nil)))
-    (unless  (eql self old-owner)
-      (warn "Releasing ~S, owned by another thread: ~S" mutex old-owner)
-      (setf (mutex-%owner mutex) nil)))
-  #!+sb-thread
-  (progn
-    #!+sb-lutex
-    (with-lutex-address (lutex (mutex-lutex mutex))
-      (%lutex-unlock lutex))
-    #!-sb-lutex
-    (let ((old (sb!ext:compare-and-swap (mutex-state mutex)
-                                        +lock-taken+ +lock-free+)))
-      (when (eql old +lock-contested+)
-        (sb!ext:compare-and-swap (mutex-state mutex)
-                                 +lock-contested+ +lock-free+)
-        (with-pinned-objects (mutex)
-          (futex-wake (mutex-state-address mutex) 1))))
-    nil))
-
-;;;; waitqueues/condition variables
+    (unless (eql self old-owner)
+      (ecase if-not-owner
+        ((:punt) (return-from release-mutex nil))
+        ((:warn)
+         (warn "Releasing ~S, owned by another thread: ~S" mutex old-owner))
+        ((:force))))
+    #!+sb-thread
+    (when old-owner
+      (setf (mutex-%owner mutex) nil)
+      #!+sb-lutex
+      (with-lutex-address (lutex (mutex-lutex mutex))
+        (%lutex-unlock lutex))
+      #!-sb-lutex
+      ;; FIXME: once ATOMIC-INCF supports struct slots with word sized
+      ;; unsigned-byte type this can be used:
+      ;;
+      ;;     (let ((old (sb!ext:atomic-incf (mutex-state mutex) -1)))
+      ;;       (unless (eql old +lock-free+)
+      ;;         (setf (mutex-state mutex) +lock-free+)
+      ;;         (with-pinned-objects (mutex)
+      ;;           (futex-wake (mutex-state-address mutex) 1))))
+      (let ((old (sb!ext:compare-and-swap (mutex-state mutex)
+                                          +lock-taken+ +lock-free+)))
+        (when (eql old +lock-contested+)
+          (sb!ext:compare-and-swap (mutex-state mutex)
+                                   +lock-contested+ +lock-free+)
+          (with-pinned-objects (mutex)
+            (futex-wake (mutex-state-address mutex) 1))))
+      nil)))
+\f
+
+;;;; Waitqueues/condition variables
 
 (defstruct (waitqueue (:constructor %make-waitqueue))
   #!+sb-doc
@@ -381,50 +524,85 @@ mutex."
   #!+sb-doc
   "Atomically release MUTEX and enqueue ourselves on QUEUE.  Another
 thread may subsequently notify us using CONDITION-NOTIFY, at which
-time we reacquire MUTEX and return to the caller."
+time we reacquire MUTEX and return to the caller.
+
+Note that if CONDITION-WAIT unwinds (due to eg. a timeout) instead of
+returning normally, it may do so without holding the mutex."
   #!-sb-thread (declare (ignore queue))
   (assert mutex)
   #!-sb-thread (error "Not supported in unithread builds.")
   #!+sb-thread
-  (let ((owner (mutex-%owner mutex)))
+  (let ((me *current-thread*))
+    (assert (eq me (mutex-%owner mutex)))
     (/show0 "CONDITION-WAITing")
     #!+sb-lutex
-    (progn
-      ;; FIXME: This doesn't look interrupt safe!
-      (setf (mutex-%owner mutex) nil)
-      (with-lutex-address (queue-lutex-address (waitqueue-lutex queue))
-        (with-lutex-address (mutex-lutex-address (mutex-lutex mutex))
-          (%lutex-wait queue-lutex-address mutex-lutex-address)))
-      (setf (mutex-%owner mutex) owner))
+    ;; Need to disable interrupts so that we don't miss setting the
+    ;; owner on our way out. (pthread_cond_wait handles the actual
+    ;; re-acquisition.)
+    (without-interrupts
+      (unwind-protect
+           (progn
+             (setf (mutex-%owner mutex) nil)
+             (with-lutex-address (queue-lutex-address (waitqueue-lutex queue))
+               (with-lutex-address (mutex-lutex-address (mutex-lutex mutex))
+                 (with-local-interrupts
+                   (%lutex-wait queue-lutex-address mutex-lutex-address)))))
+        (setf (mutex-%owner mutex) me)))
     #!-sb-lutex
-    (unwind-protect
-         (let ((me *current-thread*))
-           ;; FIXME: should we do something to ensure that the result
-           ;; of this setf is visible to all CPUs?
-           (setf (waitqueue-data queue) me)
-           (release-mutex mutex)
-           ;; Now we go to sleep using futex-wait.  If anyone else
-           ;; manages to grab MUTEX and call CONDITION-NOTIFY during
-           ;; this comment, it will change queue->data, and so
-           ;; futex-wait returns immediately instead of sleeping.
-           ;; Ergo, no lost wakeup. We may get spurious wakeups,
-           ;; but that's ok.
-           (multiple-value-bind (to-sec to-usec) (decode-timeout nil)
-             (when (= 1 (with-pinned-objects (queue me)
+    ;; Need to disable interrupts so that we don't miss grabbing the
+    ;; mutex on our way out.
+    (without-interrupts
+      (let ((me nil))
+        ;; This setf becomes visible to other CPUS due to the usual
+        ;; memory barrier semantics of lock acquire/release. This must
+        ;; not be moved into the loop else wakeups may be lost upon
+        ;; continuing after a deadline or EINTR.
+        (setf (waitqueue-data queue) me)
+        (loop
+         (multiple-value-bind (to-sec to-usec)
+             (allow-with-interrupts (decode-timeout nil))
+           (case (unwind-protect
+                      (with-pinned-objects (queue me)
+                        ;; RELEASE-MUTEX is purposefully as close to
+                        ;; FUTEX-WAIT as possible to reduce the size
+                        ;; of the window where WAITQUEUE-DATA may be
+                        ;; set by a notifier.
+                        (release-mutex mutex)
+                        ;; Now we go to sleep using futex-wait. If
+                        ;; anyone else manages to grab MUTEX and call
+                        ;; CONDITION-NOTIFY during this comment, it
+                        ;; will change queue->data, and so futex-wait
+                        ;; returns immediately instead of sleeping.
+                        ;; Ergo, no lost wakeup. We may get spurious
+                        ;; wakeups, but that's ok.
+                        (allow-with-interrupts
                           (futex-wait (waitqueue-data-address queue)
                                       (get-lisp-obj-address me)
-                                      (or to-sec -1) ;; our way if saying "no timeout"
+                                      ;; our way of saying "no
+                                      ;; timeout":
+                                      (or to-sec -1)
                                       (or to-usec 0))))
-               (signal-deadline))))
-      ;; If we are interrupted while waiting, we should do these things
-      ;; before returning.  Ideally, in the case of an unhandled signal,
-      ;; we should do them before entering the debugger, but this is
-      ;; better than nothing.
-      (get-mutex mutex owner))))
+                   ;; If we are interrupted while waiting, we should
+                   ;; do these things before returning. Ideally, in
+                   ;; the case of an unhandled signal, we should do
+                   ;; them before entering the debugger, but this is
+                   ;; better than nothing.
+                   (allow-with-interrupts (get-mutex mutex)))
+             ;; ETIMEDOUT; we know it was a timeout, yet we cannot
+             ;; signal a deadline unconditionally here because the
+             ;; call to GET-MUTEX may already have signaled it.
+             ((1))
+             ;; EINTR
+             ((2))
+             ;; EWOULDBLOCK, -1 here, is the possible spurious wakeup
+             ;; case. 0 is the normal wakeup.
+             (otherwise (return)))))))))
 
 (defun condition-notify (queue &optional (n 1))
   #!+sb-doc
-  "Notify N threads waiting on QUEUE."
+  "Notify N threads waiting on QUEUE. The same mutex that is used in
+the corresponding CONDITION-WAIT must be held by this thread during
+this call."
   #!-sb-thread (declare (ignore queue n))
   #!-sb-thread (error "Not supported in unithread builds.")
   #!+sb-thread
@@ -451,12 +629,13 @@ time we reacquire MUTEX and return to the caller."
   #!+sb-doc
   "Notify all threads waiting on QUEUE."
   (condition-notify queue
-                    ;; On a 64-bit platform truncating M-P-F to an int results
-                    ;; in -1, which wakes up only one thread.
+                    ;; On a 64-bit platform truncating M-P-F to an int
+                    ;; results in -1, which wakes up only one thread.
                     (ldb (byte 29 0)
                          most-positive-fixnum)))
+\f
 
-;;;; semaphores
+;;;; Semaphores
 
 (defstruct (semaphore (:constructor %make-semaphore (name %count)))
   #!+sb-doc
@@ -465,6 +644,7 @@ should be considered an implementation detail, and may change in the
 future."
   (name nil :type (or null simple-string))
   (%count 0 :type (integer 0))
+  (waitcount 0 :type (integer 0))
   (mutex (make-mutex))
   (queue (make-waitqueue)))
 
@@ -485,23 +665,55 @@ future."
   #!+sb-doc
   "Decrement the count of SEMAPHORE if the count would not be
 negative. Else blocks until the semaphore can be decremented."
-  ;; a more direct implementation based directly on futexes should be
-  ;; possible
+  ;; A more direct implementation based directly on futexes should be
+  ;; possible.
+  ;;
+  ;; We need to disable interrupts so that we don't forget to
+  ;; decrement the waitcount (which would happen if an asynch
+  ;; interrupt should catch us on our way out from the loop.)
+  (with-system-mutex ((semaphore-mutex semaphore) :allow-with-interrupts t)
+    ;; Quick check: is it positive? If not, enter the wait loop.
+    (let ((count (semaphore-%count semaphore)))
+      (if (plusp count)
+          (setf (semaphore-%count semaphore) (1- count))
+          (unwind-protect
+               (progn
+                 (incf (semaphore-waitcount semaphore))
+                 (loop until (plusp (setf count (semaphore-%count semaphore)))
+                       do (condition-wait (semaphore-queue semaphore)
+                                          (semaphore-mutex semaphore)))
+                 (setf (semaphore-%count semaphore) (1- count)))
+            ;; Need to use ATOMIC-DECF instead of DECF, as CONDITION-WAIT
+            ;; may unwind without the lock being held due to timeouts.
+            (atomic-decf (semaphore-waitcount semaphore)))))))
+
+(defun try-semaphore (semaphore)
+  #!+sb-doc
+  "Try to decrement the count of SEMAPHORE if the count would not be
+negative. Else return NIL."
+  ;; No need for disabling interrupts; the mutex prevents interleaved
+  ;; modifications, and we don't leave temporarily inconsistent state
+  ;; around.
   (with-mutex ((semaphore-mutex semaphore))
-    (loop until (> (semaphore-%count semaphore) 0)
-          do (condition-wait (semaphore-queue semaphore) (semaphore-mutex semaphore))
-          finally (decf (semaphore-%count semaphore)))))
+    (let ((count (semaphore-%count semaphore)))
+      (when (plusp count)
+        (setf (semaphore-%count semaphore) (1- count))))))
 
 (defun signal-semaphore (semaphore &optional (n 1))
   #!+sb-doc
   "Increment the count of SEMAPHORE by N. If there are threads waiting
 on this semaphore, then N of them is woken up."
   (declare (type (integer 1) n))
-  (with-mutex ((semaphore-mutex semaphore))
-    (when (= n (incf (semaphore-%count semaphore) n))
-      (condition-notify (semaphore-queue semaphore) n))))
+  ;; Need to disable interrupts so that we don't lose a wakeup after
+  ;; we have incremented the count.
+  (with-system-mutex ((semaphore-mutex semaphore))
+    (let ((waitcount (semaphore-waitcount semaphore))
+          (count (incf (semaphore-%count semaphore) n)))
+      (when (plusp waitcount)
+        (condition-notify (semaphore-queue semaphore) (min waitcount count))))))
+\f
 
-;;;; job control, independent listeners
+;;;; Job control, independent listeners
 
 (defstruct session
   (lock (make-mutex :name "session lock"))
@@ -514,15 +726,15 @@ on this semaphore, then N of them is woken up."
 ;;; The debugger itself tries to acquire the session lock, don't let
 ;;; funny situations (like getting a sigint while holding the session
 ;;; lock) occur. At the same time we need to allow interrupts while
-;;; *waiting* for the session lock for things like GET-FOREGROUND
-;;; to be interruptible.
+;;; *waiting* for the session lock for things like GET-FOREGROUND to
+;;; be interruptible.
 ;;;
-;;; Take care: we sometimes need to obtain the session lock while holding
-;;; on to *ALL-THREADS-LOCK*, so we must _never_ obtain it _after_ getting
-;;; a session lock! (Deadlock risk.)
+;;; Take care: we sometimes need to obtain the session lock while
+;;; holding on to *ALL-THREADS-LOCK*, so we must _never_ obtain it
+;;; _after_ getting a session lock! (Deadlock risk.)
 ;;;
-;;; FIXME: It would be good to have ordered locks to ensure invariants like
-;;; the above.
+;;; FIXME: It would be good to have ordered locks to ensure invariants
+;;; like the above.
 (defmacro with-session-lock ((session) &body body)
   `(with-system-mutex ((session-lock ,session) :allow-with-interrupts t)
      ,@body))
@@ -558,9 +770,6 @@ on this semaphore, then N of them is woken up."
 #!+sb-thread
 (defun handle-thread-exit (thread)
   (/show0 "HANDLING THREAD EXIT")
-  ;; We're going down, can't handle interrupts sanely anymore.
-  ;; GC remains enabled.
-  (block-deferrable-signals)
   ;; Lisp-side cleanup
   (with-all-threads-lock
     (setf (thread-%alive-p thread) nil)
@@ -672,8 +881,9 @@ have the foreground next."
                         (sb!impl::toplevel-repl nil)
                      (sb!int:flush-standard-output-streams))))))
       (make-thread #'thread-repl))))
+\f
 
-;;;; the beef
+;;;; The beef
 
 (defun make-thread (function &key name)
   #!+sb-doc
@@ -687,7 +897,7 @@ around and can be retrieved by JOIN-THREAD."
          (setup-sem (make-semaphore :name "Thread setup semaphore"))
          (real-function (coerce function 'function))
          (initial-function
-          (lambda ()
+          (named-lambda initial-thread-function ()
             ;; In time we'll move some of the binding presently done in C
             ;; here too.
             ;;
@@ -700,18 +910,18 @@ around and can be retrieved by JOIN-THREAD."
             ;; of Allegro's *cl-default-special-bindings*, as that is at
             ;; least accessible to users to secure their own libraries.
             ;;   --njf, 2006-07-15
+            ;;
+            ;; As it is, this lambda must not cons until we are ready
+            ;; to run GC. Be very careful.
             (let* ((*current-thread* thread)
                    (*restart-clusters* nil)
-                   (*handler-clusters* nil)
+                   (*handler-clusters* (sb!kernel::initial-handler-clusters))
                    (*condition-restarts* nil)
                    (sb!impl::*deadline* nil)
                    (sb!impl::*step-out* nil)
                    ;; internal printer variables
                    (sb!impl::*previous-case* nil)
                    (sb!impl::*previous-readtable-case* nil)
-                   (empty (vector))
-                   (sb!impl::*merge-sort-temp-vector* empty)
-                   (sb!impl::*zap-array-data-temp* empty)
                    (sb!impl::*internal-symbol-output-fun* nil)
                    (sb!impl::*descriptor-handlers* nil)) ; serve-event
               ;; Binding from C
@@ -734,117 +944,121 @@ around and can be retrieved by JOIN-THREAD."
                          (format nil
                                  "~~@<Terminate this thread (~A)~~@:>"
                                  *current-thread*))
-                      (unwind-protect
-                           (progn
-                             ;; now that most things have a chance to
-                             ;; work properly without messing up other
-                             ;; threads, it's time to enable signals
-                             (sb!unix::reset-signal-mask)
-                             (setf (thread-result thread)
-                                   (cons t
-                                         (multiple-value-list
-                                          (funcall real-function)))))
-                        (handle-thread-exit thread)))))))
+                      (without-interrupts
+                        (unwind-protect
+                             (with-local-interrupts
+                               ;; Now that most things have a chance
+                               ;; to work properly without messing up
+                               ;; other threads, it's time to enable
+                               ;; signals.
+                               (sb!unix::unblock-deferrable-signals)
+                               (setf (thread-result thread)
+                                     (cons t
+                                           (multiple-value-list
+                                            (funcall real-function))))
+                               ;; Try to block deferrables. An
+                               ;; interrupt may unwind it, but for a
+                               ;; normal exit it prevents interrupt
+                               ;; loss.
+                               (block-deferrable-signals))
+                          ;; We're going down, can't handle interrupts
+                          ;; sanely anymore. GC remains enabled.
+                          (block-deferrable-signals)
+                          ;; We don't want to run interrupts in a dead
+                          ;; thread when we leave WITHOUT-INTERRUPTS.
+                          ;; This potentially causes important
+                          ;; interupts to be lost: SIGINT comes to
+                          ;; mind.
+                          (setq *interrupt-pending* nil)
+                          (handle-thread-exit thread))))))))
             (values))))
+    ;; If the starting thread is stopped for gc before it signals the
+    ;; semaphore then we'd be stuck.
+    (assert (not *gc-inhibit*))
     ;; Keep INITIAL-FUNCTION pinned until the child thread is
-    ;; initialized properly.
-    (with-pinned-objects (initial-function)
-      (let ((os-thread
-             (%create-thread
-              (get-lisp-obj-address initial-function))))
-        (when (zerop os-thread)
-          (error "Can't create a new thread"))
-        (wait-on-semaphore setup-sem)
-        thread))))
-
-(define-condition join-thread-error (error)
-  ((thread :reader join-thread-error-thread :initarg :thread))
-  #!+sb-doc
-  (:documentation "Joining thread failed.")
-  (:report (lambda (c s)
-             (format s "Joining thread failed: thread ~A ~
-                        has not returned normally."
-                     (join-thread-error-thread c)))))
-
-#!+sb-doc
-(setf (fdocumentation 'join-thread-error-thread 'function)
-      "The thread that we failed to join.")
+    ;; initialized properly. Wrap the whole thing in
+    ;; WITHOUT-INTERRUPTS because we pass INITIAL-FUNCTION to another
+    ;; thread.
+    (without-interrupts
+      (with-pinned-objects (initial-function)
+        (let ((os-thread
+               (%create-thread
+                (get-lisp-obj-address initial-function))))
+          (when (zerop os-thread)
+            (error "Can't create a new thread"))
+          (wait-on-semaphore setup-sem)
+          thread)))))
 
 (defun join-thread (thread &key (default nil defaultp))
   #!+sb-doc
   "Suspend current thread until THREAD exits. Returns the result
 values of the thread function. If the thread does not exit normally,
 return DEFAULT if given or else signal JOIN-THREAD-ERROR."
-  (with-mutex ((thread-result-lock thread))
+  (with-system-mutex ((thread-result-lock thread) :allow-with-interrupts t)
     (cond ((car (thread-result thread))
-           (values-list (cdr (thread-result thread))))
+           (return-from join-thread
+             (values-list (cdr (thread-result thread)))))
           (defaultp
-           default)
-          (t
-           (error 'join-thread-error :thread thread)))))
+           (return-from join-thread default))))
+  (error 'join-thread-error :thread thread))
 
 (defun destroy-thread (thread)
   #!+sb-doc
   "Deprecated. Same as TERMINATE-THREAD."
   (terminate-thread thread))
 
-(define-condition interrupt-thread-error (error)
-  ((thread :reader interrupt-thread-error-thread :initarg :thread))
-  #!+sb-doc
-  (:documentation "Interrupting thread failed.")
-  (:report (lambda (c s)
-             (format s "Interrupt thread failed: thread ~A has exited."
-                     (interrupt-thread-error-thread c)))))
-
-#!+sb-doc
-(setf (fdocumentation 'interrupt-thread-error-thread 'function)
-      "The thread that was not interrupted.")
-
 (defmacro with-interruptions-lock ((thread) &body body)
   `(with-system-mutex ((thread-interruptions-lock ,thread))
      ,@body))
 
-;; Called from the signal handler in C.
+;;; Called from the signal handler.
+#!-win32
 (defun run-interruption ()
-  (in-interruption ()
-    (loop
-       (let ((interruption (with-interruptions-lock (*current-thread*)
-                             (pop (thread-interruptions *current-thread*)))))
-         (if interruption
-             (with-interrupts
-               (funcall interruption))
-             (return))))))
-
-;; The order of interrupt execution is peculiar. If thread A
-;; interrupts thread B with I1, I2 and B for some reason receives I1
-;; when FUN2 is already on the list, then it is FUN2 that gets to run
-;; first. But when FUN2 is run SIG_INTERRUPT_THREAD is enabled again
-;; and I2 hits pretty soon in FUN2 and run FUN1. This is of course
-;; just one scenario, and the order of thread interrupt execution is
-;; undefined.
+  (let ((interruption (with-interruptions-lock (*current-thread*)
+                        (pop (thread-interruptions *current-thread*)))))
+    ;; If there is more to do, then resignal and let the normal
+    ;; interrupt deferral mechanism take care of the rest. From the
+    ;; OS's point of view the signal we are in the handler for is no
+    ;; longer pending, so the signal will not be lost.
+    (when (thread-interruptions *current-thread*)
+      (kill-safely (thread-os-thread *current-thread*) sb!unix:sigpipe))
+    (when interruption
+      (funcall interruption))))
+
 (defun interrupt-thread (thread function)
   #!+sb-doc
   "Interrupt the live THREAD and make it run FUNCTION. A moderate
 degree of care is expected for use of INTERRUPT-THREAD, due to its
 nature: if you interrupt a thread that was holding important locks
 then do something that turns out to need those locks, you probably
-won't like the effect."
-  #!-sb-thread (declare (ignore thread))
-  #!-sb-thread
+won't like the effect. FUNCTION runs with interrupts disabled, but
+WITH-INTERRUPTS is allowed in it. Keep in mind that many things may
+enable interrupts (GET-MUTEX when contended, for instance) so the
+first thing to do is usually a WITH-INTERRUPTS or a
+WITHOUT-INTERRUPTS. Within a thread interrupts are queued, they are
+run in same the order they were sent."
+  #!+win32
+  (declare (ignore thread))
+  #!+win32
   (with-interrupt-bindings
     (with-interrupts (funcall function)))
-  #!+sb-thread
-  (if (eq thread *current-thread*)
-      (with-interrupt-bindings
-        (with-interrupts (funcall function)))
-      (let ((os-thread (thread-os-thread thread)))
-        (cond ((not os-thread)
-               (error 'interrupt-thread-error :thread thread))
-              (t
-               (with-interruptions-lock (thread)
-                 (push function (thread-interruptions thread)))
-               (when (minusp (signal-interrupt-thread os-thread))
-                 (error 'interrupt-thread-error :thread thread)))))))
+  #!-win32
+  (let ((os-thread (thread-os-thread thread)))
+    (cond ((not os-thread)
+           (error 'interrupt-thread-error :thread thread))
+          (t
+           (with-interruptions-lock (thread)
+             ;; Append to the end of the interruptions queue. It's
+             ;; O(N), but it does not hurt to slow interruptors down a
+             ;; bit when the queue gets long.
+             (setf (thread-interruptions thread)
+                   (append (thread-interruptions thread)
+                           (list (lambda ()
+                                   (without-interrupts
+                                     (allow-with-interrupts
+                                       (funcall function))))))))
+           (when (minusp (kill-safely os-thread sb!unix:sigpipe))
+             (error 'interrupt-thread-error :thread thread))))))
 
 (defun terminate-thread (thread)
   #!+sb-doc
@@ -878,40 +1092,118 @@ SB-EXT:QUIT - the usual cleanup forms will be evaluated"
                                            sb!vm::thread-next-slot)))))))
 
   (defun %symbol-value-in-thread (symbol thread)
-    (tagbody
-       ;; Prevent the dead from dying completely while we look for the TLS area...
-       (with-all-threads-lock
-         (if (thread-alive-p thread)
-             (let* ((offset (* sb!vm:n-word-bytes (sb!vm::symbol-tls-index symbol)))
-                    (tl-val (sap-ref-word (%thread-sap thread) offset)))
-               (if (eql tl-val sb!vm::no-tls-value-marker-widetag)
-                   (go :unbound)
-                   (return-from %symbol-value-in-thread (values (make-lisp-obj tl-val) t))))
-             (return-from %symbol-value-in-thread (values nil nil))))
-     :unbound
-       (error "Cannot read thread-local symbol value: ~S unbound in ~S" symbol thread)))
+    ;; Prevent the thread from dying completely while we look for the TLS
+    ;; area...
+    (with-all-threads-lock
+      (loop
+        (if (thread-alive-p thread)
+            (let* ((epoch sb!kernel::*gc-epoch*)
+                   (offset (* sb!vm:n-word-bytes
+                              (sb!vm::symbol-tls-index symbol)))
+                   (tl-val (sap-ref-word (%thread-sap thread) offset)))
+              (cond ((zerop offset)
+                     (return (values nil :no-tls-value)))
+                    ((or (eql tl-val sb!vm:no-tls-value-marker-widetag)
+                         (eql tl-val sb!vm:unbound-marker-widetag))
+                     (return (values nil :unbound-in-thread)))
+                    (t
+                     (multiple-value-bind (obj ok) (make-lisp-obj tl-val nil)
+                       ;; The value we constructed may be invalid if a GC has
+                       ;; occurred. That is harmless, though, since OBJ is
+                       ;; either in a register or on stack, and we are
+                       ;; conservative on both on GENCGC -- so a bogus object
+                       ;; is safe here as long as we don't return it. If we
+                       ;; ever port threads to a non-conservative GC we must
+                       ;; pin the TL-VAL address before constructing OBJ, or
+                       ;; make WITH-ALL-THREADS-LOCK imply WITHOUT-GCING.
+                       ;;
+                       ;; The reason we don't just rely on TL-VAL pinning the
+                       ;; object is that the call to MAKE-LISP-OBJ may cause
+                       ;; bignum allocation, at which point TL-VAL might not
+                       ;; be alive anymore -- hence the epoch check.
+                       (when (eq epoch sb!kernel::*gc-epoch*)
+                         (if ok
+                             (return (values obj :ok))
+                             (return (values obj :invalid-tls-value))))))))
+            (return (values nil :thread-dead))))))
 
   (defun %set-symbol-value-in-thread (symbol thread value)
-    (tagbody
-       (with-pinned-objects (value)
-         ;; Prevent the dead from dying completely while we look for the TLS area...
-         (with-all-threads-lock
-           (if (thread-alive-p thread)
-               (let* ((offset (* sb!vm:n-word-bytes (sb!vm::symbol-tls-index symbol)))
-                      (sap (%thread-sap thread))
-                      (tl-val (sap-ref-word sap offset)))
-                 (if (eql tl-val sb!vm::no-tls-value-marker-widetag)
-                     (go :unbound)
-                     (setf (sap-ref-word sap offset) (get-lisp-obj-address value)))
-                 (return-from %set-symbol-value-in-thread (values value t)))
-               (return-from %set-symbol-value-in-thread (values nil nil)))))
-     :unbound
-       (error "Cannot set thread-local symbol value: ~S unbound in ~S" symbol thread))))
+    (with-pinned-objects (value)
+      ;; Prevent the thread from dying completely while we look for the TLS
+      ;; area...
+      (with-all-threads-lock
+        (if (thread-alive-p thread)
+            (let ((offset (* sb!vm:n-word-bytes
+                             (sb!vm::symbol-tls-index symbol))))
+              (cond ((zerop offset)
+                     (values nil :no-tls-value))
+                    (t
+                     (setf (sap-ref-word (%thread-sap thread) offset)
+                           (get-lisp-obj-address value))
+                     (values value :ok))))
+            (values nil :thread-dead))))))
+
+(defun symbol-value-in-thread (symbol thread &optional (errorp t))
+  "Return the local value of SYMBOL in THREAD, and a secondary value of T
+on success.
+
+If the value cannot be retrieved (because the thread has exited or because it
+has no local binding for NAME) and ERRORP is true signals an error of type
+SYMBOL-VALUE-IN-THREAD-ERROR; if ERRORP is false returns a primary value of
+NIL, and a secondary value of NIL.
+
+Can also be used with SETF to change the thread-local value of SYMBOL.
+
+SYMBOL-VALUE-IN-THREAD is primarily intended as a debugging tool, and not as a
+mechanism for inter-thread communication."
+  (declare (symbol symbol) (thread thread))
+  #!+sb-thread
+  (multiple-value-bind (res status) (%symbol-value-in-thread symbol thread)
+    (if (eq :ok status)
+        (values res t)
+        (if errorp
+            (error 'symbol-value-in-thread-error
+                   :name symbol
+                   :thread thread
+                   :info (list :read status))
+            (values nil nil))))
+  #!-sb-thread
+  (if (boundp symbol)
+      (values (symbol-value symbol) t)
+      (if errorp
+          (error 'symbol-value-in-thread-error
+                 :name symbol
+                 :thread thread
+                 :info (list :read :unbound-in-thread))
+          (values nil nil))))
+
+(defun (setf symbol-value-in-thread) (value symbol thread &optional (errorp t))
+  (declare (symbol symbol) (thread thread))
+  #!+sb-thread
+  (multiple-value-bind (res status) (%set-symbol-value-in-thread symbol thread value)
+    (if (eq :ok status)
+        (values res t)
+        (if errorp
+            (error 'symbol-value-in-thread-error
+                   :name symbol
+                   :thread thread
+                   :info (list :write status))
+            (values nil nil))))
+  #!-sb-thread
+  (if (boundp symbol)
+      (values (setf (symbol-value symbol) value) t)
+      (if errorp
+          (error 'symbol-value-in-thread-error
+                 :name symbol
+                 :thread thread
+                 :info (list :write :unbound-in-thread))
+          (values nil nil))))
 
 (defun sb!vm::locked-symbol-global-value-add (symbol-name delta)
   (sb!vm::locked-symbol-global-value-add symbol-name delta))
+\f
 
-;;; Stepping
+;;;; Stepping
 
 (defun thread-stepping ()
   (make-lisp-obj