linux: Enable :SB-FUTEX by default on PPC.

  * Prior to the great de-lutexification, we used futexes on
threaded Linux/PPC.  Not having them enabled on PPC was an
oversight, but one which highlighted some problems with the
non-futex threading code.  Now that that's fixed, we may as
well restore the status quo.

smaller default dynamic-space size on GENCGC

 512Mb for 32-bit platforms, 1Gb for 64-bit ones.

 (OpenBSD/x86-64 is the exception using 444Mb to fit under default ulimits.)

make --dynamic-space-size and --control-stack-size understand power-suffixes

  All of Kb, KiB, Mb, MiB, Gb, GiB are accepted, in a case-insentitive manner
  -- all taken to mean powers of two.

fix Darwin/x86 build on Snow Leopard

  EBX is linkage base, hence unavailable for us via asm()
  there.

Revert "fix sb-posix tests on OpenBSD"

  Oops. As Josh noted, the equivalent C code works, so the explanation was
  bogus, and the test is better left enabled to track the issue.

This reverts commit d94c1b4a8c534bde146823f56558faf37cd4c4d7.

Conflicts:

NEWS

More compile-time error checking in NUMBER-DISPATCH

Check for some problematic cases where non-disjoint types are used
in different clauses for the same variable and throw an error at
macroexpand-time if such a case is detected. Otherwise these could
lead to the generated type-dispatching form not covering all intended
combinations of types.

The intention is to make writing and modifying complex NUMBER-DISPATCH
forms safer.

All existing uses of NUMBER-DISPATCH, insofar as they contain
non-disjoint types, are unproblematic and graded as such by the
check; thus they continue to work unchanged.

Signed-off-by: Christophe Rhodes <csr21@cantab.net>

Make EXPT use double-precision throughout in more cases

lp#741564 notes that a Maxima test case fails because the result of
(EXPT <fixnum> <(complex double)>) is much less precise than expected.
This is caused by EXPT using an intermediate single-float value here.

This behaviour actually occurs for all the following combinations
of argument types:

  (EXPT <(or rational single-float)> <(complex double-float)>)

  (EXPT <(or (complex rational) (complex single-float))>
        <(or (complex double-float) double-float)>)

In all these cases the first step EXPT does is to calculate (LOG BASE)
in single precision.

Refine the type dispatch clauses in EXPT to separate these cases
and coerce BASE to DOUBLE-FLOAT or (COMPLEX DOUBLE-FLOAT) there,
as appropriate, before applying LOG. Add tests.

Fixes lp#741564.

Signed-off-by: Christophe Rhodes <csr21@cantab.net>

oops, SB-EXT:DYNAMIC-SPACE-SIZE broke a test

 (Package lock violation.)

fix RUN-PROGRAM :WAIT T on Windows

  Recent change to report the errno from exec() broke things on Windows.

  There when :WAIT is true it is the C code that waits, and the subsequently
  returns the exit code of the process -- meaning our attempt to use 0 to
  indicate exec() failure makes every successfull execution on Windows look
  like an exec failure.

  Oops. Use -2 instead. MORE MAGIC.

fix sb-posix tests on OpenBSD

  FCNTL.FLOCK.2 the test wants to check the PID of the lock holder, and,
  OpenBSD 5.0 disallows this. OpenBSD 4.9 and earlier was fine with it.

  lp#892707

Signed-off-by: Nikodemus Siivola <nikodemus@random-state.net>

fix Darwin/PPC build

  lp#892705

Signed-off-by: Nikodemus Siivola <nikodemus@random-state.net>

new SET-SBCL-SOURCE-LOCATION convenience function

From Zach Beane sbcl-devel 2011-11-15.

Signed-off-by: Christophe Rhodes <csr21@cantab.net>

sb-bsd-sockets: fix GET-HOST-BY-NAME and -ADDRESS on unthreaded builds

 (Platforms with getaddrinfo.)

 Broken by recent thread-safety fix for the same.

make RESTART-FRAME debugger command at least try to restart anon frames

  Try to grab the debug-fun-fun and call it.

  This /is/ an iffy proposition, though, so don't advertise it,
  and caution the user before going ahead.

better inner and anonymous function names

 * New concept: "name context". It is either name of the outermost non-NIL
   block in the current lexenv (FIXME: would be better to have the outermost
   global function name instead) or the source-namestring of the file in which
   the function resides.

 * Name anonymous functions as

    (LAMBDA <lambda-list> :IN <context>)

 * Name FLET and LABELS functions as

    (FLET <name> :IN <context>)

   and

    (LABELS <name> :IN <context>)

   Adjust tests to suit.

 * Remove BLOCK-GENSYM as this fulfills the same goals, and together
   they make backtraces overly noisy.

clarify GET-CAS-EXPANSION docstring

GC documentation tweaks

  * Fold documentation of (SETF GC-LOGFILE) into that of GC-LOGFILE.

  * Document default value of GENERATION-NUMBER-OF-GCS-BEFORE-PROMOTION.

  * Order the dictionary entries in the manual's GC section more logically.
    I hope.

export DYNAMIC-SPACE-SIZE from SB-EXT

default gen.bytes_consed_between_gc to same 5% of dynamic space size

  ...the previous default was 2,000,000 bytes, not 20Mb as the
  documentation claimed. Oops.

default nursery to 5% of total dynamic space size on GENCGC

  5% seems like a reasonable compromise between latency and throughput.

  Also change a few related stray size_t types to os_vm_size_t, which
  necessitates moving runtime options saving bits into their own header file.

unsigned long -> os_vm_size_t refactoring

 Replace a number of GC related unsigned longs with os_vm_size_t, make it
 available in on the lisp-side as well, and use where appropriate.

 Makes BYTES-CONSED-BETWEEN-GCS and its SETF-version also support large
 nurseries.

threading NEWS, and thanks to supporters

  Update NEWS with the recent threading work.

  Many thanks to all the IndieGoGo donors who have made these improvements --
  and more to come -- possible.

     www.indiegogo.com/SBCL-Threading-Improvements-1

  In addition some 80 donors who didn't choose any perks at all, or were
  content with a warm and fuzzy feeling, thanks are owed to:

    Abhishek Reddy
    Alexander Shendi
    Alexander Skobelev
    Alexandre Abreu
    Andreas Franke
    Andreas Fredriksson
    Andreas Fuchs
    AntonVodonosov
    Arnaud Betremieux
    Atte Hinkka
    Austin Haas
    Benjamin Tovar
    Bong Munoz
    Bozhidar Batsov
    Brandon Werner
    Brit Butler
    Bruce O'Neel
    CHIBA Masaomi
    Carl Gay
    Chad
    Chaitanya Gupta
    Charlie McMackin
    Christian Walther
    Copyleft Solutions
    Cyrus Harmon
    Dan Ballard
    Daniel Collin
    Danny Woods
    Dave Newton
    David BIltcliffe
    David Lamkins
    Eric Blossom
    Erik Winkels
    Francisco Vides Fernández
    Gabriel Giovannetti
    Gary Klimowicz
    Gary Waters
    Geir Tjørhom
    Gene Diveglia
    Geoff Cant
    Geoff Wozniak
    Hans Huebner
    Hein Hermans
    Henri Kyrki
    Henry Lenzi
    Heow Goodman
    Hiroyuki Tokunaga
    Ivan Boldyrev
    Ivan Rocha
    Ivan Shvedunov
    James Wright
    Jan Moringen
    Jeff Palmucci
    Jerry Errett
    Johannes Grødem
    Jonathan Smith
    Jorge Gajon
    Joseph Iacobucci
    Josh Marchan
    José Antonio Ortega Ruiz
    Jovanovic Milan
    Jānis Džeriņš
    Kamil Shakirov
    Kan-Ru Chen
    Karsten Poeck
    Kevin Raison
    Kim Minh Kaplan
    Lars Brinkhoff
    Lee Hinman
    Leslie Polzer
    Liam Healy
    Lin Wen Chun
    Luke Crook
    Luís Oliveira
    Manabu Takayama
    Mark Hepburn
    Martin Muggli
    Masatoshi SANO
    Mason Smith
    Mathias Dhuicq
    Mathias Hellevang
    Matthew Curry
    Matthew Swank
    Matthias Hölzl
    Michael Kuijn
    Milo McCheese
    Morten Nygaard Åsnes
    Natalie Masse Hooper
    Nathan Hartman
    Nicolas Neuss
    Nikolaus Demmel
    Norman Jaffe
    Ole Arndt
    Paul Nathan
    Petter Egesund
    Philippe Brochard
    Piotr Esden-Tempski
    Reuben Cornel
    Rich Hickey
    Robert Postill
    Robert Smith
    RobertSanders
    Ryan Pavlik
    Sean Bryant
    Seth Carbon
    Seth Ladygo
    Slawek Zak
    Slobodan Milnović
    Stephen Balousek
    Steve Carney
    Tim Howe
    Tim Ritchey
    Tim Showalter
    Timo Myyrä
    Todd Alan Kurtz
    View Software Services Ltd / P Baccou
    Vincent Manis
    Vsevolod Domkin
    William Hay
    Wukix Inc.
    Xristos Kalkanis
    Yoshinori Tahara
    Yousuke Ushiki
    Zach Beane
    Zach Kost-Smith
    agriff
    cpc26
    esologic
    gabalz
    hexstream
    indiegogo87
    lokedhs
    mcturra2000
    serjkl
    tim67
    vsedach
    zellerin

userspace CONDITION-WAIT and interrupts

  GC and signals cause WITHOUT-THREAD-WAITING-FOR to mark the thread as
  temporarily not waiting for anything, restoring the old status on unwind.

  This is fine for mutex deadlock detection, but now that the same slot is
  used for userspace condition variable wakeups we end up in trouble:

   T1: enqueue self on waitqueue, marked as waiting on it.

   T1: receives an interrupt and is marked as not waiting anymore while the
       interrupt is handled.

   T2: delivers a wakeup to the queue, sees T1 as not waiting anymore and
       drops it from the queue.

   T1: resumes waiting, but isn't on the queue, and never receives a wakeup.

       Extra Bonus:

       If T1 times out or unwinds for any reason, it sees itself as not having
       been woken up, and with interrupts disabled tries to unqueue itself
       from the queue -- ending up in an uninterruptible endless loop.

  The Fix:

    WITHOUT-THREAD-WAITING-FOR no longer restores the waiting-for information
    for waitqueues, effectively causing a bogus wakeup.

sb-bsd-sockets: gethostbyname and gethostbyaddr are not thread safe

   ...or re-entrant. Need to disable interrupts and grab a lock.

   Affects only platforms without getaddrinfo.

   Correct the size of memory leak fixed in last commit in NEWS -- it
   was more than one word per call.

sb-bsd-sockets: check for MAKE-ALIEN success in GET-PROTOCOL-BY-NAME

   Currently of malloc fails it returns a null alien.

   Yuck.

sb-bsd-sockets: GET-ADDRESS-INFO foreign memory leak

  Two issues:

   * We were using MAKE-ALIEN and not freeing the memory.

   * We were calling FREE-ADDRINFO, not FREEADDRINFO: the first is an
     SB-GROVEL generated deallocator, the second is freeaddrinfo()...

small package lock documentation cleanup

  "cause result in a..." Feh. Me good english yes.

  Also mention the compile-time warning for clarity.

pass errno from exec() to parent in spawn()

  Open a pipe, set FD_CLOEXEC.

  Child: if exec() fails, grab errno and write it to pipe.

  Parent: try to read from the pipe -- if you get something, it means the
  child didn't exec and the reason is in the pipe. Wait for the child to exit
  and return -1 and set errno to whatever the child got.

  Also use _exit() instead of exit() when dying in the child after exec
  failure -- running exit hooks there would probably be bad.

  (Somewhat edited from Nicolas' original patch.)

Signed-off-by: Nikodemus Siivola <nikodemus@random-state.net>

semaphore notification objects

scarier INTERRUPT-THREAD and TERMINATE-THREAD documentation

  Try to put the fear of asynch unwinds into the reader.

missing CAS-locks and barriers

 * %WAITQUEUE-ENQUEUE was missing the CAS-lock, as was checking for
   the wakeup.

 * Put back the spin-before-yielding loop into WITH-CAS-LOCK, which
   I'd removed for some reason.

 * PPC has threads, and really needs barriers. x86oids have made me
   lazy, and now we pay the price. In particular:

   ** THREAD-WAITING-FOR: a read barrier in the non-futex
      CONDITION-WAIT -- the corresponding writes are protected
      by CAS and hence provide a write barrier already.

      ...and just for symmetry and because this makes my poor
      head hurt add write and read barriers to other places where
      it is read from / written to.

   ** WITH-CAS-LOCK: a read barrier for the READ-FORM. Not strictly
      necessary perhaps, as THREAD-YIELD most probably provides a
      barrier, but this is easier to read. Since the corresponding
      writes should use CAS, we're OK.

pthread_cond_broadcast is not asynch signal safe

  AKA /less/ GC deadlocks on Darwin.

  To be specific, it can cause our GC to deadlock on Darwin, with all lisp
  threads spinning on the same global spinlock in the bowels of the
  pthread_cond_wait implementation. That was fun to figure out.

  The test (:interrupt-thread :interrupt-consing-child) is a good one
  for catching this: try to run it repeatedly under an earlier SBCL
  under Darwin, and sooner or later it will hang.

  ...with this commit, we're still using pthread_cond_broadcast, but
  blocking signals around the relevant bits, which --experimentally--
  makes the aforementioned test pass "somewhat more consistently".

  It can still hang, but those hangs seem to be related to deferrable
  signals being indefinitely blocked in one of the threads -- no idea
  as of yet why.

  Summa Summarum: this is a bit of a sorry bandaid, waiting for
  a better solution. (Probably using realtime semaphores, which
  /should/ be signal-handler safe.)

Fix typo in the man-page markup code.

Patch by Kenneth Westerback on lp#891114

sb-bsd-sockets: foreign memory leak in GET-PROTOCOL-BY-NAME

  I blame WITH-ALIEN usage -- it masks the MAKE-ALIEN calls
  from the casual eye.

Plug two more CTYPE leaks into fasls

 * (setf aref) would dump the declared element type on compile-time
   type mismatch.

 * same for function return value types (e.g. via (declare (values ...)))

Plug a CTYPE leak into fasls via SETQ

  Type mismatch from SETQing lexical variables used to dump CTYPE
  structs directly.  Splice a type specifier in instead during
  IR1 conversion of SETQ so that the source form remains dumpable.

  Reported with the test case by Xach on #lisp.

  Fixes lp#890750.

document GRAB-MUTEX in the manual

 lp#884099

symlinks and RENAME-FILE and DELETE-DIRECTORY

 Both followed symlinks too eagerly.

  * Presumably anyone doing (rename-file "link-to-foo" "bar") wants to rename
    the link and not the file it points to -- which has the unpleasant
    side-effect of breaking the selfsame link.

    Make it so.

 * It is less clear what someone doing (delete-directory "link-to-dir")
   expects to happen -- so take the conservative option and signal an error,
   and document this.

sb-concurrency: GATE tweak, fix building without threads

 * OPEN-GATE wasn't interrupt-safe. Don't want to have an interrupt unwind
   after opening the gate but before broadcasting on the condition variable.

 * Disable tests needing threads on unithread builds, add one that
   doesn't need threads.

 Also: many thanks to Tobias Rittweiler on whose code the GATE implementation
 is based!

sb-concurrency: add Allegro-style gate objects

More numerically stable %hypot (ABS of complex floats) on win32

Based on a patch by Robert Smith.

extensible CAS and CAS extensions

  DEFINE-CAS-EXPANDER and DEFCAS are analogous to DEFINE-SETF-EXPANDER and
  DEFSETF, including CAS-functions similar to SETF-functions:

   (defun (cas foo) (old new ...) ...)

  THis is exported from SB-EXT for users to play with, and used to implement
  our CAS places internally.

  Add support for CAS of:

   * SLOT-VALUE

   * STANDARD-INSTANCE-ACCESS

   * FUNCALLABLE-STANDARD-INSTANCE-ACCESS

  In case of SLOT-VALUE we don't yet support any optimizations or specify
  results when SLOT-VALUE-USING-CLASS or friends are in play -- perhaps later
  we can add

    (CAS SLOT-VALUE-USING-CLASS) &co

  in order to support it for arbitrary instances.

  Adding support for permutation vector optimization should not be too hard
  either, but let's let the dust settle first...

clean leftover SB_LUTEX gunk from the runtime

  Missed a spot...

package snafu on unithreaded build

fix out-of-line structure predicates on obsolete standard-instances

Apply the same fix to typep-to-layout that I did over five years ago
to the various inline / compiler transforms.  Include an out-of-line
test case.

improve layout-invalid error message

It helps if we pass the right initialization forms to make-condition.

Make MAKE-LISP-OBJ pickier on CHENEYGC.

  * Move the valid_lisp_pointer_p() guts from gencgc.c to
gc-common.c, updating header files and staticness as required.
Also remove all of the debug output conditional on
gencgc_verbose (which is obviously gencgc-specific).

  * Make the lisp-side VALID-LISP-POINTER-P not-gencgc-specific.

  * Always use VALID-LISP-POINTER-P in MAKE-LISP-OBJ instead of
using some simple bounds-check on CHENEYGC.

arch-assem.S: Update fun-end breakpoint magic for pickier make-lisp-obj.

  * We're about to cause SB-KERNEL:MAKE-LISP-OBJ to use the same
validation on CHENEYGC as it always has on GENCGC.

  * In order to not break function-end breakpoints, update them
all now to have the same header structure as on PPC (which had
to be made to work on GENCGC some time back).

  * While we're here, add a comment to each copy pointing to the
PPC version as having an actual explanation for the magic.

  * And update the PPC version commentary to the soon-to-be
reality of MAKE-LISP-OBJ always verifying pointers, instead of
only verifying pointers on GENCGC.

  * Finally, remove the no-longer-necessary code in debug-int
that set the header value, leaving a historic-information
comment behind.

gencgc: Make MAKE-LISP-OBJ of SIMPLE-FUN object addresses work.

  * This turned out to be a bug in the gencgc guts,
looks_like_valid_lisp_pointer_p() was doing pointer arithmetic
when it should have been converting the pointer to an integer.

fix unthreaded build

  CONDITION-WAIT on threadless builds now reads TIMEOUT.

  Stray MUTEX/LOCK naming confusion.

  #+sb-thread on more mailbox test.

  #!+sb-thread %WAIT-FOR-MUTEX for cleanliness.

SPINLOCK-NAME not deprecated since 1.0.5.x, but 1.0.53.11...

tweak threads.impure.lisp tests

 * Enable (:CONDITION-WAIT :DEADLINES :LP-512914) outside futex platforms.

 * Mark :BACKTRACE as broken on Darwin after all, still.

use RELATIVE-DECODED-TIMES in serve-event

 OAOO, yum.

unify locks

  Remove spinlocks, make spinlock functions redirect to mutexes
  instead. (Compile-time deprecation style-warning for spinlocks.)

Adjust for Solaris /bin/sh.

timeouts on JOIN-THREAD

   Marking the return convention experimental for now, as I'm
   not sure if

   ...we should signal a separate condition type for timeouts.

   ...we should have a separate :TIMEOUT-VALUE argument.

   ...if that value should default to value of DEFAULT.

   Pfff. Interfaces are hard -- let's go shopping!

timeouts on semaphores and mailboxes, fix timeouts on condition variables

  * Accidentally put in the version of condition variable timeouts that just
    looked like a spurious wakeup instead of returning NIL without grabbing
    the mutex. Ooops -- fixed that.

  * The issue with mailbox tests on Darwin at least appears to be related
    to our usage of pthread functions inside signal handlers.

make it possible to build only selected contribs

  Not for users as such, but for poking at specific contribs with a faster
  turnaround.

At least one of the Tests which hang on Darwin also hang on SunOS.

Make (not (or darwin sunos)) for the moment, and I'll tey to narrow this
down tomorrow.

sb-concurrency otherwise builds and tests great with new thread stuff on
Solaris/X86 -- on to ../../tests!

killing lutexes, adding timeouts

  * Remove all lutex-specific code from the system.
    ** Use SB-FUTEX for futex-capable platforms, and plain SB-THREAD
       otherwise.
    ** Make non-futex mutexes unfair spinlocks for now, using WAIT-FOR to
       provide timeouts and backoff.
    ** Build non-futex condition variables on top of a queue and WAIT-FOR.

    Performance implications: SB-FUTEX builds should perform pretty much the
    same, or improve a bit. Threaded non-futex builds are affected as follows:

      1. Threads idling on semaphores or condition variables aren't quite as
         cheap. Just how costly depends on the OS. On Darwin 1000 idle threads
         can chew up a bit over 50% CPU. I will try to address this later.

      2. Contested locking around operations that take considerably longer
         than a single timeslice suffers mild degradation.

      3. Contested locking around operations that don't take long is an order
         of magnitude performant.

      4. Highly active semaphores perform much better. (Follows from #3.)

  * GRAB-MUTEX gets timeout support on all platforms.

  * CONDITION-WAIT gets timeout support.

  * Disable a bunch of prone-to-hang thread tests on Darwin.  (All of them
    were already prone to hang prior to this commit.)

  * Enable a bunch tests that now /pass/ on Darwin. \o/ This doesn't mean that
    the threaded Darwin is fully expected to pass all tests yet, but let's say
    it's more likely to do so.

    ...but still not robust enough to enable threads on Darwin by default.

  * GET-MUTEX/GRAB-MUTEX get refactored into two main parts: %TRY-MUTEX and
    %WAIT-ON-MUTEX, which are also used directly from CONDITION-WAIT where
    appropriate.

Skip testl fcntl.flock.2 on NetBSD.
Not sure what's going on with this one -- getting a return status
of '0' from child process, but don't see a path through code that
will produce this.  Will work on this further.

Adjust for NetBSD location of perl.

NetBSD does not ship with perl by default, but if it's present, it will
be in /usr/pkg/bin.  Would be nice to find another portable way to do this.

MAP-DIRECTORY didn't :CLASSIFY-SYMLINKS by default

  ...even though it said it did.

  Given

    foo/bar => ../src/bar
    src/bar/quux.asd

  now

    (directory "foo/*/*.asd")

  finds the .asd as expected.

NetBSD also fails on test based on opening /dev/stdout from a script.

Add it to Darwin in platforms which skip this test.

Correct address computation in atomic-incf/aref for wide fixnums

 Reported by Martin Cracauer.

 Fixes lp#887220.

1.0.53: will be tagged as "sbcl-1.0.53"

fix SEARCH vector vector transform

 Didn't handle empty sequences correctly.

 Didn't handle NIL as KEY correctly.

make DELETE-FILE respect *DEFAULT-PATHNAME-DEFAULTS*

  MERGE-PATHNAMES to get an absolute pathname. (Using TRUENAME would be wrong,
  since then we would delete files pointed to by symbolic links, and not the
  symbolic links themselves -- a nasty regression that would be!)

  Also remove the "for error checking" TRUENAME call from there: unlink will
  give us an errno that tells what we need to know -- and lo! there is one
  race condition less in the system.

  Previously using relative pathnames it was possible to accidentally delete
  the wrong file.

  Fixes lp#882877.

  NB: currently DELETE-DIRECTORY and RENAME-FILE use TRUENAME with just the
      aforementioned unfortunate consequence, but I'm hesitant to change them
      during the freeze -- so dealing with this issue in them will have to
      wait a bit.

missing NEWS for previous commit

fix GENCGC DYNAMIC-USAGE on 64-bit platforms

  Fixes lp#881445.

Unbreak the build on SPARC

Broken in b2d132a93 (last commit).  The cross-compiler can be a tad
paranoid.

Fix constant character comparisons for SPARC/sb-unicode

SPARC only supports (SIGNED-BYTE 13) for literal values.  Only emit
comparison with literal characters up to (CODE-CHAR 4095).

Reported by Eric Marsden on sbcl-devel.

Fixes lp#883519.

Eliminate an infinite recursion in TYPE-UNION of INTERSECTION types

Reported by Eric Marsden on sbcl-devel.

Fixes lp#883498.

Take inline trampoline into account when optimizing fall-through jumps

The IR2-level optimisation bug manifests itself as randomly bogus
code in the presence of tail and local calls to the same function.

Reported by Eric Marsden on sbcl-devel.

Test case by Anton Kovalenko.

Fixes lp#883500

fix ROTATE-BYTE on 64-bit words using constant negative rotation

  Fixes lp#882151.

waiting for arbitrary events SB-EXT:WAIT-FOR

  While using this to wait for other threads isn't good style,
  sometimes it is _much_ easier to just state the thing you're
  waiting for than build the synchronization to make it nice.

  And sometimes the event lives in the external world, in which case
  you really need to poll anyways:

    (wait-for (probe-file pathname))

nuke the age-old experimental-thread.patch

  Not pertinent anymore.

Minor lowtag-handling cleanup in genesis.

  * Instead of explicitly testing a lowtag against two or four
constants (with scary reader conditionals for making the decision)
to determine if a given lowtag is an other-immediate, introduce a
function, IS-OTHER-IMMEDIATE-LOWTAG, paralleling IS-FIXNUM-LOWTAG,
with commentary, operating along the same lines as a similar
function in runtime.h.

room: KLUDGE-reduction.

  * Now that the thread structure doesn't have a lowtag, we can
remove the KLUDGE that prevented even FIXNUMs from being treated
as though they were thread-object-sized instead of a single word.

threads: Thread objects don't need a lowtag.

  * It was a cute hack, in a way, to force the existing genesis
machinery to produce assembler symbols for thread structure slots.
But it's still a hack, and needs to die.  And now it can.

genesis: Export assembly slot offsets for primitive-objects without lowtags.

  * If a primitive-object has no lowtag, export its slot offsets
to assembly language as if it had a lowtag of zero.

  * While we're here, use SYMBOL-VALUE instead of EVAL to find the
numeric value of a lowtag.

Fix MAYBE-WITH-PINNED-OBJECTS for PPC/GENCGC.

  * GENCGC has working WITH-PINNED-OBJECTS on all targets, not
just x86oids.  Not using it when necessary is bad, especially
since non-x86oids don't automatically pin references from the
control stack.  Fixed.

Fix unhandled error in float.pure.lisp on non-x86oids.

  * SB-VM::TOUCH-OBJECT doesn't exist on non-x86oids, and the
package is locked.  Disable reading of forms that refer to it
on non-x86oids.

Fix debug.impure.lisp / BUG-310175 for :stack-allocatable-lists targets.

  * Not all platforms stack-allocate.  Some platforms (PPC) stack-
allocate some things, but not most things.

  * PPC, in particular, stack allocates for LIST and LIST* (the
:stack-allocatable-lists feature), but doesn't stack allocate for
CONS.  And it turns out that the compiler transforms one-arg-LIST
and two-arg-LIST* to CONS.

  * Use two-arg-LIST to force the :stack-allocatable-lists code
path, and mark the test as failing on non-:stack-allocatable-lists
targets.

Fix fixnum and unsigned-fixnum array cleanups.

  * dd04bd449535e9016b5652a708a3cac2ca24c87d removes the specialized
array types with specific fixnum widths in favor of more generic
fixnum and unsigned-fixnum array types.

  * In SYS:SRC;CODE;ROOM.LISP, a mistake was made in converting over
to the newer representations, involving an alist of type tag names
to a constant related to the size of array elements.  The mistake
was even made inconsistently, so that neither 32-bit nor 64-bit
targets behaved correctly.

  * Fixed, to use sb!vm:word-shift instead of literal constants.

  * Original report and bisection by akovalenko on #sbcl.

Fix FP traps on OSX/x86.

  * De-cripple SB-INT:SET-FLOATING-POINT-MODES for this platform.

  * Enable restoring the FPU control word during interrupt handling
on this platform (RESTORE_FP_CONTROL_FROM_CONTEXT).

  * Implement restoring the FPU control word on this platform
(os_restore_fp_control).

  * Update :FAILS-ON information for the now-passing tests.

  * Update the commentary on test float.pure.lisp /
(ADDITION-OVERFLOW BUG-372) to more accurately reflect when it will
provide useful data (only when running float.pure.lisp separately).

Fix x86oid OSX signal handling emulation assembly fragments.

  * Both x86 and x86-64 signal_emulation_wrapper include a small
assembly fragment to simulate "sigreturn" by means of an invalid
instruction trap.  This fragment has to load two different pointers
into specific registers before the trap, but historically just told
the compiler to load them into registers and then moved them into
the correct registers, leading to the possibility of clobbering one
of the values.  Fixed, by informing the compiler to place them into
the correct registers to begin with.

Fix FP traps on OSX/x86-64.

  * De-cripple SB-INT:SET-FLOATING-POINT-MODES for this platform.

  * Enable restoring the FPU control word during interrupt handling
on this platform (RESTORE_FP_CONTROL_FROM_CONTEXT).

  * Implement restoring the FPU control word on this platform
(os_restore_fp_control).

  * Update :FAILS-ON information for the now-passing tests.

  * Insert an addtional copy of test float.pure.lisp /
(ADDITION-OVERFLOW BUG-372) to detect failure to restore the FPU
control word in signal handling, with appropriate commentary.

Fix HEAD ref lookups, and compatibility for non-bash shells.

Update to work with non-bash versions of expr.

Clean up build process for cross-compiled targets.

  * Over time, the process for producing an SBCL build for another
target architecture or OS has become more difficult and less
documented.

  * Move all make.sh argument processing to make-config.sh.

  * Have make-config.sh produce a file, output/build-config,
containing shell commands to set up important build parameters
such as where to find GNUMAKE, what SBCL_XC_HOST is, and so on.

  * Source output/build-config in most of the make*.sh scripts.

  * The practical upshot of all this is that a cross-compile
build is now a matter of alternating between target and host,
calling make-config.sh, make-host-1.sh, make-target-1.sh,
make-host-2.sh, make-target-2.sh, and following up with a
make-target-contrib.sh on the target, and you wind up with a
usable product.  And, as make-config.sh does all of the arg
parsing, you can pass --xc-host= or --dynamic-space-size= or
whatever and it all works out.

Unwind-to-frame-and-call-VOP doesn't need static symbols.

  * The UNWIND procedure takes as parameters a target block and an
unknown-values start/count pair.  The old implementation was passing
the block, a zero count, and a garbage start.  Pass the function to
call as the start, instead of storing it as a static symbol value as
is done now or reserving an extra stack slot somewhere relative to
the unwind block.

  * Delete the static symbol formerly used for this.

  * This has been done for both x86 and x86-64.

Fix a long-standing bug in (PRIMITIVE-TYPE [MEMBER type])

 A refactoring in 1.0.12.18 resulted in overly-optimistic primitive
 type.

 Reported by Eric Marsden on sbcl-devel.

Fix another assumption w.r.t fixnum width and n-lowtag-bits

 This time in LOGBITP.

 Reported by Eric Marsden on sbcl-devel.

describe: Better description for complex setf-expanders.

  * Rather than simply reporting the documentation string (if any), also
report the lambda-list of the expansion function and the associated
source location.

setf: Record the original lambda-list for complex setf-expander functions.

  * Added an extra parameter to ASSIGN-SETF-MACRO for the lambda-list.

  * In ASSIGN-SETF-MACRO, when working with an EXPANDER (as opposed to
an INVERSE), set the %FUN-LAMBDA-LIST of the EXPANDER to the value
passed as the new parameter.

  * In all call sites for ASSIGN-SETF-MACRO (two uses in DEFSETF, one in
DEFINE-SETF-EXPANDER), pass the new lambda-list parameter appropriately.

setf: excise GET-SETF-METHOD and related detritus.

  * GET-SETF-METHOD is the CLtL1 version of GET-SETF-EXPANSION, and is
neither used in SBCL nor exported from any package.  Kill it.

  * Also kill the DEFKNOWN in the compiler for a (different)
GET-SETF-METHOD and GET-SETF-METHOD-MULTIPLE-VALUE (also a CLtL1
function, neither used nor implemented in SBCL).

setf: pre-defined setf-expanders should handle multiple value places gracefully.

  * The GETF, LOGBITP, LDB and MASK-FIELD setf-expanders all take a
PLACE argument, the setf-expansion for which was being obtained via
GET-SETF-METHOD, which is the CLtL1 version of GET-SETF-EXPANSION, but
throws an error if a PLACE multiple values.  This also pre-dates the
adoption of VALUES places.

  * The most reasonable interpretation of the spec appears to be that
any values after the first are to be ignored upon reading and set to NIL
upon writing.

  * To do so, change each use to SB!XC:GET-SETF-EXPANSION instead of
GET-SETF-METHOD, and bind any symbols in the list of new value locations
to NIL before invoking the setter form.

setf: read-modify-write macros should deal with multi-value places gracefully.

  * In PUSH, PUSHNEW, POP, REMF, INCF, DECF and DEFINE-MODIFY-MACRO the
setf-expansion was being obtained via GET-SETF-METHOD, which is the
CLtL1 version of GET-SETF-EXPANSION, but throws an error if a PLACE has
multiple values.  This also pre-dates the adoption of VALUES places.

  * The most reasonable interpretation of the spec appears to be that
any values after the first are to be ignored upon reading and set to NIL
upon writing.

  * To do so, change each use to SB!XC:GET-SETF-EXPANSION instead
of GET-SETF-METHOD, and bind any symbols in the list of new value
locations to NIL before invoking the setter form.

setf: Don't use DO to "zip up" temporaries in read-modify-write macros.

  * Alter POP, REMF and DEFINE-MODIFY-MACRO to use (MAPCAR #'LIST
DUMMIES VALS) when building LET*-bindings instead of some crazy DO loop
involving PUSH and NREVERSE.

  * While we're here, introduce a new temporary in POP rather than
destructively modify a binding.