Improved undefined-function backtrace on PPC.

When there is an existing stack frame (either for a large number
of arguments or for a tail-call), undefined_tramp triggers a
strange case in build_fake_control_stack_frames() that can leave
the OCFP and LRA slots uninitialized, causing a truncated
backtrace.

  * Alter undefined_tramp to always allocate and initialize a
stack frame.

  * While we're here, tighten up the reg_CODE initialization
sequence.

Improved undefined-function backtrace on non-x86oids.

  * Instead of "bogus stack frame", present undefined function
frames as "undefined function".

  * Implement this by checking specifically for the undefined
function trampoline function object (which otherwise fails
pointer validation) in MAKE-LISP-OBJ, and allowing the existing
logic to do what it was always supposed to do.

  * Tested on PPC only, but should work on the other affected
targets.

Improved undefined-function backtrace on x86oids.

  * Instead of "bogus stack frame", present undefined function
frames as "undefined function".

  * Implement this by checking specifically for escaped frames
with the program counter within the range between the start of
undefined_tramp and the start of whichever function follows it
in $ARCH-assem.S.

fix make.sh --dynamic-space-size option handling

 !CONFIGURE-DYNAMIC-SPACE-END actually ignored the number it read.

fix threaded PPC build, refactor new semaphore code

 Refactor the recent semaphore code into nicer shape.

 * No point in having these functions as inline functions.

 * Move shared logic to os-common.c, and conditionalize it on
   CANNOT_USE_POSIX_SEM_T, which platform specific headers can define if they
   implement their own versions. (Darwin now, Windows in the future.)

 * PPC needs genesis/thread.h in assembly, not thread.h.

fix unthreaded non-x86oid builds

 Better representation selection for constants broke things, since it assumed
 that IMMEDIATE is the only immediate boxed SC -- which is true only on
 x86oids: elsewhere there is also NULL and ZERO.

 Add new VM support routine: BOXED-IMMEDIATE-SC-P.

enable previously-broken thread tests on Darwin

  WIN!?

  I have not been able to make threaded SBCL on Darwin croak yet with the
  semaphore implementation in the previous commit, so ... maybe.

  I suspect the sb-concurrency tests can now be enabled on SunOS as well, but
  since I don't have a box to test that hypothesis on, leaving them disabled
  for now.

semaphores in the runtime

  Trivial refactorings:

  * Rename STATE_SUSPENDED STATE_STOPPED for elegance. (Spells with the same
    number of letters as STATE_RUNNING, things line up nicer.)

  * Re-express make_fixnum in terms of MAKE_FIXNUM so that we can use the
    latter to define STATE_* names in a manner acceptable to use in
    switch-statements.

  * Move Mach exception handling initialization to darwin_init from
    create_initial_thread so that current_mach_task gets initialized before
    the first thread struct is initialized.

  The Beef:

    Replace condition variables in the runtime with semaphores.

    On most platforms use sem_t, but on Darwin use semaphore_t. Hide the
    difference behind, os_sem_t, os_sem_init, os_sem_destroy, os_sem_post, and
    os_sem_wait.

    POSIX realtime semaphores are supposedly safe to use in signal handlers,
    unlike condition variables -- and experimentally at least Mach semaphores
    on Darwin are a lot less prone to problems.

    (Our pthread mutex usage isn't quite kosher either, but it's the
    pthread_cond_wait and pthread_cond_broadcast pair that seemed to be
    causing most of the trouble.)

tests: fix :skipped-on clause for weak hash-table tests.

  * During the original addition of :skipped-on, the condition for
skipping the weak hash-table tests was changed from "non-threaded
x86oids" to "everything but threaded non-x86oids".  The actual
condition should be "non-threaded conservatively-scavenged-stack".

tests: Add --report-skipped-tests option to the test runner.

  * It is occasionally useful to see precisely which tests are
skipped on a given target, and there was no obvious way to so do.

Fail early when building with known-incompatible features.

  * Essentially, fail as soon as we have the final shebang feature
list available.

  * Only checks a small number of "obvious" cases for now.

Fix my previous commit on setf expansions.

Fix the case when `default' in (setf (getf x y default) z) isn't provided.

Add tests.

adjust the new MALLOC-FAILURE test for 32-bit builds

  ...where malloc of (1- array-total-size-limit) bytes may actually
  succeed initially.

Remove unused variable warnings in some setf expansions.

(let (list) (setf (getf list 'x 0) 10)) produced a style-warning on a
temporary variable for holding 0, which is unused.

Fixes lp#492071.

allow coercion of large fixnums to floats outside x86

 The reason we need guard against this on x86 is due to the FPU there always
 using double-precision internally, which can lead to us deriving an
 inconsistent type unless the fixnum is exactly represented by a single-float.

 However, no such danger exists outside x86.

 (Test-suite already contains tests for this.)

add support for package::form-read-in-package syntax

   sb-c::(csubtypep (specifier-type 'fixnum) (specifier-type 'integer))

 Isn't that lovely? The superbly fantasic thing is that this even works
 *right* with package locks:

    (in-package :cl-user)

    sb-c::(defun some-internal-bit ...)

  causes a package lock violation since the current package is back to CL-USER
  by the type the code is executed.

printing specialized arrays readably

  When *READ-EVAL* is true, use #. based syntax to print them.

  lp#803665.

use *SUPPRESS-PRINT-ERRORS* for backtraces and DESCRIBE

 The suppression mechanism is a bit more informative than the old #<error
 printing object> marker for BACKTRACE, and DESCRIBE didn't really have
 anything before this.

 Also bind *PRINT-CIRCLE* to T for BACKTRACE, and use the PRINT-UNREADABLY
 restart for PRINT-NOT-READABLE errors.

add SB-EXT:*SUPPRESS-PRINT-ERRORS* modelled after *BREAK-ON-SIGNALS*

  When non-NIL, OUTPUT-OBJECT (our main entry to the printer) binds a handler
  that handles conditions of the specified type by printing an error marker
  instead of signaling an error.

  WRITE also accepts :SUPPRESS-ERRORS, and WITH-STANDARD-IO-SYNTAX binds it to
  NIL.

  Calls SIGNAL before handling the condition so outer handlers get a chance to
  use restarts, etc.

muffle style-warnings for INFO :FUNCTION :TYPE

  Even if the function object's type contains unknown types, this is not the
  right place to complain about them.

  lp#806243

define SB-EXT:PRINT-UNREADABLY as a function

  So

    (handler-bind ((print-not-readable #'print-unreadably))
       ...)

  works.

silent non-toplevel DEFSTRUCT

  Use TRULY-THE in the constructor inline expansion only if the compiler knows
  the layout: using it for the lazy version doesn't help, and only causes a
  STYLE-WARNING.

don't simplify (LET () ..) => (LOCALLY ...) in the simple evalutor

  If LET is at toplevel its subforms are not.

  If LOCALLY is at toplevel its subforms are also at toplevel.

less rebindings in defmethods

  PCL needs to rebind DEFMETHOD arguments when they are assigned to:

  * CALL-NEXT-METHOD needs the originals.

  * We apply an implicit declaration to the original from the specializer,
    which an assignment can violate.

  There is, however, no need to bind everything simply because /something/ is
  assigned to.

  Fixed lp#898331.

more conservative subtypep test for classoids

 * Give NIL, NIL for invalid classoids with forward-referenced superclasses
   instead of signaling an error during SUBTYPEP.

 * If we can't tell it's a subtype and either has a forward-referenced
   superclass we can't tell for sure it isn't -- meaning NIL, NIL instead of
   NIL, T.

 Fixes the second half of lp#888630.

MAKE-ALIEN improvements

 * Move more of the bytes-calculation to macroexpansion time.

 * Change %MAKE-ALIEN to take bytes instead of bits, so that --in theory at
   least-- chunks upto ARRAY-DIMENSION-LIMIT-1 bytes can be allocated.

 * Use ALIEN-FUNCALL-SAVES-FP-AND-PC 0.

 * Detect malloc() failure and signal a storage-condition for it.  Fixes
   lp#891268.

stricter handling of declarations in DEFGENERIC

  Warn about unrecognized declarations.

  lp#894202

fix style-warnings for condition slot-accessors used in :REPORT

  Previously condition slot accessors used in :REPORT option signaled
  a style-warning under EVAL and LOAD (as source): the compiler saw
  the lambda before the accessor had been proclaimed as functions.

  Fixes lp#896379.

use boxed constants for full calls

 If a constant is being used in a full call, use a boxed representation
 instead of an inline one which must then be boxed at runtime.  Also arrange
 to have both an immediate unboxed and a boxed representation when
 advantageous.

 (There might be other cases besides full calls where we should prefer boxed
 representations, but that's for later.)

no need for BOOT-MAKE-WRAPPER on target

  Rename it !BOOT-MAKE-WRAPPER.

change an AVER to CERROR 'bug

  Hopefully making it easier to debug.

improve the SB-EXT:GC docstring(s)

fix misoptimization of TRUNCATE

  Reported by Eric Marsden on sbcl-devel 2011-12-01.

   "illegal instruction on PowerPC"

  We check for result type being a VALUES-TYPE-P when deciding if to compute
  the second value for TRUNCATE or not -- but *WILD-TYPE* isn't a values type.

  Make VALUES-TYPE-P return true for it from now on. What could possibly go
  wrong? Just two other places need to change, it seems.

fix bug in typechecking calls with non-constant keywords

 Reported by Eric Marsden on sbcl-devel 2011-12-01.

fix treatment of signed zeroes in INTERVAL-DIV

 Fixes bug reported by Eric Marsden on sbcl-devel: type derivation going wrong
 due to one signed zeroes: (/ 0.0 -neg) derives correctly as -0.0, but (/ 0
 -neg) derives as 0.0, causing the intersection to be empty causing badness.

 Simply remove special casing of division of zero from INTERVAL-DIV:
 BOUND-BINOP handles signed zeroes correctly, so no sense complicating the
 code by adding handling for them in I-D.

oops. actually stop when seeing --with-foo and customize-target-features.lisp

 ...instead of just complaining to the stdout.

more robust deadlock detection

 Lock around building the deadlock chain using WITH-CAS-LOCK after the
 tentative deadlock has been detected, and break the deadlock chain before
 signaling the error.

 This means that a single deadlock is reported only in a single thread.

 Fixes occasional failures of deadlock-detection.1 due to a bogus vicious
 metacircle. (Two threads detecting the same deadlock, then racing to report
 the error detected as another deadlock, the reporting of which in turn looked
 like a metacircle to CLOS if PRINT-OBJECT didn't yet have the right method in
 cache.)

build runtime/TAGS by default

  Getting tired of needing to build it manually all the time.

add --fancy option to make.sh

  Enables threads, core compression, xref for internals, and
  after-xc-core. (The last one for convenience, even though it's not user
  visible.)

add --with-<feature> and --without-<feature> support to make.sh

  customize-target-features.lisp still works, but the system refuses to mix it
  with --with[out] options to avoid confusion.

add --arch option to make.sh

  Not for full-blown cross compilation, though.

make make.sh run clean.sh

  Since eg. trying to build for different arches without cleaning
  in the middle will just break things.

  slam.sh is for those in a hurry.

1.0.54: will be tagged as "sbcl-1.0.54"

:backtrace-interrupted-condition-wait fails on x86 Linux

remove a stray debugging PRINT

  ...there since 1.0.48.21! Wow.

fix bug in semaphore notification objects on TRY-SEMAPHORE

  It's not notifiction.

Fix clos.impure.lisp DOCUMENTATION test on #-sb-doc.

Don't rely on docstrings being present on standard functions
when testing DOCUMENTATION.

tests: Skip stream.impure.lisp / BUG-657183 on non-unicode.

  * For some reason, #\GREEK_SMALL_LETTER_LAMDA isn't a valid
character name on non-unicode builds.  Who knew?

Oops, remove a debugging printenv which snuck in.

Work around excessive consing via ROOM by turning off
alien-funcall-saves-fp-and-pc.

try to robustify test for bug-309448

  We've been getting intermittent reports of it failing, but I've been unable
  to reproduce so far. The test in question is a compiler scaling test, which
  compares times it takes to compile different things. Brittle, indeed.

  Other than non-SBCL causes the only thing I can think of right now is GCs
  from other tests getting accounted against one of the supposed-to-be-fast
  runs. So, run GC :FULL T before getting the timings to make things more
  consistent.

gencgc: fix regression from 137ba2db2d362f03754ccd080ddbe96f7e3c5dc7

  Turned loop conditions into asserts in faith that they always hold.
  Turns out this is not the case after all.

update ASDF to 2.019

NEWS prettification

  Wrap to 78, upcase symbol names, move one more item under the "GC-related"
  section and use more consistent phrasing there.

tweak NAME-CONTEXT

  On platforms without UNWIND-TO-FRAME-AND-CALL vops we introduce an extra
  block, which then shows up there in the function names for eg. lambdas
  defined at the toplevel in high debug code. Fix that.

  CATCH also introduces a block. Filter those out too.

make PPC/Linux buildable on ppc64 hosts

fix unthreaded builds with sb-futex in target *features*

missing NEWS

refactor PRINT-NOT-READABLE condition signaling

  SB-INT:PRINT-NOT-READABLE-ERROR both signals the condition,
  and binds the restarts.

we have read-evaluated-form, kill read-replacement-character and -string

  ...and fix read-evaluated-form to flush its output.

marginally prettier native debugger banner

  Add a conditional newline before printing the thread object.

cleanup: refactor copy_large_unboxed_object and copy_large_object

  They're virtually identical. Implement both in terms of a new function,
  general_copy_large_object.

  gc_quick_alloc_large and gc_quick_alloc_large_unboxed become unused, delete
  them.

  ...and sort out the types while at it. (long still in the interface)

cleanup: pacify GCC with an extra pair of parens

  Meh. What a stupid warning.

cleanup: use OS_VM_SIZE_FMT in collect_garbage

  One warning less on 32-bit builds.

cleanup: types in load_core_file

  Don't abuse lispobj for things which aren't. Instead new type word_t for
  "random binary gunk" in unsigned word-sized slices.

  Also define WORD_FMTX.

cleanup: os_vm_size_t for large_object_size

cleanup: types in gc_alloc_large

  Still keeping the long in the interface.

cleanup: types in gc_alloc_update_page_tables

cleanup: void_diff returns os_vm_size_t

cleanup: os_vm_size_t in gc_alloc_new_region

  Same as before, long remains in the interface for a while yet.

cleanup: #define and use OS_VM_SIZE_FMT in write_generation_stats

cleanup: unused variable in gc_free_heap

cleanup: use os_vm_size_t in gc_find_freeish_pages and for granularity

  long remains in the signature for now, getting to it soon.

cleanup: use os_vm_size_t in count_generation_bytes_allocated

cleanup: use os_vm_size_t in npage_bytes

cleanup: struct page member types

  .region_start_offset is os_vm_size_t
  .bytes_used is page_bytes_t (new typedef)

  Also add a compile-time check to guard against GENCGC_CARD_BYTES greater
  than UINT_MAX.

cleanup: page_index_t canonicalization

  Also define PAGE_INDEX_FTM.

  After this I /think/ everything that should be page_index_t, is.

  NOTE FOR OUR NEW TYPEDEF OVERLORDS: page_index_t itself is still signed
  long, which is probably wrong for Win64.

Don't scrub the C stack from C.

  * The C version of the stack scrubber was picking an address to
start scrubbing by taking the address of a variable in the current
stack frame and subtracting one, clearly dependent on the frame
layout supplied by the compiler.

  * Fix, by rewriting the stack scrubber in assembly when
LISP_FEATURE_C_STACK_IS_CONTROL_STACK.  This way, we know what the
stack frame layout is, and don't have to worry about red zones and
other such compiler-dependent noise.

  * Lightly tested on linux/x86, linux/x86-64, darwin/x86, and
darwin/x86-64.

Tighter floating-point type constraints in some cases

CONSTRAIN-FLOAT-TYPE used to return a closed bound in some cases where
the corresponding (tighter) open bound would have been derivable,
leading to missed optimisation opportunities. For example the compiler
did not derive that x is not zero in the following call to LOG:

(defun foo (x)
  (declare (type (single-float 0.0) x))
  (when (> x 0.0)
    (log x)))

Fix CONSTRAIN-FLOAT-TYPE so that it returns the tightest possible result
in all cases.

See lp#894498 for details.

Reduce random casting in looks_like_valid_lisp_pointer_p().

  * The casts are ugly, and obscure the logic.

  * The casts are WRONG on systems with 64-bit pointers and 32-bit
long integers (thanks to akovalenko for pointing this out).

  * We already have utility functions to do most-to-all of what
we're doing with casts.

  * And we never use one of our (lispobj *) parameters as an actual
pointer, we always cast it all over the place instead.

  * So, take a lispobj instead of a (lispobj *), and use utility
functions from runtime.h instead of inline casting and random
pointer arithmetic.

tweak tail merging logic

 TAIL-ANNOTATE used MERGE-TAIL-CALLS policy (which is an integer) as a
 boolean, instead of comparing it to zero. Oops. This means that we always did
 TCO when possible.

 Since adding a debug-catch-tag effectively prevents TCO, and the policy
 controlling that looks just like what we would like to have in
 MERGE-TAIL-CALLS if TAIL-ANNOTATE were to use it correctly... just deprecate
 MERGE-TAIL-CALLS instead.

Insure that the test for bug 881445 runs with a large enough dynamic space.

Fix build with non-SBCL host.

Skip a known failure on openbsd.

Avoid a reader error in threads.pure.lisp with non-threaded sbcl.

Fix errno value for sb-posix rmdir.error.3 test on OpenBSD.

Use #+bsd instead of #+(or darwin openbsd) on the assumption that all
the other BSD-derived systems use the same errno value.

Fix symbol-value-in-thread GC race condition.

  * SVIT was using SAP-REF-WORD and MAKE-LISP-OBJ while the GC was
enabled, which is mostly-safe on x86oids, but technically breaks
the consistency rules for the GC.  Failures due to badly-timed GC
(well-timed GC?) have been observed on PPC.

  * Instead of SAP-REF-WORD, checking for specific tags, then
using MAKE-LISP-OBJ and checking for validity and GC epoch, which
is a badly-broken approach, use SAP-REF-LISPOBJ to obtain the
value and then check the tags with GET-LISP-OBJ-ADDRESS, a far
safer approach, with lower overhead, and not subject to random GC
lossage.

Add SB-SYS:SAP-REF-LISPOBJ.

  * This is for those cases where you know that you are trying to
read valid boxed data, the address of the data you want to read
is in some sense "stable" (meaning, won't be moved by the GC),
and you don't want to deal with the requirements for calling
SB-KERNEL:MAKE-LISP-OBJ.

  * Implemented across the board, but only tested on PPC.  What
could possibly go wrong?

debug-int: Explain why and how SB-KERNEL:MAKE-LISP-OBJ is GC-unsafe.

  * Just adding some commentary.

linux: Enable :SB-FUTEX by default on PPC.

  * Prior to the great de-lutexification, we used futexes on
threaded Linux/PPC.  Not having them enabled on PPC was an
oversight, but one which highlighted some problems with the
non-futex threading code.  Now that that's fixed, we may as
well restore the status quo.

smaller default dynamic-space size on GENCGC

 512Mb for 32-bit platforms, 1Gb for 64-bit ones.

 (OpenBSD/x86-64 is the exception using 444Mb to fit under default ulimits.)

make --dynamic-space-size and --control-stack-size understand power-suffixes

  All of Kb, KiB, Mb, MiB, Gb, GiB are accepted, in a case-insentitive manner
  -- all taken to mean powers of two.

fix Darwin/x86 build on Snow Leopard

  EBX is linkage base, hence unavailable for us via asm()
  there.

Revert "fix sb-posix tests on OpenBSD"

  Oops. As Josh noted, the equivalent C code works, so the explanation was
  bogus, and the test is better left enabled to track the issue.

This reverts commit d94c1b4a8c534bde146823f56558faf37cd4c4d7.

Conflicts:

NEWS

More compile-time error checking in NUMBER-DISPATCH

Check for some problematic cases where non-disjoint types are used
in different clauses for the same variable and throw an error at
macroexpand-time if such a case is detected. Otherwise these could
lead to the generated type-dispatching form not covering all intended
combinations of types.

The intention is to make writing and modifying complex NUMBER-DISPATCH
forms safer.

All existing uses of NUMBER-DISPATCH, insofar as they contain
non-disjoint types, are unproblematic and graded as such by the
check; thus they continue to work unchanged.

Signed-off-by: Christophe Rhodes <csr21@cantab.net>

Make EXPT use double-precision throughout in more cases

lp#741564 notes that a Maxima test case fails because the result of
(EXPT <fixnum> <(complex double)>) is much less precise than expected.
This is caused by EXPT using an intermediate single-float value here.

This behaviour actually occurs for all the following combinations
of argument types:

  (EXPT <(or rational single-float)> <(complex double-float)>)

  (EXPT <(or (complex rational) (complex single-float))>
        <(or (complex double-float) double-float)>)

In all these cases the first step EXPT does is to calculate (LOG BASE)
in single precision.

Refine the type dispatch clauses in EXPT to separate these cases
and coerce BASE to DOUBLE-FLOAT or (COMPLEX DOUBLE-FLOAT) there,
as appropriate, before applying LOG. Add tests.

Fixes lp#741564.

Signed-off-by: Christophe Rhodes <csr21@cantab.net>

oops, SB-EXT:DYNAMIC-SPACE-SIZE broke a test

 (Package lock violation.)

fix RUN-PROGRAM :WAIT T on Windows

  Recent change to report the errno from exec() broke things on Windows.

  There when :WAIT is true it is the C code that waits, and the subsequently
  returns the exit code of the process -- meaning our attempt to use 0 to
  indicate exec() failure makes every successfull execution on Windows look
  like an exec failure.

  Oops. Use -2 instead. MORE MAGIC.

fix sb-posix tests on OpenBSD

  FCNTL.FLOCK.2 the test wants to check the PID of the lock holder, and,
  OpenBSD 5.0 disallows this. OpenBSD 4.9 and earlier was fine with it.

  lp#892707

Signed-off-by: Nikodemus Siivola <nikodemus@random-state.net>

fix Darwin/PPC build

  lp#892705

Signed-off-by: Nikodemus Siivola <nikodemus@random-state.net>