Fix clisp-hosted build.

stack-allocatable fill-initialized specialized arrays, take 2

  Really fix lp#902537.

  Turns out multiple references to the stack allocated vector complicate
  things /just/ sufficiently the that DX machinery can't keep up. (I because
  the code that allocates and initializes the vector isn't substituted at the
  use-site due to multiple references.)

  While it would be nice to make it smart enough to deal with
  non-let-converted WITH-ARRAY-DATA, that looks a bit tricky... so instead
  simplify things in the FILL transform when the vector is a simple-array.

faster VECTOR-SUBSEQ*

  Use a WITH-ARRAY-DATA to get to the underlying vector, and use a widetag
  dispatch table to pick the correct SUBSEQ implementation for the underlying
  type.

  This is actually just as fast even for simple strings as STRING-SUBSEQ*, so
  throw it out.

  Also make inlining SUBSEQ conditional on SPEED > SPACE now that the
  out-of-line version doesn't suck so much.

  Fixes lp#902537.

stack-allocatable fill-initialized specialized arrays

 I *think* we had this working earlier already, but it's been broken at least
 for a while now since there were no tests for it.

 Add a DEFKNOWN to the array byte bashers, providing the RESULT-ARG -- and
 make them return the sequence.

 Replace the unused and bitrotted UNSAFE IR1 attribute with its inverse:
 DX-SAFE, and use that togather with RESULT-ARG to allow multiple refs to
 potentially DX leafs. Still accept UNSAFE in DEFKNOWNs occurring in
 user-code, but ignore it and give a style-warning.

 For now, add DX-SAFE to LENGTH and VECTOR-LENGTH, which is enough for our
 purposes.

 Fixes lp#902351.

remove MUFFLE-CONDITION from the FILL transform

  It hides failure to stack allocate results of a MAKE-ARRAY with non-zero
  initial-element and non-T element-type.

  Part of lp#902351.

make DESCRIBE report IR1 attributes for known functions

fix errors from stack allocation compiler notes

  AKA, error reporting is hard.

WITH-SPINLOCK compatibility layer was broken

  Copy-paste damage from WITH-RECURSIVE-LOCK, looks like.  We don't have a
  WITH-LOCK and never did, should be WITH-MUTEX.

refactor FOP table and stack handling

 Just two special variables *FOP-TABLE* and *FOP-STACK*.

 Both hold a simple-vector, whose first index holds the index of the last
 element. These are always freshly allocated -- no more *FREE-FOP-TABLES*
 dirtying up the old generations.

 Define a semi-opaque interface for manipulating the stack and the
 table. (Mainly replacing explicit SVREF's with REF-FOP-TABLE.)

 ...and lo! Our fasl-loading speed sucks 5-10% less.

delete *FASL-SYMBOL-BUFFER*

  Instead allocate the right-sized string every time, and add
  :NO-COPY option to INTERN* and use it in AUX-FOP-INTERN to
  avoid copying when interning.

rename FOP-INTERN AUX-FOP-INTERN for clarity

  ...so as not to confuse it with actual FOPs.

use FAST-READ-BYTE in LOAD-S-INTEGER

  No reason not to.

optimize READ-STRING-AS-[BYTES|UNSIGNED-BYTE-32]

  Use FAST-READ-BYTE / FAST-READ-U-INTEGER, and add a separate
  READ-BASE-STRING-AS-BYTES.

  This actually makes a difference in FASL-loading speed.

easier to read FAST-READ-U-INTEGER expansion

FAST-READ-BYTE refactoring

  Change PREPARE-FOR-FAST-READ-BYTE into WITH-FAST-READ-BYTE.

  DONE-WITH-FAST-READ-BYTE is gone.

  FAST-READ-BYTE is a local inline function instead of a macro.

Make COERCE on characters more standard-conforming.

Characters could be coerced to subtypes of CHARACTER to which they
don't belong. Also, character designators that are not characters
could be coerced to proper subtypes of CHARACTER. Make all of these
instead signal an error as required by CLHS COERCE.

Add test cases, both for unicode-enabled and non-unicode-enabled SBCL.

Fixes lp#841312.

Add tools-for-build/determine-endianness to .gitignore.

  * Nothing more need be said.

Fix build on CHENEYGC targets.

  * Conflicting definitions of alloc_region, both useless.

  * Remove both definitions from visibility in print.c, and add an
explicit error in gencgc-alloc-region.h to help diagnosis if this
ever crops up again.

test for bug 308926

  Seems to be good now, let's keep it that way.

test for bug 308941

  Has fixed itself at some point, let's keep it from regressing.

refactor symbol interning FOPs

  Put the shared logic into FOP-INTERN.

make DEFINE-FOP use &BODY instead of &REST

better "cannot stack allocate" compiler notes

  When the note refers to failure to allocate an argument,
  say so -- instead of claiming to be unable to stack allocate
  the entire function, which is both silly and wrong.

  Also prettier formatting.

make TRIVIAL-LAMBDA-VAR-REF-P false for XEPs

  Also clean up TRIVIAL-LAMBDA-VAR-REF-LVAR.

  Fixes lp#803508.

Silence two style warnings from the test harness.

Currently running any test emits a warning that REALLY-INVOKE-DEBUGGER
is undefined. Running any test that uses IMPURE-RUNNER additionally
emits a warning that *BREAK-ON-ERROR*'s lexical binding is used despite
its name indicating specialness.

Silence these two by moving the definition of REALLY-INVOKE-DEBUGGER
before its use and by adding a SPECIAL declaration for *BREAK-ON-ERROR*
in RUN-IMPURE-IN-CHILD-SBCL in a form that is executed in the child
SBCL.

fix tyop in ONLY-ONE-BOXED-CONSTANT-FOR-MULTIPLE-USES that broke it

  s/'/`/

robustify ONLY-ONE-BOXED-CONSTANT-FOR-MULTIPLE-USES test

  Was broken on x86 due to test fragility.

use COMPONENT-TOPLEVELISH-P in CHECK-CONSISTENCY

 Fixes lp#308921 -- bug was in the consistency checking, not the compiler
 itself.

explicit :BIG-ENDIAN feature

 Instead of implying big-endianness by lack of the :LITTLE-ENDIAN feature,
 make it explicit.

Fix transform for SEARCH on vectors with :form-end t.

When from-end is specified, start2 becomes end2 and the other way
around, so return star2 or end2 accordingly when testing for an empty
subsequence.

Fix transform for SEARCH on vectors.

An empty first sequence means that (= start1 end1) and it will match
the second sequence anywhere starting from start2, so return start2
in case of (= start1 end1).

missing NEWS for the last few commits

run-program leaked a pipe per call

  exec-failure detection neglected to close the other side of the pipe.

gencgc: bogus memory fault handling

 Add more debugging information when a bogus memory fault occurs,
 and two control variables:

  continue_after_memoryfault_on_unprotected_page
  ignore_memoryfaults_on_unprotected_pages

 The first just prevents us from lose()ing. Set it in darwin_init() as we
 genuinely appear to get bogus memory faults in threaded code from the kernel,
 which point to unprotected boxed pages. They are possibly something we could
 filter out in catch_exception_raise... but don't see how. Experimentally
 continuing after such them seems harmless, so let's try that but make it
 noisy.

 The second one silences the debugging output completely. Not set currently at
 all.

better deadlock reporting

  Print the cycle properly, so it makes sense even after the deadlock is gone,
  which is now case always by the time it is reported.

  Since we now break deadlocks before signaling the error, don't barf to
  stderr anymore.

darwin: dladdr can deadlock the GC

  Needs to be always called inside WITHOUT-GCING since it grabs locks, and is
  /sometimes/ called inside WITHOUT-GCING.

avoid recursive errors from broken standard streams on debugger entry

  Handle STREAM-ERORRS in FLUSH-STANDARD-OUTPUT-STREAMS.

DESCRIBE improvements

 * Nicer DESCRIBE for type designators. Use TYPEXPAND-1 to get it done right.

 * Bind *PRINT-CIRCLE* to NIL around lambda-list printing, but compensate with
   *PRINT-LEVEL* and *PRINT-LENGTH* for sanity's sake.

Document --fancy.

While here, put list of features set by --fancy into $FANCY_FEATURES,
so documentation doesn't fall out of sync with what option does.

Add :CHENEYGC feature to non-GENCGC targets.

  * When I wrote 14fd5afbac525e7a2e86903070afa0e94dfa14f7 I was
under the impression that there was a :CHENEYGC feature used on
plaforms that used the cheney collector.  This was logical, but
incorrect.

  * The two ways forward were to back out the use of :CHENEYGC
as a feature when checking compatibility or to move forward and
add :CHENEYGC and use it in preference to (NOT :GENCGC) where
appropriate, opening the door to a third GC option.

  * This is the minimal fix, adding :cheneygc to the non-gencgc
targets in make-config.sh.

Add src/runtime/TAGS to .gitignore.

  * We build TAGS by default now, so make it not show up in git.

fix ONLY-ONE-BOXED-CONSTANT-FOR-MULTIPLE-USES test

  Feh.

don't stack-allocate specialized vectors on non-conservtive control stacks

  ...cos that would be bad. Currently affects only MIPS.

fix doubled unboxed constants when there is no immediate representation

  The recent changes to handling of boxed constants indvertently cause them to
  be duplicated when there was not immediate representation at all, and both an
  unboxed and a boxed representaion would have been desirable.

Improved undefined-function backtrace on PPC.

When there is an existing stack frame (either for a large number
of arguments or for a tail-call), undefined_tramp triggers a
strange case in build_fake_control_stack_frames() that can leave
the OCFP and LRA slots uninitialized, causing a truncated
backtrace.

  * Alter undefined_tramp to always allocate and initialize a
stack frame.

  * While we're here, tighten up the reg_CODE initialization
sequence.

Improved undefined-function backtrace on non-x86oids.

  * Instead of "bogus stack frame", present undefined function
frames as "undefined function".

  * Implement this by checking specifically for the undefined
function trampoline function object (which otherwise fails
pointer validation) in MAKE-LISP-OBJ, and allowing the existing
logic to do what it was always supposed to do.

  * Tested on PPC only, but should work on the other affected
targets.

Improved undefined-function backtrace on x86oids.

  * Instead of "bogus stack frame", present undefined function
frames as "undefined function".

  * Implement this by checking specifically for escaped frames
with the program counter within the range between the start of
undefined_tramp and the start of whichever function follows it
in $ARCH-assem.S.

fix make.sh --dynamic-space-size option handling

 !CONFIGURE-DYNAMIC-SPACE-END actually ignored the number it read.

fix threaded PPC build, refactor new semaphore code

 Refactor the recent semaphore code into nicer shape.

 * No point in having these functions as inline functions.

 * Move shared logic to os-common.c, and conditionalize it on
   CANNOT_USE_POSIX_SEM_T, which platform specific headers can define if they
   implement their own versions. (Darwin now, Windows in the future.)

 * PPC needs genesis/thread.h in assembly, not thread.h.

fix unthreaded non-x86oid builds

 Better representation selection for constants broke things, since it assumed
 that IMMEDIATE is the only immediate boxed SC -- which is true only on
 x86oids: elsewhere there is also NULL and ZERO.

 Add new VM support routine: BOXED-IMMEDIATE-SC-P.

enable previously-broken thread tests on Darwin

  WIN!?

  I have not been able to make threaded SBCL on Darwin croak yet with the
  semaphore implementation in the previous commit, so ... maybe.

  I suspect the sb-concurrency tests can now be enabled on SunOS as well, but
  since I don't have a box to test that hypothesis on, leaving them disabled
  for now.

semaphores in the runtime

  Trivial refactorings:

  * Rename STATE_SUSPENDED STATE_STOPPED for elegance. (Spells with the same
    number of letters as STATE_RUNNING, things line up nicer.)

  * Re-express make_fixnum in terms of MAKE_FIXNUM so that we can use the
    latter to define STATE_* names in a manner acceptable to use in
    switch-statements.

  * Move Mach exception handling initialization to darwin_init from
    create_initial_thread so that current_mach_task gets initialized before
    the first thread struct is initialized.

  The Beef:

    Replace condition variables in the runtime with semaphores.

    On most platforms use sem_t, but on Darwin use semaphore_t. Hide the
    difference behind, os_sem_t, os_sem_init, os_sem_destroy, os_sem_post, and
    os_sem_wait.

    POSIX realtime semaphores are supposedly safe to use in signal handlers,
    unlike condition variables -- and experimentally at least Mach semaphores
    on Darwin are a lot less prone to problems.

    (Our pthread mutex usage isn't quite kosher either, but it's the
    pthread_cond_wait and pthread_cond_broadcast pair that seemed to be
    causing most of the trouble.)

tests: fix :skipped-on clause for weak hash-table tests.

  * During the original addition of :skipped-on, the condition for
skipping the weak hash-table tests was changed from "non-threaded
x86oids" to "everything but threaded non-x86oids".  The actual
condition should be "non-threaded conservatively-scavenged-stack".

tests: Add --report-skipped-tests option to the test runner.

  * It is occasionally useful to see precisely which tests are
skipped on a given target, and there was no obvious way to so do.

Fail early when building with known-incompatible features.

  * Essentially, fail as soon as we have the final shebang feature
list available.

  * Only checks a small number of "obvious" cases for now.

Fix my previous commit on setf expansions.

Fix the case when `default' in (setf (getf x y default) z) isn't provided.

Add tests.

adjust the new MALLOC-FAILURE test for 32-bit builds

  ...where malloc of (1- array-total-size-limit) bytes may actually
  succeed initially.

Remove unused variable warnings in some setf expansions.

(let (list) (setf (getf list 'x 0) 10)) produced a style-warning on a
temporary variable for holding 0, which is unused.

Fixes lp#492071.

allow coercion of large fixnums to floats outside x86

 The reason we need guard against this on x86 is due to the FPU there always
 using double-precision internally, which can lead to us deriving an
 inconsistent type unless the fixnum is exactly represented by a single-float.

 However, no such danger exists outside x86.

 (Test-suite already contains tests for this.)

add support for package::form-read-in-package syntax

   sb-c::(csubtypep (specifier-type 'fixnum) (specifier-type 'integer))

 Isn't that lovely? The superbly fantasic thing is that this even works
 *right* with package locks:

    (in-package :cl-user)

    sb-c::(defun some-internal-bit ...)

  causes a package lock violation since the current package is back to CL-USER
  by the type the code is executed.

printing specialized arrays readably

  When *READ-EVAL* is true, use #. based syntax to print them.

  lp#803665.

use *SUPPRESS-PRINT-ERRORS* for backtraces and DESCRIBE

 The suppression mechanism is a bit more informative than the old #<error
 printing object> marker for BACKTRACE, and DESCRIBE didn't really have
 anything before this.

 Also bind *PRINT-CIRCLE* to T for BACKTRACE, and use the PRINT-UNREADABLY
 restart for PRINT-NOT-READABLE errors.

add SB-EXT:*SUPPRESS-PRINT-ERRORS* modelled after *BREAK-ON-SIGNALS*

  When non-NIL, OUTPUT-OBJECT (our main entry to the printer) binds a handler
  that handles conditions of the specified type by printing an error marker
  instead of signaling an error.

  WRITE also accepts :SUPPRESS-ERRORS, and WITH-STANDARD-IO-SYNTAX binds it to
  NIL.

  Calls SIGNAL before handling the condition so outer handlers get a chance to
  use restarts, etc.

muffle style-warnings for INFO :FUNCTION :TYPE

  Even if the function object's type contains unknown types, this is not the
  right place to complain about them.

  lp#806243

define SB-EXT:PRINT-UNREADABLY as a function

  So

    (handler-bind ((print-not-readable #'print-unreadably))
       ...)

  works.

silent non-toplevel DEFSTRUCT

  Use TRULY-THE in the constructor inline expansion only if the compiler knows
  the layout: using it for the lazy version doesn't help, and only causes a
  STYLE-WARNING.

don't simplify (LET () ..) => (LOCALLY ...) in the simple evalutor

  If LET is at toplevel its subforms are not.

  If LOCALLY is at toplevel its subforms are also at toplevel.

less rebindings in defmethods

  PCL needs to rebind DEFMETHOD arguments when they are assigned to:

  * CALL-NEXT-METHOD needs the originals.

  * We apply an implicit declaration to the original from the specializer,
    which an assignment can violate.

  There is, however, no need to bind everything simply because /something/ is
  assigned to.

  Fixed lp#898331.

more conservative subtypep test for classoids

 * Give NIL, NIL for invalid classoids with forward-referenced superclasses
   instead of signaling an error during SUBTYPEP.

 * If we can't tell it's a subtype and either has a forward-referenced
   superclass we can't tell for sure it isn't -- meaning NIL, NIL instead of
   NIL, T.

 Fixes the second half of lp#888630.

MAKE-ALIEN improvements

 * Move more of the bytes-calculation to macroexpansion time.

 * Change %MAKE-ALIEN to take bytes instead of bits, so that --in theory at
   least-- chunks upto ARRAY-DIMENSION-LIMIT-1 bytes can be allocated.

 * Use ALIEN-FUNCALL-SAVES-FP-AND-PC 0.

 * Detect malloc() failure and signal a storage-condition for it.  Fixes
   lp#891268.

stricter handling of declarations in DEFGENERIC

  Warn about unrecognized declarations.

  lp#894202

fix style-warnings for condition slot-accessors used in :REPORT

  Previously condition slot accessors used in :REPORT option signaled
  a style-warning under EVAL and LOAD (as source): the compiler saw
  the lambda before the accessor had been proclaimed as functions.

  Fixes lp#896379.

use boxed constants for full calls

 If a constant is being used in a full call, use a boxed representation
 instead of an inline one which must then be boxed at runtime.  Also arrange
 to have both an immediate unboxed and a boxed representation when
 advantageous.

 (There might be other cases besides full calls where we should prefer boxed
 representations, but that's for later.)

no need for BOOT-MAKE-WRAPPER on target

  Rename it !BOOT-MAKE-WRAPPER.

change an AVER to CERROR 'bug

  Hopefully making it easier to debug.

improve the SB-EXT:GC docstring(s)

fix misoptimization of TRUNCATE

  Reported by Eric Marsden on sbcl-devel 2011-12-01.

   "illegal instruction on PowerPC"

  We check for result type being a VALUES-TYPE-P when deciding if to compute
  the second value for TRUNCATE or not -- but *WILD-TYPE* isn't a values type.

  Make VALUES-TYPE-P return true for it from now on. What could possibly go
  wrong? Just two other places need to change, it seems.

fix bug in typechecking calls with non-constant keywords

 Reported by Eric Marsden on sbcl-devel 2011-12-01.

fix treatment of signed zeroes in INTERVAL-DIV

 Fixes bug reported by Eric Marsden on sbcl-devel: type derivation going wrong
 due to one signed zeroes: (/ 0.0 -neg) derives correctly as -0.0, but (/ 0
 -neg) derives as 0.0, causing the intersection to be empty causing badness.

 Simply remove special casing of division of zero from INTERVAL-DIV:
 BOUND-BINOP handles signed zeroes correctly, so no sense complicating the
 code by adding handling for them in I-D.

oops. actually stop when seeing --with-foo and customize-target-features.lisp

 ...instead of just complaining to the stdout.

more robust deadlock detection

 Lock around building the deadlock chain using WITH-CAS-LOCK after the
 tentative deadlock has been detected, and break the deadlock chain before
 signaling the error.

 This means that a single deadlock is reported only in a single thread.

 Fixes occasional failures of deadlock-detection.1 due to a bogus vicious
 metacircle. (Two threads detecting the same deadlock, then racing to report
 the error detected as another deadlock, the reporting of which in turn looked
 like a metacircle to CLOS if PRINT-OBJECT didn't yet have the right method in
 cache.)

build runtime/TAGS by default

  Getting tired of needing to build it manually all the time.

add --fancy option to make.sh

  Enables threads, core compression, xref for internals, and
  after-xc-core. (The last one for convenience, even though it's not user
  visible.)

add --with-<feature> and --without-<feature> support to make.sh

  customize-target-features.lisp still works, but the system refuses to mix it
  with --with[out] options to avoid confusion.

add --arch option to make.sh

  Not for full-blown cross compilation, though.

make make.sh run clean.sh

  Since eg. trying to build for different arches without cleaning
  in the middle will just break things.

  slam.sh is for those in a hurry.

1.0.54: will be tagged as "sbcl-1.0.54"

:backtrace-interrupted-condition-wait fails on x86 Linux

remove a stray debugging PRINT

  ...there since 1.0.48.21! Wow.

fix bug in semaphore notification objects on TRY-SEMAPHORE

  It's not notifiction.

Fix clos.impure.lisp DOCUMENTATION test on #-sb-doc.

Don't rely on docstrings being present on standard functions
when testing DOCUMENTATION.

tests: Skip stream.impure.lisp / BUG-657183 on non-unicode.

  * For some reason, #\GREEK_SMALL_LETTER_LAMDA isn't a valid
character name on non-unicode builds.  Who knew?

Oops, remove a debugging printenv which snuck in.

Work around excessive consing via ROOM by turning off
alien-funcall-saves-fp-and-pc.

try to robustify test for bug-309448

  We've been getting intermittent reports of it failing, but I've been unable
  to reproduce so far. The test in question is a compiler scaling test, which
  compares times it takes to compile different things. Brittle, indeed.

  Other than non-SBCL causes the only thing I can think of right now is GCs
  from other tests getting accounted against one of the supposed-to-be-fast
  runs. So, run GC :FULL T before getting the timings to make things more
  consistent.

gencgc: fix regression from 137ba2db2d362f03754ccd080ddbe96f7e3c5dc7

  Turned loop conditions into asserts in faith that they always hold.
  Turns out this is not the case after all.

update ASDF to 2.019

NEWS prettification

  Wrap to 78, upcase symbol names, move one more item under the "GC-related"
  section and use more consistent phrasing there.

tweak NAME-CONTEXT

  On platforms without UNWIND-TO-FRAME-AND-CALL vops we introduce an extra
  block, which then shows up there in the function names for eg. lambdas
  defined at the toplevel in high debug code. Fix that.

  CATCH also introduces a block. Filter those out too.

make PPC/Linux buildable on ppc64 hosts