Fixnum and unsigned-fixnum array cleanups.

  * Rename {arraytype}-{elementtype1} to {arraytype}-{elementtype2} for
{arraytype} in (SIMPLE-ARRAY VECTOR), {elementtype1} in
(UNSIGNED-BYTE-29 UNSIGNED-BYTE-60 SIGNED-BYTE-30 SIGNED-BYTE-61) and
{elementtype2} in (UNSIGNED-FIXNUM SIGNED-FIXNUM) across the board
(predicates, tag names, etc.).

  * Cleanup of related conditional compilation.

  * Export n-fixnum-bits (the remaining fixnum representation constant)
from sb!vm instead of having it as an internal symbol of sb!pcl.

  * Original patch by Paul Khuong.

Change x86oid modular arithmetic to work if fixnum width changes.

  * This is largely (signed-byte {30,61}) => fixnum and smod{30,61} =>
modfx.

  * Thanks to Paul Khuong for the initial patch.

Fix definition of most-FOOative-fixnum.

  * Define in terms of n-positive-fixnum-bits, not some relation between
n-word-bits and n-lowtag-bits.

Introduce sb!vm::fixnum-lowtags

  * This is defined as a list of the exported SB!VM -LOWTAG symbols
bound to integers that are zero when masked with fixnum-tag-mask (in
short, the names of the fixnum lowtags).

  * Replace all direct references to the fixnum lowtags with something
based on fixnum-lowtags.

  * Introduce the corresponding change to genesis, with the predicate
is-fixnum-lowtag instead of testing against specific lowtags.

  * Introduce the corresponding change to the runtime, making fixnump()
check against fixnum-tag-mask instead of comparing individual fixnum
tags.

  * And, while we're redefining fixnump() in terms of the significant
part of the lowtag, do the same with other_immediate_lowtag_p().

Clean up all use of the *-space-free-pointers.

  * These are symbols whose value slots contain unboxed word-aligned
byte pointers.  Thus, they appear to lisp as fixnums.  They are not,
however, guaranteed to be word pointers.

  * Shift by n-fixnum-tag-bits instead of shifting by word-shift or
scaling by n-word-bytes in order to obtain byte pointers.

Redefine symbol TLS slot indices.

  * Instead of having symbol TLS slots be fixnum indices treat them as
byte offsets from the base of the thread structure.

  * This has no effect on the compiler or backends.

  * TLS slot allocation must now be done in terms of words, not fixnums.

  * In %{set-,}symbol-value-in-thread, use get-lisp-obj-address instead
of scaling the TLS index.

  * Use explicit WORD_SHIFT instead of make_fixnum() / fixnum_value() in
the runtime.

Improved GC lossage

  * Change size_lose() and scav_lose() to indicate the widetag of the
header of the losing object rather than of the pointer to the losing
object.

  * Patch from Paul Khuong.

(format t "a~0&b") shouldn't print any newlines.

Fixes lp#867684.

1.0.52: will be tagged as "sbcl-1.0.52"

Sleep is apparently still consing on 32-bit platforms, mark test as failing

Remove the invalid :sleep-many-interrupts test

really fix float rounding on 32-bit platforms

Now, as well as not giving completely the wrong answer for most
larger-than-fixnum double floats, we additionally don't try to perform
arithmetic on NIL for larger-than-fixnum single-floats.

fix run-program misaligned access

Thanks to Antoni Grzymala for the report.

Fix the build on Windows

Ignore a known failure in script.test.sh on Darwin

script.test.sh includes a test case that fails on Darwin because of
a bug in SBCL.  However, this is the first release to run this test at
all.  Lacking a proper mechanism to mark the test case as a known
failure on Darwin, skip it entirely on that platform for now.

Thanks to Fare for testing.

Probably fix compile on win32 (no sys/mman.h).

Silence a warning about assignment in conditional

One missed contrib subdir.

handle non-standard slot allocations when updating classes

 * Refactor layout comparison to work on the effective slot definition list(s)
   directly -- easier to understand.

 * When new slots with custom allocation are added, add their names to the
   "added" list for UPDATE-INSTANCE-FOR-REDEFINED-CLASS. This is not specified
   by ANSI, but unless we do this those slots don't get initialized.

   Removing custom slots is hairier, as is changing a custom slot into
   a normal slot. Add some tests that poke in this area as well...

 * Replace wrapper-instance-slot-layout and wrapper-class-slots with the
   CLASS-SLOTS lists -- saves space and makes things easier to understand.

   Has a small performance cost for updating instances and SLOT-MISSING. Will
   refactor again if this is critical in the real world.

cleanup DESCRIBE of symbols naming type specifiers a bit

Firstly, don't indent the "... names a type specifier".  But then
wander around in confusion for a while trying to debug where the extra
indentation comes from, before working out that the pprint-newline at
the end of describe-class introduces indentation as well as a newline,
causing the subsequent logical block to be opened at an unexpected
horizontal position.  Fix fix fix.

Fix (run-program) to cleanup fd handlers

Signed-off-by: Christophe Rhodes <csr21@cantab.net>

news item for float rounding

fix rounding of floats big enough to be bignums

Wow, so broken: the attempt to confuse while pretending to do
round-to-even goes back decades to original CMUCL sources.  Rewrite
the bignum branch with a more careful and clear version that is obviously
correct.

Optimizers might want to elide some of the computation on appropriate
platforms: on 32-bit platforms, all single floats outside the fixnum
range are integral, while on 64-bit platforms all single and double floats
outside the fixnum range are integral.  (This could be implemented by
comparing most-fooative-fixnum with fooble-float-significand-byte)

remove myself as a provider of official support

Fix I/O redirection of script.test.sh

With this fix, "run-tests.sh | tee" passes again on Linux.
Thanks to Fare Rideau for the report.

Bring OPTIMIZATIONS up to date

 Some of these things were implemented months or a few years ago.

 Also, fix the header for NEWS.

Microoptimization for code size in floating point comparisons on x86-64

This affects EQL on real and complex floats and "=" on floats when at
least one of the two arguments is complex.

Use a 32-bit register as the destination of the MOVMSKP[SD] and the
source of the integer comparison instead of a 64-bit one. This doesn't
change the semantics but makes both instruction's encodings shorter.
If the register is EAX do the comparison on AL as this additionally
shortens the encoding.

Before:

  660F76C1         PCMPEQD XMM0, XMM1
  480F50C0         MOVMSKPS RAX, XMM0
  4883F80F         CMP RAX, 15

After:

  660F76C1         PCMPEQD XMM0, XMM1
  0F50C0           MOVMSKPS EAX, XMM0
  3C0F             CMP AL, 15

Small cleanup to DEFINE-BYTE-BASHERS

Remove an unneeded SETF of the result of an INCF in a copy loop.
At least on x86[-64] this shortens the generated code in the byte
basher functions by removing a redundant move instruction.

More complete disassembly for XADD and CMPXCHG on x86-64

 The new patterns correctly handle REX bytes and operand size override
 bytes (#x66).

Clean up some SSE instruction format definitions on x86-64

Remove the instruction formats for some SSE instructions with 8 bit
immediate data, instead make some other formats optionally have an
immediate field.

This makes it necessary to move the default printer definition for
these formats into the SSE shuffle instructions. They were the only
users of these formats that didn't have a printer defined anyway.

More readable disassembler output for SSE shuffle instructions on x86-64

Output the immediate byte that contains the shuffle pattern in binary
or quaternary as appropriate with a suitable number of leading zeros.

For the shuffle instructions that use only part of the immediate byte
the assembler asserts that the rest is zero to help catch potential
wrong uses of these instructions.

Cleanup SSE instruction printers on x86-64

Use SSE-INST-PRINTER-LIST in all SSE instruction definitions to reduce
copy and paste programming. Reformat some overly long lines.

Update the library list on x86/darwin as well when zlib is enabled

Fix the build on some XCode/OS X version combo by forcing CC=gcc

 It was already the case for x86-darwin.

Optionally mark pages from cores as de-duplicatable

 Linux supports optimistic virtual-memory-level de-duplication for
 identical pages.  By default, only enable this for compressed cores.
 Runtime options --[no-]merge-core-pages can be used to override the
 default.

 Very much experimental and a hack, but compressed cores would sometimes
 be gratuitously inefficient otherwise.  If/when support is generalized
 to more OSes, figure out how to do this right.

 Thanks to David Lichteblau for the idea.

Optional support for zlib-based in-memory deflate/inflate for core files

 * As this is based on zlib, only add the dependency when
   :SB-CORE-COMPRESSION is enabled as a build-time feature.  On x86-64,
   compressed cores take about 1/4 the space, but start up in a few
   tenths of a second.

   Unlike gzexe'd executables, compressed images work without writing
   to /tmp.

   If :SB-CORE-COMPRESSION is enabled, trigger compression with the
   :COMPRESSION argument to SAVE-LISP-AND-DIE.

 * Also add a NEWS entry for the literal complex-single-float bugfix

Allow use of the --core option with embedded core files

Thanks to Anton Kovalenko for implementation suggestions.

test for multiply-interrupted sleeps

  Make sure the time take by the interrupt is tallied
  correctly.

be more careful about ,@<constant-atom> and ,.<constant-atom>

  Specifically, signal a read-time error for those things which COMMA
  special-cases when constructing a splice.

  Fixes lp#770184.

better errors for `(foo ,)

  Report the trailing comma instead of an unmatched parenthesis.

prettier reporting for SIMPLE-READER-ERRORs

  Make the actual error message more prominent,
  and the location information easier to read.

  Also fixes an off-by-one in the location.

Create a dummy test-status.lisp-expr when running shell tests.

The test-status.lisp-expr file isn't used for shell tests, but the
impure runner doesn't know that and tries to read it
anyway. Initialize the file before running shell tests to avoid
reporting failures from the last test run, or failing entirely if it
doesn't exist.

Ensure correct alignment for complex single-float literals

 Only an issue on x86-64: literal complex single-float values used
 directly as operands to SIMD instructions were not correctly aligned
 and extended.  Completion typo fixed.

 Test added.

 Remove misleading comments in negate/conjugate/abs float VOPs while
 we're at it.

 Reported by Eric Marsden on sbcl-devel.

 Fixes lp#832005.

Fix a typo in NANOSLEEP

 Missing pluralization in the #!+darwin code path.

disable unsychronized-hash-table test for now

  Intermittently causing my laptop to swap instead of terminating with
  an error.

optimize pretty-printing strings and bit-vectors

  Since strings and bit-vectors use the ugly output in any case,
  exlude them from using PPRINT-ARRAY -- so we don't need to cons up a
  pretty stream when printing strings while *PRINT-PRETTY* is true.

oops, fix recent NANOSLEEP change

  If the sleep gets interrupted multiple times on Darwin:
  update SECS and NSECS each round.

NEWS for 5 last commits

update to ASDF 2.017

ignore non-function FTYPEs

  Fixes lp#738464.

  Give a style-warning and ignore the bad type.

non-consing NANOSLEEP

  ...and hence SLEEP as well.

extend ARRAY-TYPE-UPGRADED-ELEMENT-TYPE to work with member types

 Fixes lp#826971.

use WEAKEN-INTEGER-TYPE in ARRAY-IN-BOUNDS-P

  The type of the bound might be a union-type. WEAKEN-INTEGER-TYPE
  gives us the ends of a range.

  lp#826970

1.0.51: will be tagged as "sbcl-1.0.51"

fix bogus deadlocks from interrupts and GCs

 lp#807475

 Going in despite the freeze since this is a regression that can
 semi-randomly break correct code. *ouch*

 Thanks to Bart Bortta and #sbcl for the analysis.

 Problem 1:

   T1 holds L1

   T2 is waiting for L1

   T2 is interrupted, interrupt handler grabs L2

   T1 starts waiting on L2

   Prior to this patch, when GET-MUTEX in T2's interrupt handler grabbed
   L2 is marked T2 as still waiting for L1 -- which is not true until
   the interrupt handler returns.

 Problem 2:

   T1 holds L1

   T2 is waiting for L1

   GC is triggered in T2 inside GET-MUTEX

   T2 grabs *ALREADY-IN-GC* lock

   GC is triggered in T1, T1 tries to get *ALREADY-IN-GC* lock.

   Prior to this patch, when T1 detects a bogus deadlock as T2 has
   been marked as waiting for L1 -- which is not true until the GC is
   finished and normal execution resumes.

 Problem 3:

   T1 holds L1

   T2 is waiting for L1

   GC is triggered in T2 inside GET-MUTEX

   T2 grabs lock L2 due to a finalizer or an after-gc-hook

   GC is triggered in T1

   T1 tries to grab L2 due to a finalizer, etc.

   Same as problem 2, but with a user-lock and POST-GC instead of
   *ALREADY-IN-GC* and SUB-GC.

 This patch fixes the issue by saving, clearing, and restoring
 the waiting-for mark in

  1) interrupt handlers

  2) SUB-GC

  3) POST-GC

Fix automatic &rest to &more conversion in unsafe code

 Applying &rest lists to known/typed functions can lead to a
 :fixed values call to %more-arg-values.  In that case, unroll
 it into several %more-arg of constant indices.

 Reported, with test case, by Lutz Euler (lp#826459).

New function: SB-EXT:SPIN-LOOP-HINT

 Some architectures have developed ways to help the processor execute
 spin loops efficiently; expose them, where applicable, via
 SB-EXT:SPIN-LOOP-HINT.

 Assembles to PAUSE on x86oids, and to nothing on other platforms.

Missing NEWS entry for 4e431db

 Also, missing credit for Lutz Euler's bug report on a7b24b5.

Handle SIMPLE-TYPE-ERROR when propagating bounds

 Type conversions (e.g. bignum to float) may signal a
 SIMPLE-TYPE-ERROR rather than returning an infinity.
 Treat that case like an unknown value.

 Add two tests.

 Fixes lp#819269.

New function: SB!KERNEL:%MULTIPLY-HIGH

 * Does the same thing as only returning the first value of %MULTIPLY,
   only better on some platforms.

 * Implemented vas VOPs on x86, x86-64 and PPC.  The PPC code sequence
   is fully untested, and merely looks correct.

 * VOPs for fixnum first argument are included, but will only be used
   when the result is forcibly marked as fixnum, e.g., with TRULY-THE.
   Questionnable, but I'd rather err on the side of straightforwardness
   rather than put even more pressure on representation selection.

 * Use it in the division-by-multiplication transform for unsigned
   TRUNCATE by constant.

More efficient integer division by multiplication

 * Exploit restricted range for inputs (e.g. fixnums).

 * When the divisor is even, simplify with a mask instead of a shift.

 * Clean up the code a bit: we don't want modular arithmetic, it's
   actually all guaranteed not to wrap around.

 * Change the test so that larger divisors are a bit more likely to
   get tested too.

 * Lots more things can be done, including generalizing the transform
   to pretty much arbitrary rational divisor, or avoiding the costly
   general code sequence in nearly all cases.  Unfortunately, it's a
   lot of (somewhat original, at that) code, and can be fairly slow;
   if it matters to someone, I can try and find a compromise (contrib?).

Various (mostly) SSE x86-64 instruction definition fixes and additions

 * Fix typos in mnemonics and non-temporal store definitions;
 * Add some instructions;
 * CLFLUSH was totally broken.

Taken from Alexander Gavrilov's SSE intrinsics branch.

fix DESCRIBE on compiled closures from EVAL

 lp#824974

allow user-defined STRING synonyms in MAKE-SEQUENCE

...and MAP, MERGE, COERCE and CONCATENATE too.  This also meant
working a bit on TYPEXPAND, to make (STRING <N>) be unexpanded in the
same way as STRING, and consequently on VALUES-SPECIFIER-TYPE to
ensure that the system would still recognize those types.

Include test cases for the sequence functions but not for TYPEXPAND.

Declaim sb-di::valid-lisp-pointer-p inline.

Making it inline prevents from creating a SAP, and thus reduces
consing and improves performance. It's called a lot by
map-allocated-objects when GCing is disabled, so consing less is a
desirable property.

Reported by `lisper' on #lisp

Fix QUERY-FILE-SYSTEM for Windows UNC and device file names

Thanks to Anton Kovalenko.

sb-bsd-sockets: Fix error code handling on Windows

  Factored out into a new function for the win32-specific
  WSAGetLastError call.

  Run-time results now match the existing constant definitions.

Thanks to Anton Kovalenko.

sb-simple-streams: In test lp491087, merge the pathname

  Needed for Windows.

Thanks to Anton Kovalenko.

sb-simple-streams: Close files before deleting them on revert

Thanks to Anton Kovalenko.

sb-simple-streams: use the Windows file mapping API for memory-mapped files

Thanks to Anton Kovalenko.

sb-posix: in win32 tests, avoid certain hardcoded file names

  stat.5: Create a fresh file instead of hardcoding c:\pagefile.sys
  (was c:\config.sys until recently; was /bin/sh originally).

  rmdir.error.3: Use %windir% instead of c:\.

  Tests now pass with Wine on my system without local workarounds.

sb-posix: redefined test rmdir.error.3 to accept ENOTEMPTY for win32

Thanks to Anton Kovalenko.

sb-win32: offer low-level bindings for file mapping functions

  Includes functions offered by Windows that are similar in
  spirit to mmap.

  Currently these are low-level FFI versions only, and no attempt
  is made to export them from sb-posix under the name mmap.  In
  sb-posix, only a wrapper for msync and definitions of several
  constants is offered, as needed for sb-simple-streams.

Thanks to Anton Kovalenko.

Also take this opportunity to sort the sb-win32 package
definition as a flat list.

Avoid some exceptions in WAIT-UNTIL-FD-USABLE on Windows

  Always report the :output direction as usable on win32.
  Fixes this function as needed for sb-simple-streams.

Thanks to Anton Kovalenko.

Tweak os_validate to support running SBCL on recent versions of Wine

  SBCL now builds and runs on Wine reliably.

  Credits: Fix developed by Anton Kovalenko.

generate-version.sh fixes

 Make it work with detached heads and historical builds.

 Previously a detached head broke the build, and trying to
 do

   git checkout master; git reset --hard sbcl-1.0.50; sh make.sh

 got the version number wrong.

fix initial FILE-POSITION for OPEN :IF-EXISTS :APPEND

  For O_APPEND opened files, lseek returns 0 until first write.
  So we jump ahead initially.

  lp#561642

New toplevel options --quit and --non-interactive

Implements lp#822712.

Make test toplevel.sh usable

  Move toplevel.sh to toplevel.test.sh (where run-tests.sh expects it).

  Move one of the tests to script.test.sh (where needed helper files
  are set up).

Document further common toplevel options

  --sysinit and --userinit had already been documented.
  Now also document the remaining toplevel options for consistency.

  Note that --help shows short one-line comments, hence no attempt is
  made to sync them with the manpage fully.

sb-bsd-sockets: less SERVE-EVENT

  Socket streams no longer participate in SERVE-EVENT by default.

  Adjust MAKE-SOCKET-STREAM docstring for clarity.

LOAD-TIME-VALUE improvements

 * Derive the type of :TOPLEVEL lambdas properly. Without this we were
   never able to utilize the type from COMPILE-LOAD-TIME-STUFF.

 * Use the source-type whenever it is more accurate than the type from
   COMPILE-LOAD-TIME-STUFF -- eg. when using a value cell.

 * Add ALIAS argument to IR1-CONVERT, allowing saving alternate forms
   into *CURRENT-PATH*: this allows

     (defparameter *var* 10)

     (compile nil '(lambda () (the list (load-time-value *var*))))

    to give the warning

      ;   Derived type of *VAR* is
      ;     (VALUES (INTEGER 10 10) &OPTIONAL),
      ;   conflicting with its asserted type
      ;     LIST.

    instead of the much less useful

      ;   Constant 10 conflicts with its asserted type LIST.

  * Use THE-IN-POLICY directly in LOAD-TIME-VALUE, allowing the file-
    compiler to report the LOAD-TIME-VALUE form for type-conflicts
    instead of (TRULY-THE <type> (%LOAD-TIME-VALUE ...))

better type propagation for MULTIPLE-VALUE-BIND

  Previously code such as

   (multiple-value-bind (x y) (known-call ...)
      ...)

  could lose the derived type for KNOWN-CALL when it was converted to
  an inline lambda: the derived type correctly ended up associated
  with the final VALUES call in the inlined code, but
  CONVERT-MV-BIND-TO-LET lost that.

  Address this by propagating the derived type of VALUES to the
  VALUES arguments.

  Allows removing the TRULY-THE kludge from the new TRUNCATE
  transform.

Remove non-ASCII characters in comments

 It breaks some people's builds (especially on !SBCL).

implement CEILING and FLOOR in terms of %CEILING and %FLOOR

  This allows transforms specific to CEILING and FLOOR fire first.

  If they fail, the fallback transforms to %CEILING or %FLOOR,
  respectively.

  They in turn are inlined, allowing the transforms for TRUNCATE
  to pick up the slack.

  This allows the new division -> multiplication transforms to fire
  for CEILING and FLOOR when SPACE > 1.

rename %FLOOR to %BIGFLOOR

Optimize integer division by a constant in several cases.

Convert integer division by a constant into multiplication to gain
a large speedup as the machine instructions for multiplication are
typically executed much faster than those for division.

This is implemented using a deftransform on TRUNCATE that triggers
if the dividend is known to fit in an unsigned machine word and if
the divisor is a constant, also fitting in an unsigned machine word.
(The cases that are optimized by other existing transforms, for example
if the divisor is a power of two, are left to these transforms.)

The replacement code is based on a widening multiply (that is already
available as bignum calculations need it) and possibly some shifts and
an addition to calculate the quotient. If the remainder is needed,
additionally a (normal) multiplication and a subtraction are generated.

As several other integer division operations are implemented using
TRUNCATE, this also affects CEILING, FLOOR, MOD and REM with the same
argument types. CEILING and FLOOR, however, are optimized only when
SAFETY=0 since they are declared MAYBE-INLINE.

export MOST-POSITIVE-WORD from SB-EXT

  We need it internally anyways, and since we export the WORD type, we
  might just as well export the constant too.

skip interrupted-syscall test on unthreaded builds

  ...and rename it backtrace-interrupted-condition-wait.

  Duh.

sb-bsd-sockets: add support for Linux TCP keep alive options

Correct function argument name generation in DEF-MATH-RTN

Argument names of math functions defined using DEF-MATH-RTN now really
start with "ARG0". Kills a style warning during build and slightly
reduces the number of symbols in the SB-KERNEL package.

Remove the redundant bootstrap hack from %COMPILER-DEFTYPE

move checking for constant ALIEN-INFO into a separate function

  Introducing CONSTANT-ALIEN-INFO-OR-ABORT.

fix short writes when not using SERVE-EVENT

  Regression since 1.0.42.43, lp#820599.

  Thanks to Robert Brown.

  If we remain in the loop, we need to update the local HEAD
  variable in the event of a short write.

  NOTE: No test case yet, as this is dependant on the size of kernel
  buffers, and trying to catch the short-write -case is tricky.

Fix version string parsing for Linux 3.0

 Stop assuming the presence of minor and patch version numbers; missing
 values are defaulted to 0 (e.g. 3.0.0).

 Reported by a few people on IRC.

Fix disassembly of CMP[PS][SD] instructions on x86-64

The relevant instruction formats wrongly defined a fixed position for
the immediate byte which broke disassembly when a memory argument was
used.

Fix this by using a prefilter to read the immediate like most other
instructions do.

Refactor for more OAOO-ness: Drop the instruction formats that were
used only for these comparison instructions; instead use others that
are nearly identical. This forces more copy-and-paste in the printer
definitions, so instead abstract the generation of printer lists for
SSE instructions into a separate function and use that here.

Add tests.

Fixes lp#814702.

Patch by Lutz Euler.

more robust backtraces for syscalls on x86

 * new optimization policy: ALIEN-FUNCALL-SAVES-FP-AND-PC Set to 3 for
   self-build on x86 to get reliable more backtraces there, and 0 for
   other platforms. (1 matches the old SPEED <= DEBUG behaviour.)

 * When using a saved FP, and an interrupt context has a bogus
   FP, assume it is an interrupted syscall frame.

add -fno-omit-frame-pointer to x86 builds

  GCC >= 4.6 omits it by default, leading to broken backtraces.

make SBCL_ARCH=x86 build work on 64-bit linux without chroot

 (Assuming all the compatibility libs, etc, have been installed.)

fixed-format floating point printing: zero and scaling factors

  Now that FLONUM-TO-DIGITS handles zero, we need to check against
  zero before adding in the scaling factor.

  Also make sure not to print extra digits when E is negative.

  Adjust FORMAT-AUX-EXP to not print the extra-zero: FLONUM-TO-STRING
  provides it now.

  Fixes lp#811386.