sbcl.git
12 years agoNew function: SB!KERNEL:%MULTIPLY-HIGH
Paul Khuong [Sun, 14 Aug 2011 20:49:27 +0000 (16:49 -0400)]
New function: SB!KERNEL:%MULTIPLY-HIGH

 * Does the same thing as only returning the first value of %MULTIPLY,
   only better on some platforms.

 * Implemented vas VOPs on x86, x86-64 and PPC.  The PPC code sequence
   is fully untested, and merely looks correct.

 * VOPs for fixnum first argument are included, but will only be used
   when the result is forcibly marked as fixnum, e.g., with TRULY-THE.
   Questionnable, but I'd rather err on the side of straightforwardness
   rather than put even more pressure on representation selection.

 * Use it in the division-by-multiplication transform for unsigned
   TRUNCATE by constant.

12 years agoMore efficient integer division by multiplication
Paul Khuong [Sun, 14 Aug 2011 20:46:01 +0000 (16:46 -0400)]
More efficient integer division by multiplication

 * Exploit restricted range for inputs (e.g. fixnums).

 * When the divisor is even, simplify with a mask instead of a shift.

 * Clean up the code a bit: we don't want modular arithmetic, it's
   actually all guaranteed not to wrap around.

 * Change the test so that larger divisors are a bit more likely to
   get tested too.

 * Lots more things can be done, including generalizing the transform
   to pretty much arbitrary rational divisor, or avoiding the costly
   general code sequence in nearly all cases.  Unfortunately, it's a
   lot of (somewhat original, at that) code, and can be fairly slow;
   if it matters to someone, I can try and find a compromise (contrib?).

12 years agoVarious (mostly) SSE x86-64 instruction definition fixes and additions
Paul Khuong [Sun, 14 Aug 2011 17:34:13 +0000 (13:34 -0400)]
Various (mostly) SSE x86-64 instruction definition fixes and additions

 * Fix typos in mnemonics and non-temporal store definitions;
 * Add some instructions;
 * CLFLUSH was totally broken.

Taken from Alexander Gavrilov's SSE intrinsics branch.

12 years agofix DESCRIBE on compiled closures from EVAL
Nikodemus Siivola [Sat, 13 Aug 2011 11:31:17 +0000 (14:31 +0300)]
fix DESCRIBE on compiled closures from EVAL

 lp#824974

12 years agoallow user-defined STRING synonyms in MAKE-SEQUENCE
Christophe Rhodes [Fri, 12 Aug 2011 12:57:51 +0000 (13:57 +0100)]
allow user-defined STRING synonyms in MAKE-SEQUENCE

...and MAP, MERGE, COERCE and CONCATENATE too.  This also meant
working a bit on TYPEXPAND, to make (STRING <N>) be unexpanded in the
same way as STRING, and consequently on VALUES-SPECIFIER-TYPE to
ensure that the system would still recognize those types.

Include test cases for the sequence functions but not for TYPEXPAND.

12 years agoDeclaim sb-di::valid-lisp-pointer-p inline.
Stas Boukarev [Thu, 11 Aug 2011 23:21:23 +0000 (03:21 +0400)]
Declaim sb-di::valid-lisp-pointer-p inline.

Making it inline prevents from creating a SAP, and thus reduces
consing and improves performance. It's called a lot by
map-allocated-objects when GCing is disabled, so consing less is a
desirable property.

Reported by `lisper' on #lisp

12 years agoFix QUERY-FILE-SYSTEM for Windows UNC and device file names
David Lichteblau [Thu, 11 Aug 2011 19:08:09 +0000 (21:08 +0200)]
Fix QUERY-FILE-SYSTEM for Windows UNC and device file names

Thanks to Anton Kovalenko.

12 years agosb-bsd-sockets: Fix error code handling on Windows
Anton Kovalenko [Wed, 18 Aug 2010 21:40:26 +0000 (01:40 +0400)]
sb-bsd-sockets: Fix error code handling on Windows

  Factored out into a new function for the win32-specific
  WSAGetLastError call.

  Run-time results now match the existing constant definitions.

Thanks to Anton Kovalenko.

12 years agosb-simple-streams: In test lp491087, merge the pathname
David Lichteblau [Wed, 10 Aug 2011 18:05:06 +0000 (20:05 +0200)]
sb-simple-streams: In test lp491087, merge the pathname

  Needed for Windows.

Thanks to Anton Kovalenko.

12 years agosb-simple-streams: Close files before deleting them on revert
David Lichteblau [Wed, 10 Aug 2011 14:50:29 +0000 (16:50 +0200)]
sb-simple-streams: Close files before deleting them on revert

Thanks to Anton Kovalenko.

12 years agosb-simple-streams: use the Windows file mapping API for memory-mapped files
Anton Kovalenko [Tue, 29 Mar 2011 11:55:42 +0000 (15:55 +0400)]
sb-simple-streams: use the Windows file mapping API for memory-mapped files

Thanks to Anton Kovalenko.

12 years agosb-posix: in win32 tests, avoid certain hardcoded file names
David Lichteblau [Wed, 10 Aug 2011 12:58:21 +0000 (14:58 +0200)]
sb-posix: in win32 tests, avoid certain hardcoded file names

  stat.5: Create a fresh file instead of hardcoding c:\pagefile.sys
  (was c:\config.sys until recently; was /bin/sh originally).

  rmdir.error.3: Use %windir% instead of c:\.

  Tests now pass with Wine on my system without local workarounds.

12 years agosb-posix: redefined test rmdir.error.3 to accept ENOTEMPTY for win32
Anton Kovalenko [Tue, 8 Mar 2011 23:36:35 +0000 (02:36 +0300)]
sb-posix: redefined test rmdir.error.3 to accept ENOTEMPTY for win32

Thanks to Anton Kovalenko.

12 years agosb-win32: offer low-level bindings for file mapping functions
Anton Kovalenko [Thu, 7 Oct 2010 00:37:07 +0000 (04:37 +0400)]
sb-win32: offer low-level bindings for file mapping functions

  Includes functions offered by Windows that are similar in
  spirit to mmap.

  Currently these are low-level FFI versions only, and no attempt
  is made to export them from sb-posix under the name mmap.  In
  sb-posix, only a wrapper for msync and definitions of several
  constants is offered, as needed for sb-simple-streams.

Thanks to Anton Kovalenko.

Also take this opportunity to sort the sb-win32 package
definition as a flat list.

12 years agoAvoid some exceptions in WAIT-UNTIL-FD-USABLE on Windows
Anton Kovalenko [Wed, 13 Oct 2010 23:18:06 +0000 (03:18 +0400)]
Avoid some exceptions in WAIT-UNTIL-FD-USABLE on Windows

  Always report the :output direction as usable on win32.
  Fixes this function as needed for sb-simple-streams.

Thanks to Anton Kovalenko.

12 years agoTweak os_validate to support running SBCL on recent versions of Wine
David Lichteblau [Tue, 9 Aug 2011 18:51:06 +0000 (20:51 +0200)]
Tweak os_validate to support running SBCL on recent versions of Wine

  SBCL now builds and runs on Wine reliably.

  Credits: Fix developed by Anton Kovalenko.

12 years agogenerate-version.sh fixes
Nikodemus Siivola [Wed, 10 Aug 2011 10:36:36 +0000 (13:36 +0300)]
generate-version.sh fixes

 Make it work with detached heads and historical builds.

 Previously a detached head broke the build, and trying to
 do

   git checkout master; git reset --hard sbcl-1.0.50; sh make.sh

 got the version number wrong.

12 years agofix initial FILE-POSITION for OPEN :IF-EXISTS :APPEND
William Halliburton [Sun, 13 Feb 2011 19:01:17 +0000 (12:01 -0700)]
fix initial FILE-POSITION for OPEN :IF-EXISTS :APPEND

  For O_APPEND opened files, lseek returns 0 until first write.
  So we jump ahead initially.

  lp#561642

12 years agoNew toplevel options --quit and --non-interactive
David Lichteblau [Tue, 9 Aug 2011 14:45:13 +0000 (16:45 +0200)]
New toplevel options --quit and --non-interactive

Implements lp#822712.

12 years agoMake test toplevel.sh usable
David Lichteblau [Tue, 9 Aug 2011 14:45:10 +0000 (16:45 +0200)]
Make test toplevel.sh usable

  Move toplevel.sh to toplevel.test.sh (where run-tests.sh expects it).

  Move one of the tests to script.test.sh (where needed helper files
  are set up).

12 years agoDocument further common toplevel options
David Lichteblau [Tue, 9 Aug 2011 14:45:05 +0000 (16:45 +0200)]
Document further common toplevel options

  --sysinit and --userinit had already been documented.
  Now also document the remaining toplevel options for consistency.

  Note that --help shows short one-line comments, hence no attempt is
  made to sync them with the manpage fully.

12 years agosb-bsd-sockets: less SERVE-EVENT
Nikodemus Siivola [Tue, 9 Aug 2011 10:37:14 +0000 (13:37 +0300)]
sb-bsd-sockets: less SERVE-EVENT

  Socket streams no longer participate in SERVE-EVENT by default.

  Adjust MAKE-SOCKET-STREAM docstring for clarity.

12 years agoLOAD-TIME-VALUE improvements
Nikodemus Siivola [Tue, 9 Aug 2011 07:57:41 +0000 (10:57 +0300)]
LOAD-TIME-VALUE improvements

 * Derive the type of :TOPLEVEL lambdas properly. Without this we were
   never able to utilize the type from COMPILE-LOAD-TIME-STUFF.

 * Use the source-type whenever it is more accurate than the type from
   COMPILE-LOAD-TIME-STUFF -- eg. when using a value cell.

 * Add ALIAS argument to IR1-CONVERT, allowing saving alternate forms
   into *CURRENT-PATH*: this allows

     (defparameter *var* 10)

     (compile nil '(lambda () (the list (load-time-value *var*))))

    to give the warning

      ;   Derived type of *VAR* is
      ;     (VALUES (INTEGER 10 10) &OPTIONAL),
      ;   conflicting with its asserted type
      ;     LIST.

    instead of the much less useful

      ;   Constant 10 conflicts with its asserted type LIST.

  * Use THE-IN-POLICY directly in LOAD-TIME-VALUE, allowing the file-
    compiler to report the LOAD-TIME-VALUE form for type-conflicts
    instead of (TRULY-THE <type> (%LOAD-TIME-VALUE ...))

12 years agobetter type propagation for MULTIPLE-VALUE-BIND
Nikodemus Siivola [Mon, 8 Aug 2011 10:48:24 +0000 (13:48 +0300)]
better type propagation for MULTIPLE-VALUE-BIND

  Previously code such as

   (multiple-value-bind (x y) (known-call ...)
      ...)

  could lose the derived type for KNOWN-CALL when it was converted to
  an inline lambda: the derived type correctly ended up associated
  with the final VALUES call in the inlined code, but
  CONVERT-MV-BIND-TO-LET lost that.

  Address this by propagating the derived type of VALUES to the
  VALUES arguments.

  Allows removing the TRULY-THE kludge from the new TRUNCATE
  transform.

12 years agoRemove non-ASCII characters in comments
Paul Khuong [Sat, 6 Aug 2011 21:34:27 +0000 (17:34 -0400)]
Remove non-ASCII characters in comments

 It breaks some people's builds (especially on !SBCL).

12 years agoimplement CEILING and FLOOR in terms of %CEILING and %FLOOR
Nikodemus Siivola [Fri, 5 Aug 2011 09:58:38 +0000 (12:58 +0300)]
implement CEILING and FLOOR in terms of %CEILING and %FLOOR

  This allows transforms specific to CEILING and FLOOR fire first.

  If they fail, the fallback transforms to %CEILING or %FLOOR,
  respectively.

  They in turn are inlined, allowing the transforms for TRUNCATE
  to pick up the slack.

  This allows the new division -> multiplication transforms to fire
  for CEILING and FLOOR when SPACE > 1.

12 years agorename %FLOOR to %BIGFLOOR
Nikodemus Siivola [Fri, 5 Aug 2011 11:56:00 +0000 (14:56 +0300)]
rename %FLOOR to %BIGFLOOR

12 years agoOptimize integer division by a constant in several cases.
Lutz Euler [Mon, 25 Jul 2011 00:47:43 +0000 (02:47 +0200)]
Optimize integer division by a constant in several cases.

Convert integer division by a constant into multiplication to gain
a large speedup as the machine instructions for multiplication are
typically executed much faster than those for division.

This is implemented using a deftransform on TRUNCATE that triggers
if the dividend is known to fit in an unsigned machine word and if
the divisor is a constant, also fitting in an unsigned machine word.
(The cases that are optimized by other existing transforms, for example
if the divisor is a power of two, are left to these transforms.)

The replacement code is based on a widening multiply (that is already
available as bignum calculations need it) and possibly some shifts and
an addition to calculate the quotient. If the remainder is needed,
additionally a (normal) multiplication and a subtraction are generated.

As several other integer division operations are implemented using
TRUNCATE, this also affects CEILING, FLOOR, MOD and REM with the same
argument types. CEILING and FLOOR, however, are optimized only when
SAFETY=0 since they are declared MAYBE-INLINE.

12 years agoexport MOST-POSITIVE-WORD from SB-EXT
Nikodemus Siivola [Fri, 5 Aug 2011 09:05:24 +0000 (12:05 +0300)]
export MOST-POSITIVE-WORD from SB-EXT

  We need it internally anyways, and since we export the WORD type, we
  might just as well export the constant too.

12 years agoskip interrupted-syscall test on unthreaded builds
Nikodemus Siivola [Fri, 5 Aug 2011 08:44:33 +0000 (11:44 +0300)]
skip interrupted-syscall test on unthreaded builds

  ...and rename it backtrace-interrupted-condition-wait.

  Duh.

12 years agosb-bsd-sockets: add support for Linux TCP keep alive options
Robert Brown [Fri, 8 Jul 2011 18:40:31 +0000 (14:40 -0400)]
sb-bsd-sockets: add support for Linux TCP keep alive options

12 years agoCorrect function argument name generation in DEF-MATH-RTN
Lutz Euler [Wed, 29 Jun 2011 16:32:46 +0000 (18:32 +0200)]
Correct function argument name generation in DEF-MATH-RTN

Argument names of math functions defined using DEF-MATH-RTN now really
start with "ARG0". Kills a style warning during build and slightly
reduces the number of symbols in the SB-KERNEL package.

12 years agoRemove the redundant bootstrap hack from %COMPILER-DEFTYPE
Roman Marynchak [Thu, 26 May 2011 16:38:34 +0000 (19:38 +0300)]
Remove the redundant bootstrap hack from %COMPILER-DEFTYPE

12 years agomove checking for constant ALIEN-INFO into a separate function
Roman Marynchak [Sun, 8 May 2011 10:41:13 +0000 (13:41 +0300)]
move checking for constant ALIEN-INFO into a separate function

  Introducing CONSTANT-ALIEN-INFO-OR-ABORT.

12 years agofix short writes when not using SERVE-EVENT
Nikodemus Siivola [Thu, 4 Aug 2011 10:31:06 +0000 (13:31 +0300)]
fix short writes when not using SERVE-EVENT

  Regression since 1.0.42.43, lp#820599.

  Thanks to Robert Brown.

  If we remain in the loop, we need to update the local HEAD
  variable in the event of a short write.

  NOTE: No test case yet, as this is dependant on the size of kernel
  buffers, and trying to catch the short-write -case is tricky.

12 years agoFix version string parsing for Linux 3.0
Paul Khuong [Wed, 3 Aug 2011 14:20:41 +0000 (10:20 -0400)]
Fix version string parsing for Linux 3.0

 Stop assuming the presence of minor and patch version numbers; missing
 values are defaulted to 0 (e.g. 3.0.0).

 Reported by a few people on IRC.

12 years agoFix disassembly of CMP[PS][SD] instructions on x86-64
Paul Khuong [Mon, 1 Aug 2011 18:06:28 +0000 (14:06 -0400)]
Fix disassembly of CMP[PS][SD] instructions on x86-64

The relevant instruction formats wrongly defined a fixed position for
the immediate byte which broke disassembly when a memory argument was
used.

Fix this by using a prefilter to read the immediate like most other
instructions do.

Refactor for more OAOO-ness: Drop the instruction formats that were
used only for these comparison instructions; instead use others that
are nearly identical. This forces more copy-and-paste in the printer
definitions, so instead abstract the generation of printer lists for
SSE instructions into a separate function and use that here.

Add tests.

Fixes lp#814702.

Patch by Lutz Euler.

12 years agomore robust backtraces for syscalls on x86
Nikodemus Siivola [Mon, 1 Aug 2011 13:46:26 +0000 (16:46 +0300)]
more robust backtraces for syscalls on x86

 * new optimization policy: ALIEN-FUNCALL-SAVES-FP-AND-PC Set to 3 for
   self-build on x86 to get reliable more backtraces there, and 0 for
   other platforms. (1 matches the old SPEED <= DEBUG behaviour.)

 * When using a saved FP, and an interrupt context has a bogus
   FP, assume it is an interrupted syscall frame.

12 years agoadd -fno-omit-frame-pointer to x86 builds
Nikodemus Siivola [Mon, 1 Aug 2011 12:05:54 +0000 (15:05 +0300)]
add -fno-omit-frame-pointer to x86 builds

  GCC >= 4.6 omits it by default, leading to broken backtraces.

12 years agomake SBCL_ARCH=x86 build work on 64-bit linux without chroot
Nikodemus Siivola [Mon, 1 Aug 2011 12:02:54 +0000 (15:02 +0300)]
make SBCL_ARCH=x86 build work on 64-bit linux without chroot

 (Assuming all the compatibility libs, etc, have been installed.)

12 years agofixed-format floating point printing: zero and scaling factors
Nikodemus Siivola [Fri, 29 Jul 2011 11:41:00 +0000 (14:41 +0300)]
fixed-format floating point printing: zero and scaling factors

  Now that FLONUM-TO-DIGITS handles zero, we need to check against
  zero before adding in the scaling factor.

  Also make sure not to print extra digits when E is negative.

  Adjust FORMAT-AUX-EXP to not print the extra-zero: FLONUM-TO-STRING
  provides it now.

  Fixes lp#811386.

12 years agoadd missing bug number to NEWS for 816564
Nikodemus Siivola [Fri, 29 Jul 2011 11:06:50 +0000 (14:06 +0300)]
add missing bug number to NEWS for 816564

 EOM

12 years agoobsolete instance protocol and class-slots
Nikodemus Siivola [Fri, 29 Jul 2011 10:16:26 +0000 (13:16 +0300)]
obsolete instance protocol and class-slots

  UPDATE-INSTANCE-FOR-REDEFINED-CLASS needs to be called when
  the set of class-slots changes.

  ...we /tried/ to do that, but embarrasingly

   (LOOP FOR X IN LIST1
         FOR Y IN LIST2
         ALWAYS ...)

  returns T if either list has elements missing from the other in the
  tail as the iteration terminates when list runs out. Oops.

12 years agoHave the float.pure.lisp / RANGE-REDUCTION test fail on all x86-64.
Joshua Elsasser [Thu, 28 Jul 2011 13:27:26 +0000 (06:27 -0700)]
Have the float.pure.lisp / RANGE-REDUCTION test fail on all x86-64.

It was already marked as failing on Linux, Darwin and Solaris; rather
than add OpenBSD to that list I'm going ahead and assuming that it
fails on FreeBSD and NetBSD too.

Also add a generated header file to .gitignore.

12 years agoFix xref for (setf name) names.
Stas Boukarev [Thu, 28 Jul 2011 12:08:51 +0000 (16:08 +0400)]
Fix xref for (setf name) names.

Use EQUAL instead of EQL when comparing names.

12 years agomake sure LVAR-EXTERNALLY-CHECKABLE-TYPE always returns a type
Nikodemus Siivola [Wed, 27 Jul 2011 12:46:06 +0000 (15:46 +0300)]
make sure LVAR-EXTERNALLY-CHECKABLE-TYPE always returns a type

  Fixes bug reported by Eric Marsden on sbcl-devel.

12 years agofix COERCE to unfinalized extended sequence classes
Christophe Rhodes [Sun, 24 Jul 2011 05:11:40 +0000 (06:11 +0100)]
fix COERCE to unfinalized extended sequence classes

Just before we're about to create an object, finalize the class if it
isn't already finalized, so that we can get at the class prototype.

12 years agoMinor tweak for Solaris /bin/sh compatibility.
Jim Wise [Fri, 22 Jul 2011 19:43:46 +0000 (15:43 -0400)]
Minor tweak for Solaris /bin/sh compatibility.

12 years agoCorrect RIP-relative offset for strange x86-64 instructions
Paul Khuong [Fri, 22 Jul 2011 15:52:48 +0000 (11:52 -0400)]
Correct RIP-relative offset for strange x86-64 instructions

 CMP[PS][SD] and shuffle instructions have extra noise *after* the
 reg/mem operand.  Take that into account when emitting RIP-relative
 EAs.

 Their disassembler definition is still broken.

 Fixes lp#814688, reported by Eric Marsden on sbcl-devel.

12 years ago1.0.50: will be tagged as "sbcl-1.0.50"
Juho Snellman [Mon, 11 Jul 2011 22:14:03 +0000 (00:14 +0200)]
1.0.50: will be tagged as "sbcl-1.0.50"

12 years agoFix generate_version.sh for release tarballs
Juho Snellman [Mon, 11 Jul 2011 21:51:33 +0000 (23:51 +0200)]
Fix generate_version.sh for release tarballs

12 years agoFix a non-gencgc build failure in UNSAFE-CLEAR-ROOTS
Paul Khuong [Fri, 8 Jul 2011 17:04:07 +0000 (13:04 -0400)]
Fix a non-gencgc build failure in UNSAFE-CLEAR-ROOTS

 Introduced in 4084b6b9 (armload of DEFINE-HASH-CACHE changes).

12 years agoSmall cleanups
Paul Khuong [Wed, 6 Jul 2011 06:16:17 +0000 (02:16 -0400)]
Small cleanups

 * Wrap some asserts with with-test in defstruct.impure.lisp

 * Remove two unused variables in remap_free_pages.

 * Fix the allocation region size estimate in sb-sprof.

12 years agoMore conservative defaults in GENCGC
Paul Khuong [Wed, 6 Jul 2011 01:46:06 +0000 (21:46 -0400)]
More conservative defaults in GENCGC

 * Set GENCGC-ALLOC-GRANULARITY to 0, and thus fully disable the minimal
   allocation size logic by default.

 * Explicitly zero out pages that fall outside GENCGC-RELEASE-GRANULARITY,
   instead of leaving them dirty, when releasing address space.

 * Set large_object_size to 4 * MAX(PAGE_SIZE, GENCGC_ALLOC_GRANULARITY,
   GENCGC_RELEASE_GRANULARITY).

 * I'm getting very strange failures in some branches that I can't replicate
   on master, but let's be extra careful for now.

12 years agoFix the build - gencgc broken since 1.0.49.73 (4 commits ago)
Paul Khuong [Sun, 3 Jul 2011 17:25:27 +0000 (13:25 -0400)]
Fix the build - gencgc broken since 1.0.49.73 (4 commits ago)

 Sloppy merge.

12 years agoteach debugger about &MORE arguments
Nikodemus Siivola [Sun, 3 Jul 2011 15:52:32 +0000 (18:52 +0300)]
teach debugger about &MORE arguments

  LIST-LOCALS displays SB-DEBUG::MORE = (...list of more args...)
  in addition to the more-context and count.

  EVAL-IN-FRAME bindss SB-DEBUG::MORE when appropriate.

12 years agoinhibit &REST -> &MORE conversion when DEBUG is 3
Nikodemus Siivola [Sun, 3 Jul 2011 15:24:12 +0000 (18:24 +0300)]
inhibit &REST -> &MORE conversion when DEBUG is 3

  Explicitly inhibit in BREAK.

12 years agoAllocate at least gencgc_alloc_granularity bytes at a time, if possible
Paul Khuong [Sun, 3 Jul 2011 16:45:42 +0000 (12:45 -0400)]
Allocate at least gencgc_alloc_granularity bytes at a time, if possible

 * While we have large cards, it doesn't really matter, but tuning that
   might help some applications that cons a lot of medium-sized objects.

 * Defaults to GENCGC_ALLOC_GRANULARITY, and should always be a multiple
   of GENCGC_CARD_BYTES.

 * GENCGC_ALLOC_GRANULARITY defaults to BACKEND_PAGE_BYTES, so this patch
   is a no-op.

12 years agoRelease address space to the OS at gencgc_release_granularity
Paul Khuong [Sun, 3 Jul 2011 16:45:42 +0000 (12:45 -0400)]
Release address space to the OS at gencgc_release_granularity

 * Some platforms perform better on large, aligned mmap/munmap calls.
   The GC will only perform such calls in chunks of
   gencgc_release_granularity bytes, aligned at that many bytes.

 * gencgc_release_granularity defaults to GENCGC_RELEASE_GRANULARITY,
   and should always be a power of 2, as well as a multiple of the OS
   page size and of GENCGC_CARD_BYTES.

 * GENCGC_RELEASE_GRANULARITY defaults to BACKEND_PAGE_BYTES, making
   this patch a no-op.

 * Also, fix an assumption that BACKEND_PAGE_BYTES = 1024*sizeof(long)
   in a safety check in gc_free_heap.

12 years agoSplit GENCGC_PAGE_BYTES in 3 constants
Paul Khuong [Sun, 3 Jul 2011 16:45:42 +0000 (12:45 -0400)]
Split GENCGC_PAGE_BYTES in 3 constants

 * We still have BACKEND_PAGE_BYTES, which should be a conservative
   over-approximation of the OS's page size.

 * GENCGC_PAGE_BYTES is mostly replaced by GENCGC_CARD_BYTES, the
   byte granularity at which we track writes to old generations.
   While we're using mprotect-based write barriers, this should be
   a multiple of BACKEND_PAGE_BYTES.

 * GENCGC_ALLOC_GRANULARITY is the minimum size we attempt to make
   each allocation region.  Should be a multiple of GENCGC_CARD_BYTES.
   While we have largeish cards, this shouldn't ever be an issue, but
   it might if we ever go down to < 1k cards.

 * GENCGC_RELEASE_GRANULARITY is the minimum size at which we release
   address space to the OS.  This should always be a multiple of
   BACKEND_PAGE_BYTES.

 * For now, all three new constants are equal to BACKEND_PAGE_BYTES.

12 years agoLazier zero_dirty_pages in gencgc
Paul Khuong [Sun, 3 Jul 2011 01:52:50 +0000 (21:52 -0400)]
Lazier zero_dirty_pages in gencgc

 Upon allocation, only zero out pages that haven't already been cleared.

12 years agoDifferentiate between object slot initialisation and mutation
Paul Khuong [Sun, 3 Jul 2011 01:05:31 +0000 (21:05 -0400)]
Differentiate between object slot initialisation and mutation

 INIT-SLOT and SET-SLOT VOPs do the same thing on every platform for
 now.

12 years agoFix an off-by-one in MAP-ALLOCATED-OBJECTS
Paul Khuong [Sat, 2 Jul 2011 23:59:54 +0000 (19:59 -0400)]
Fix an off-by-one in MAP-ALLOCATED-OBJECTS

 The bug would be extremely hard to tickle with current gencgc, but
 that's going to change soon.

12 years agorestarts for PRINT-NOT-READABLE errors
Christophe Rhodes [Wed, 29 Jun 2011 14:52:35 +0000 (15:52 +0100)]
restarts for PRINT-NOT-READABLE errors

Two restarts: USE-VALUE, to provide a value to be printed instead
(under the same printer control variable bindings), and
SB-EXT:PRINT-UNDREADABLY, printing the same object but with
*PRINT-READABLY* bound to NIL.  Only minimally tested, but should
meet requirements for lp#801255.

12 years agoexport SIZE-T and OFF-T from SB-ALIEN
Nikodemus Siivola [Sun, 26 Jun 2011 17:47:44 +0000 (20:47 +0300)]
export SIZE-T and OFF-T from SB-ALIEN

  They're pretty common interface types.

12 years agofix bogus test in arith.pure.lisp
Nikodemus Siivola [Sun, 26 Jun 2011 17:40:22 +0000 (20:40 +0300)]
fix bogus test in arith.pure.lisp

  Didn't actually call the slow-path at all.  Thanks to Lutz Euler for the
  heads-up.

12 years agoGet alignment right for block headers on x86-64, this time
Paul Khuong [Fri, 24 Jun 2011 03:17:22 +0000 (23:17 -0400)]
Get alignment right for block headers on x86-64, this time

 We want to align the code in the block, not the trampoline that
 leads to the block.  In theory, we could take the trampoline into
 account when inserting alignment, but really?

12 years agoMicrooptimisation for block headers on x86-64
Paul Khuong [Thu, 23 Jun 2011 15:05:54 +0000 (11:05 -0400)]
Microoptimisation for block headers on x86-64

 Only emit a jmp over the header if a predecessor falls through to
 the current block, and it there is a trampoline.  Otherwise, it's
 not worth the cost of a branch to skip a few NOPs.

12 years agoLet register allocation handle unused TNs due to constant folding
Paul Khuong [Wed, 22 Jun 2011 01:12:36 +0000 (21:12 -0400)]
Let register allocation handle unused TNs due to constant folding

 Type-directed constant folding can leave lambda-vars that are neither dead
 nor read from or written to.  Ideally, it seems like we should make sure to
 transform those into REF to CONSTANTs, but the optimisation doesn't seem
 guaranteed to fire.  It looks like the TN could simply not be allocated
 in ASSIGN-LAMBDA-VAR-TNS, but I'm not sure how to test for that situation
 ahead of time yet.

 Kludges over lp#729765.

12 years agoUnboxed implicit value cells on x86[-64]
Paul Khuong [Tue, 21 Jun 2011 04:31:00 +0000 (00:31 -0400)]
Unboxed implicit value cells on x86[-64]

 Implicit value cells are used for bindings that are only closed
 over by dynamic-extent functions.

 The logic would have to be somewhat modified on platforms with
 NFP.  As is, only implement support for unboxed implicit value
 cells on x86oids (for signed and unsigned words, SAPs and float
 reals and complexes).

12 years agoCompiler support for specialised implicit value cells
Paul Khuong [Tue, 21 Jun 2011 03:52:45 +0000 (23:52 -0400)]
Compiler support for specialised implicit value cells

 Enables the use of non-T stack TNs for closed-over dynamic-extent variables.

 SB!VM:PRIMITIVE-TYPE-INDIRECT-CELL-TYPE takes a primitive-type and returns
 NIL, or a list of 4 values:
  - the primitive type of the implicit indirect value cell
  - the SC of that cell
  - a function that takes the NODE, BLOCK, FP, VALUE and RESULT, and
    emits a reference to that cell.
  - a function that takes the NODE, BLOCK, FP, NEW-VALUE and VALUE, and
    emits a write to that cell.

 Some correctness tests to make sure codegen is correct (without verifying
 DXness).

12 years agoRestore the build on x86
Paul Khuong [Tue, 21 Jun 2011 03:51:07 +0000 (23:51 -0400)]
Restore the build on x86

 Bad copy-pasta in 293488f3.

12 years agoInline local call trampolines on x86[-64]
Paul Khuong [Tue, 21 Jun 2011 02:07:52 +0000 (22:07 -0400)]
Inline local call trampolines on x86[-64]

 Allow the insertion of code before entry to blocks from
 drop0throughs, jumps, and calls.  Used on x86oids to insert
 the code to move return addresses to the right location
 on local calls without trampolines.

12 years agoFaster MAP[-INTO] when (> SPEED SPACE)
Paul Khuong [Tue, 21 Jun 2011 00:44:07 +0000 (20:44 -0400)]
Faster MAP[-INTO] when (> SPEED SPACE)

 Expand into WITH-ARRAY-DATA for non-simple vectors in such cases,
 and avoid hairy vector accesses.

 Also make sure to exploit that in conset code.

12 years agoMore constraint propagation in the presence of assignment
Paul Khuong [Mon, 20 Jun 2011 01:04:20 +0000 (21:04 -0400)]
More constraint propagation in the presence of assignment

 When SPEED = 3 > COMPILATION-SPEED, propagate type in code
 like (cond ((eql (the fixnum x) y) (setf x 42) y) ...).

12 years agoLess constraint propagation when COMPILATION-SPEED > SPEED
Paul Khuong [Sat, 18 Jun 2011 20:36:02 +0000 (16:36 -0400)]
Less constraint propagation when COMPILATION-SPEED > SPEED

 Propagate much fewer EQL constraints, and propagate fewer constraints
 to EQL variables.  Can results in a few orders of magnitude speed ups
 in compilation times.

12 years agoMore explicit high-level interface for consets
Paul Khuong [Sat, 18 Jun 2011 03:23:43 +0000 (23:23 -0400)]
More explicit high-level interface for consets

 Strictly no performance or behaviour difference, but it may be
 helpful to understand constraint propagation or even improve it.

12 years agoFaster iteration through a variable's constraints during constraint propagation
Paul Khuong [Sat, 18 Jun 2011 03:18:01 +0000 (23:18 -0400)]
Faster iteration through a variable's constraints during constraint propagation

 Store indices of constraints by usage.  Practically eliminates the dependence
 on conset intersection/iteration performance.  Improves compilation speeds,
 especially for large functions.

 Also improves lp#792363 and lp#394206.

12 years agoSmarter FIND-CONSTRAINT during constraint propagation
Paul Khuong [Sun, 12 Jun 2011 03:43:28 +0000 (23:43 -0400)]
Smarter FIND-CONSTRAINT during constraint propagation

 Use hash tables instead of pure linear search for hash
 consing of constraints. Significantly reduces the pressure
 on conset iteration performance, and improves compilation
 speed of large functions.

 Improves lp#792363 and lp#394206.

12 years agoRUN-PROGRAM: apply the external-format to the PTY stream as well
Nikodemus Siivola [Fri, 17 Jun 2011 18:41:31 +0000 (21:41 +0300)]
RUN-PROGRAM: apply the external-format to the PTY stream as well

12 years agobuild: tweak generate-version.sh to work with older Git
Nikodemus Siivola [Wed, 15 Jun 2011 07:46:33 +0000 (10:46 +0300)]
build: tweak generate-version.sh to work with older Git

  Pre-1.7.2 Gits are pretty common out in the wild, so use wc -l to
  get the revision counts instead of rev-list --count.

  This has been verified to work with at least Git v1.6.0.2.

12 years agorename STYLE to HACKING
Nikodemus Siivola [Tue, 14 Jun 2011 17:38:56 +0000 (20:38 +0300)]
rename STYLE to HACKING

  Also update a bit for the brave new Git-only world.

12 years agowhitespace in tests
Nikodemus Siivola [Tue, 14 Jun 2011 10:24:41 +0000 (13:24 +0300)]
whitespace in tests

12 years agoadd &KEY SILENT to PARSE-LAMBDA-LIST
Nikodemus Siivola [Tue, 14 Jun 2011 09:06:28 +0000 (12:06 +0300)]
add &KEY SILENT to PARSE-LAMBDA-LIST

  Passed through to PARSE-LAMBDA-LIST-LIKE, used by %SPLIT-ARGLIST in PCL.

  Prior to this GENERIC-FUNCTION-PRETTY-ARGLIST on functions with both
  &OPTIONAL and &KEY arguments caused a style-warning -- and inquiring about
  the lambda-list isn't the right time for that.

12 years agoConvert remaining tests in debug.impure.lisp to use with-test.
Jim Wise [Mon, 13 Jun 2011 20:27:59 +0000 (16:27 -0400)]
Convert remaining tests in debug.impure.lisp to use with-test.

12 years agotests and NEWS for lp#308961
Nikodemus Siivola [Tue, 7 Jun 2011 09:29:21 +0000 (12:29 +0300)]
tests and NEWS for lp#308961

  Also add a random FP read/print consistency tester.

  For now it skips denormalized double-floats due to bug 793774.

12 years agoFORMAT-AUX-EXP: adjust scale if scale-exponent return 1.0
David Vázquez [Mon, 28 Jun 2010 16:53:30 +0000 (18:53 +0200)]
FORMAT-AUX-EXP: adjust scale if scale-exponent return 1.0

 lp#308961, part 2.

 FORMAT-EXP-AUX scales a number such that it will have K digits before of the
 decimal point. This relies on scale-exponent.

  (format nil "~E" 0.1) ; => "1.e-1"

  0: (FORMAT-EXP-AUX #<SB-IMPL::STRING-OUTPUT-STREAM {AFE5DE9}> 0.1 NIL NIL
                     NIL 1 NIL #\ NIL NIL)
    1: (SB-IMPL::SCALE-EXPONENT 0.1)
    1: SB-IMPL::SCALE-EXPONENT returned 0.1 0
  0: FORMAT-EXP-AUX returned "1"

 0.1 is 0.1 * 10^0 according to scale-exponent. Then, it is multiplied by 10^K
 before printing. Everything works out fine.

 However!

  (format nil "~E" 0.01) ; => "10.e-3" ... oops

  0: (FORMAT-EXP-AUX #<SB-IMPL::STRING-OUTPUT-STREAM {AA744C1}> 0.01 NIL NIL
                     NIL 1 NIL #\ NIL NIL)
    1: (SB-IMPL::SCALE-EXPONENT 0.01)
    1: SB-IMPL::SCALE-EXPONENT returned 1.0 -2
  0: FORMAT-EXP-AUX returned "2"

 In this example, scale-exponent returns 1.0 and -2, meaning 0.01 = 1.0 *
 10^-2. Again, format-aux-exp multiply it by 10^K. But as 1.0 has a digit
 before of the decimal point, the result will have K+1 digits.

 This is due to format-exp-aux assumed the returned value will be lesser to
 1.0. In order to fix this, we decrement K when scale-exponent return 1.0 as
 primary value.

12 years agoFLONUM-TO-DIGITS handles non-negative input properly
David Vázquez [Mon, 28 Jun 2010 15:28:08 +0000 (17:28 +0200)]
FLONUM-TO-DIGITS handles non-negative input properly

 lp#308961, part 1.

 SBCL has an extended version of the Burger & Dybwig fp printer, which
 supports rounding.

 It did not however support zero -- but in eg.

   (format nil "~,1F" 0.001)

 0.001 is rounded to zero, which leads FLONUM-TO-DIGITS giving us one zero too
 many. Ie. it should be

    => "0.0"

 but prior to this we got "0.00" instead.

 This patch removes the special casing for 0, and instead tests that the lower
 limit of the interval (- r m-) is positive in order not to generate extra
 zeros.

12 years agoSpecialised constant MAKE-{SINGLE,DOUBLE}-FLOAT VOPs on x86 as well
Paul Khuong [Sat, 11 Jun 2011 15:24:53 +0000 (11:24 -0400)]
Specialised constant MAKE-{SINGLE,DOUBLE}-FLOAT VOPs on x86 as well

These only trigger when the float to construct is a NaN, so very
marginal, and it doesn't seem worth the trouble on all the other
platforms (that don't support inline constants yet).

12 years agomore NEWS
Nikodemus Siivola [Sat, 11 Jun 2011 14:54:29 +0000 (17:54 +0300)]
more NEWS

12 years agorobustify DIRECTORY on logical pathnames
Nikodemus Siivola [Sat, 11 Jun 2011 12:37:32 +0000 (15:37 +0300)]
robustify DIRECTORY on logical pathnames

  PATHNAME-INTERSECTIONS used to return pathnames with name or type
  NIL if there was a mismatch -- but it should not return any
  pathnames at all for a mismatch.

12 years agoFix #!- vs #- confusion in number's singleton-p type method
Paul Khuong [Sat, 11 Jun 2011 05:45:55 +0000 (01:45 -0400)]
Fix #!- vs #- confusion in number's singleton-p type method

12 years agoAvoid constant folding NaNs from MAKE-{SINGLE,DOUBLE}-FLOAT
Paul Khuong [Sat, 11 Jun 2011 05:41:27 +0000 (01:41 -0400)]
Avoid constant folding NaNs from MAKE-{SINGLE,DOUBLE}-FLOAT

Perform it in a specialised transform that checks for NaNs, and
add VOPs for constant arguments to avoid any slowdown.

Fixes lp#486812.

12 years agoImprove SINGLE-FLOAT-BITS on x86-64
Paul Khuong [Sat, 11 Jun 2011 04:09:11 +0000 (00:09 -0400)]
Improve SINGLE-FLOAT-BITS on x86-64

 Avoid narrow-store-to-wide-load hazards, and generally emit sane
MOVSXD for sign extension.

 Fixes lp#555201.

12 years agoFix a corner case in RUN-PROGRAM with very long argument strings
Paul Khuong [Sat, 11 Jun 2011 03:33:04 +0000 (23:33 -0400)]
Fix a corner case in RUN-PROGRAM with very long argument strings

 Argument string of length on the order of MOST-POSITIVE-FIXNUM
 could lead to severe crashes.

 I don't know why we bothered declaring FIXNUMs in RUN-PROGRAM.

 Also, play with the null termination code a bit, but, really,
 such long strings will only end up failing in the OS.

 Fixes lp#787237

12 years agoMAKE-THREAD accepts :ARGUMENTS to pass to the thread function
Paul Khuong [Sat, 11 Jun 2011 01:52:52 +0000 (21:52 -0400)]
MAKE-THREAD accepts :ARGUMENTS to pass to the thread function

 The additional keyword argument should be a lsit designator

 Based on a patch by Roman Marynchak.

 Fixes lp#727384.

12 years agoFMAKUNBOUND removes the MACRO-FUNCTION as well
Nikodemus Siivola [Fri, 10 Jun 2011 20:30:52 +0000 (23:30 +0300)]
FMAKUNBOUND removes the MACRO-FUNCTION as well

  Fixes lp#795705.

12 years ago&optional and &key supplied-p arguments in boa-constuctors
Nikodemus Siivola [Fri, 10 Jun 2011 20:18:41 +0000 (23:18 +0300)]
&optional and &key supplied-p arguments in boa-constuctors

  ...can be used to initialize structure slots.

12 years agoReorder description of info file installs to work around limited SunOS echo
Jim Wise [Fri, 10 Jun 2011 18:34:02 +0000 (14:34 -0400)]
Reorder description of info file installs to work around limited SunOS echo

Scratches a long-standing itch, but not really necessary (result is purely
aesthetic).

12 years agomention SB-INTROSPECT's improved handling of structure copiers in NEWS
Nikodemus Siivola [Fri, 10 Jun 2011 17:21:18 +0000 (20:21 +0300)]
mention SB-INTROSPECT's improved handling of structure copiers in NEWS