Fix make-array transforms.
[sbcl.git] / make-config.sh
index 81877e7..4030506 100644 (file)
@@ -17,6 +17,239 @@ set -e
 # provided with absolutely no warranty. See the COPYING and CREDITS
 # files for more information.
 
+print_help="no"
+
+# The classic form here was to use --userinit $DEVNULL --sysinit
+# $DEVNULL, but that doesn't work on Win32 because SBCL doesn't handle
+# device names properly. We still need $DEVNULL to be NUL on Win32
+# because it's used elsewhere (such as canonicalize-whitespace), so we
+# need an alternate solution for the init file overrides. --no-foos
+# have now been available long enough that this should not stop anyone
+# from building.
+if [ "$OSTYPE" = "cygwin" -o "$OSTYPE" = "msys" ]
+then
+    SBCL_PREFIX="$PROGRAMFILES/sbcl"
+else
+    SBCL_PREFIX="/usr/local"
+fi
+SBCL_XC_HOST="sbcl --disable-debugger --no-userinit --no-sysinit"
+export SBCL_XC_HOST
+
+# Parse command-line options.
+bad_option() {
+    echo $1
+    echo "Enter \"$0 --help\" for list of valid options."
+    exit 1
+}
+
+WITH_FEATURES=""
+WITHOUT_FEATURES=""
+FANCY_FEATURES=":sb-core-compression :sb-xref-for-internals :sb-after-xc-core"
+
+fancy=false
+some_options=false
+for option
+do
+  optarg_ok=true
+  # Split --foo=bar into --foo and bar.
+  case $option in
+      *=*)
+        # For ease of scripting skip valued options with empty
+        # values.
+        optarg=`expr "X$option" : '[^=]*=\(.*\)'` || optarg_ok=false
+        option=`expr "X$option" : 'X\([^=]*=\).*'`
+        ;;
+      --with*)
+        optarg=`expr "X$option" : 'X--[^-]*-\(.*\)'` \
+            || bad_option "Malformed feature toggle: $option"
+        option=`expr "X$option" : 'X\(--[^-]*\).*'`
+        ;;
+      *)
+        optarg=""
+        ;;
+  esac
+
+  case $option in
+      --help | -help | -h)
+        print_help="yes" ;;
+      --prefix=)
+        $optarg_ok && SBCL_PREFIX=$optarg
+        ;;
+      --arch=)
+        $oparg_ok && SBCL_ARCH=$optarg
+        ;;
+      --xc-host=)
+        $optarg_ok && SBCL_XC_HOST=$optarg
+        ;;
+      --dynamic-space-size=)
+        $optarg_ok && SBCL_DYNAMIC_SPACE_SIZE=$optarg
+       ;;
+      --with)
+        WITH_FEATURES="$WITH_FEATURES :$optarg"
+        ;;
+      --without)
+        WITHOUT_FEATURES="$WITHOUT_FEATURES :$optarg"
+       ;;
+      --fancy)
+        WITH_FEATURES="$WITH_FEATURES $FANCY_FEATURES"
+        # Lower down we add :sb-thread for platforms where it can be built.
+        fancy=true
+        ;;
+      -*)
+        bad_option "Unknown command-line option to $0: \"$option\""
+        ;;
+      *)
+        if $some_options
+        then
+            bad_option "Unknown command-line option to $0: \"$option\""
+        else
+            legacy_xc_spec=$option
+        fi
+        ;;
+  esac
+  some_options=true
+done
+
+if (test -f customize-target-features.lisp && \
+    (test -n "$WITH_FEATURES" || test -n "$WITHOUT_FEATURES"))
+then
+    # Actually there's no reason why it would not work, but it would
+    # be confusing to say --with-thread only to have it turned off by
+    # customize-target-features.lisp...
+    echo "ERROR: Both customize-target-features.lisp, and feature-options"
+    echo "to make.sh present -- cannot use both at the same time."
+    exit 1
+fi
+
+# Previously XC host was provided as a positional argument. 
+if test -n "$legacy_xc_spec"
+then
+    SBCL_XC_HOST="$legacy_xc_spec"
+fi
+
+if test "$print_help" = "yes"
+then
+  cat <<EOF
+\`make.sh' drives the SBCL build.
+
+Usage: $0 [OPTION]...
+
+  Important: make.sh does not currently control the entirety of the
+  build: configuration file customize-target-features.lisp and certain
+  environment variables play a role as well. see file INSTALL for
+  details.
+
+Options:
+  -h, --help           Display this help and exit.
+
+  --prefix=<path>      Specify the install location.
+
+      Script install.sh installs SBCL under the specified prefix
+      path: runtime as prefix/bin/sbcl, additional files under
+      prefix/lib/sbcl, and documentation under prefix/share.
+
+      This option also affects the binaries: built-in default for
+      SBCL_HOME is: prefix/lib/sbcl/
+
+      Default prefix is: /usr/local
+
+  --dynamic-space-size=<size> Default dynamic-space size for target.
+
+      This specifies the default dynamic-space size for the SBCL
+      being built. If you need to control the dynamic-space size
+      of the host SBCL, use the --xc-host option.
+
+      If not provided, the default is platform-specific. <size> is
+      taken to be megabytes unless explicitly suffixed with Gb in
+      order to specify the size in gigabytes.
+
+  --with-<feature>     Build with specified feature.
+  --without-<feature>  Build wihout the specfied feature.
+
+  --fancy              Build with several optional features:
+
+                           $FANCY_FEATURES
+
+                       Plus threading on platforms which support it.
+
+  --arch=<string>      Specify the architecture to build for.
+
+      Mainly for doing x86 builds on x86-64.
+
+  --xc-host=<string>   Specify the Common Lisp compilation host.
+
+      The string provided should be a command to invoke the
+      cross-compilation Lisp system in such a way, that it reads
+      commands from standard input, and terminates when it reaches end
+      of file on standard input.
+
+      Examples:
+
+       "sbcl --disable-debugger --no-sysinit --no-userinit"
+                  Use an existing SBCL binary as a cross-compilation
+                  host even though you have stuff in your
+                  initialization files which makes it behave in such a
+                  non-standard way that it keeps the build from
+                  working. Also disable the debugger instead of
+                  waiting endlessly for a programmer to help it out
+                  with input on *DEBUG-IO*. (This is the default.)
+
+       "sbcl"
+                  Use an existing SBCL binary as a cross-compilation
+                  host, including your initialization files and
+                  building with the debugger enabled. Not recommended
+                  for casual users.
+
+       "lisp -noinit -batch"
+                  Use an existing CMU CL binary as a cross-compilation
+                  host when you have weird things in your .cmucl-init
+                  file.
+EOF
+  exit 1
+fi
+
+# Running make.sh with different options without clean.sh in the middle
+# can break things.
+sh clean.sh
+
+mkdir -p output
+# Save prefix for make and install.sh.
+echo "SBCL_PREFIX='$SBCL_PREFIX'" > output/prefix.def
+echo "$SBCL_DYNAMIC_SPACE_SIZE" > output/dynamic-space-size.txt
+
+# FIXME: Tweak this script, and the rest of the system, to support
+# a second bootstrapping pass in which the cross-compilation host is
+# known to be SBCL itself, so that the cross-compiler can do some
+# optimizations (especially specializable arrays) that it doesn't
+# know how to implement how in a portable way. (Or maybe that wouldn't
+# require a second pass, just testing at build-the-cross-compiler time
+# whether the cross-compilation host returns suitable values from
+# UPGRADED-ARRAY-ELEMENT-TYPE?)
+
+if [ "$OSTYPE" = "cygwin" -o "$OSTYPE" = "msys" ] ; then
+    DEVNULL=NUL
+else
+    DEVNULL=/dev/null
+fi
+export DEVNULL
+
+. ./find-gnumake.sh
+find_gnumake
+
+. ./generate-version.sh
+generate_version
+
+# Now that we've done our option parsing and found various
+# dependencies, write them out to a file to be sourced by other
+# scripts.
+
+echo "DEVNULL=\"$DEVNULL\"; export DEVNULL" > output/build-config
+echo "GNUMAKE=\"$GNUMAKE\"; export GNUMAKE" >> output/build-config
+echo "SBCL_XC_HOST=\"$SBCL_XC_HOST\"; export SBCL_XC_HOST" >> output/build-config
+echo "legacy_xc_spec=\"$legacy_xc_spec\"; export legacy_xc_spec" >> output/build-config
+
+# And now, sorting out the per-target dependencies...
+
 case `uname` in
     Linux)
         sbcl_os="linux"
@@ -64,7 +297,16 @@ esac
 
 link_or_copy() {
    if [ "$sbcl_os" = "win32" ] ; then
-       cp -r "$1" "$2"
+      # Use preprocessor or makefile includes instead of copying if
+      # possible, to avoid unexpected use of the original, unchanged
+      # files when re-running only make-target-1 during development.
+      if echo "$1" | egrep '[.][ch]$'; then
+         echo "#include \"$1\"" >"$2"
+      elif echo "$1" | egrep '^Config[.]'; then
+         echo "include $1" >"$2"
+      else
+         cp -r "$1" "$2"
+      fi
    else
        ln -s "$1" "$2"
    fi
@@ -93,13 +335,6 @@ echo //entering make-config.sh
 echo //ensuring the existence of output/ directory
 if [ ! -d output ] ; then mkdir output; fi
 
-ltf=`pwd`/local-target-features.lisp-expr
-echo //initializing $ltf
-echo ';;;; This is a machine-generated file.' > $ltf
-echo ';;;; Please do not edit it by hand.' >> $ltf
-echo ';;;; See make-config.sh.' >> $ltf
-printf '(' >> $ltf
-
 echo //guessing default target CPU architecture from host architecture
 case `uname -m` in
     *86) guessed_sbcl_arch=x86 ;;
@@ -129,20 +364,61 @@ if [ "$sbcl_os" = "sunos" ] && [ `isainfo -k` = "amd64" ]; then
 fi
 
 # Under Darwin, uname -m returns "i386" even if CPU is x86_64.
-if [ "$sbcl_os" = "darwin" ] && [ "`sysctl -n hw.optional.x86_64`" = "1" ]; then
+if [ "$sbcl_os" = "darwin" ] && [ "`/usr/sbin/sysctl -n hw.optional.x86_64`" = "1" ]; then
     guessed_sbcl_arch=x86-64
 fi
 
 echo //setting up CPU-architecture-dependent information
+if test -n "$SBCL_ARCH"
+then
+    # Normalize it.
+    SBCL_ARCH=`echo $SBCL_ARCH | tr '[A-Z]' '[a-z]' | tr _ -`
+fi
 sbcl_arch=${SBCL_ARCH:-$guessed_sbcl_arch}
 echo sbcl_arch=\"$sbcl_arch\"
 if [ "$sbcl_arch" = "" ] ; then
-    echo "can't guess target SBCL architecture, need SBCL_ARCH environment var"
+    echo "can't guess target SBCL architecture, please specify --arch=<name>"
     exit 1
 fi
+if $fancy
+then
+    # If --fancy, enable threads on platforms where they can be built.
+    case $sbcl_arch in
+        x86|x86-64|ppc)
+           if [ "$sbcl_os" = "sunos" ] && [ "$sbcl_arch" = "x86-64" ]
+           then
+               echo "No threads on this platform."
+           else
+               WITH_FEATURES="$WITH_FEATURES :sb-thread"
+               echo "Enabling threads due to --fancy."
+           fi
+            ;;
+        *)
+            echo "No threads on this platform."
+            ;;
+    esac
+fi
+
+ltf=`pwd`/local-target-features.lisp-expr
+echo //initializing $ltf
+echo ';;;; This is a machine-generated file.' > $ltf
+echo ';;;; Please do not edit it by hand.' >> $ltf
+echo ';;;; See make-config.sh.' >> $ltf
+echo "((lambda (features) (set-difference features (list$WITHOUT_FEATURES)))" >> $ltf
+printf " (union (list$WITH_FEATURES) (list " >> $ltf
+
 printf ":%s" "$sbcl_arch" >> $ltf
 
 echo //setting up OS-dependent information
+# Under Darwin x86-64, guess whether Darwin 9+ or below.
+if [ "$sbcl_os" = "darwin" ] && [ "$sbcl_arch" = "x86-64" ]; then
+    darwin_version=`uname -r`
+    darwin_version_major=${DARWIN_VERSION_MAJOR:-${darwin_version%%.*}}
+    if (( 8 < $darwin_version_major )); then
+       printf ' :inode64 :darwin9-or-better' >> $ltf
+    fi
+fi
+
 original_dir=`pwd`
 cd ./src/runtime/
 rm -f Config target-arch-os.h target-arch.h target-os.h target-lispregs.h
@@ -160,9 +436,15 @@ case "$sbcl_os" in
         # If you add other platforms here, don't forget to edit
         # src/runtime/Config.foo-linux too.
         case "$sbcl_arch" in
-        x86 | x86-64 | mips)
-            printf ' :largefile' >> $ltf
-            ;;
+           mips)
+               printf ' :largefile' >> $ltf
+               ;;
+            x86 | x86-64)
+               printf ' :sb-thread :sb-futex :largefile' >> $ltf
+               ;;
+            ppc)
+               printf ' :sb-futex' >> $ltf
+               ;;
         esac
 
         if [ $sbcl_arch = "x86-64" ]; then
@@ -200,7 +482,7 @@ case "$sbcl_os" in
                 printf ' :freebsd' >> $ltf
                 printf ' :gcc-tls' >> $ltf
                 if [ $sbcl_arch = "x86" ]; then
-                    printf ' :restore-tls-segment-register-from-context' >> $ltf
+                    printf ' :restore-fs-segment-register-from-tls' >> $ltf
                 fi
                 link_or_copy Config.$sbcl_arch-freebsd Config
                 ;;
@@ -226,10 +508,10 @@ case "$sbcl_os" in
         printf ' :bsd' >> $ltf
         printf ' :darwin' >> $ltf
         if [ $sbcl_arch = "x86" ]; then
-            printf ' :mach-exception-handler :sb-lutex :restore-fs-segment-register-from-tls' >> $ltf
+            printf ' :mach-exception-handler :restore-fs-segment-register-from-tls :ud2-breakpoints' >> $ltf
         fi
         if [ $sbcl_arch = "x86-64" ]; then
-            printf ' :mach-exception-handler :sb-lutex' >> $ltf
+            printf ' :mach-exception-handler :ud2-breakpoints' >> $ltf
         fi
         link_or_copy $sbcl_arch-darwin-os.h target-arch-os.h
         link_or_copy bsd-os.h target-os.h
@@ -239,8 +521,8 @@ case "$sbcl_os" in
         printf ' :unix' >> $ltf
         printf ' :elf' >> $ltf
         printf ' :sunos' >> $ltf
-        if [ $sbcl_arch = "x86" ] || [ $sbcl_arch = "amd64" ]; then
-            printf ' :sb-lutex' >> $ltf
+        if [ $sbcl_arch = "x86-64" ]; then
+            printf ' :largefile' >> $ltf
         fi
         link_or_copy Config.$sbcl_arch-sunos Config
         link_or_copy $sbcl_arch-sunos-os.h target-arch-os.h
@@ -248,6 +530,22 @@ case "$sbcl_os" in
         ;;
     win32)
         printf ' :win32' >> $ltf
+        #
+        # Optional features -- We enable them by default, but the build
+        # ought to work perfectly without them:
+        #
+        printf ' :sb-futex' >> $ltf
+        printf ' :sb-qshow' >> $ltf
+        #
+        # Required features -- Some of these used to be optional, but
+        # building without them is no longer considered supported:
+        #
+        # (Of course it doesn't provide dlopen, but there is
+        # roughly-equivalent magic nevertheless:)
+        printf ' :sb-dynamic-core :os-provides-dlopen' >> $ltf
+        printf ' :sb-thread :sb-safepoint :sb-thruption :sb-wtimer' >> $ltf
+        printf ' :sb-safepoint-strictly' >> $ltf
+        #
         link_or_copy Config.$sbcl_arch-win32 Config
         link_or_copy $sbcl_arch-win32-os.h target-arch-os.h
         link_or_copy win32-os.h target-os.h
@@ -287,6 +585,7 @@ if [ "$sbcl_arch" = "x86" ]; then
     printf ' :stack-allocatable-closures :stack-allocatable-vectors' >> $ltf
     printf ' :stack-allocatable-lists :stack-allocatable-fixed-objects' >> $ltf
     printf ' :alien-callbacks :cycle-counter :inline-constants ' >> $ltf
+    printf ' :memory-barrier-vops :multiply-high-vops :ash-right-vops' >> $ltf
     case "$sbcl_os" in
     linux | freebsd | netbsd | openbsd | sunos | darwin | win32)
         printf ' :linkage-table' >> $ltf
@@ -296,27 +595,28 @@ if [ "$sbcl_arch" = "x86" ]; then
         # roughly-equivalent magic nevertheless.
         printf ' :os-provides-dlopen' >> $ltf
     fi
+    if [ "$sbcl_os" = "openbsd" ]; then
+        rm -f src/runtime/openbsd-sigcontext.h
+        sh tools-for-build/openbsd-sigcontext.sh > src/runtime/openbsd-sigcontext.h
+    fi
 elif [ "$sbcl_arch" = "x86-64" ]; then
     printf ' :gencgc :stack-grows-downward-not-upward :c-stack-is-control-stack :linkage-table' >> $ltf
     printf ' :compare-and-swap-vops :unwind-to-frame-and-call-vop :raw-instance-init-vops' >> $ltf
     printf ' :stack-allocatable-closures :stack-allocatable-vectors' >> $ltf
     printf ' :stack-allocatable-lists :stack-allocatable-fixed-objects' >> $ltf
     printf ' :alien-callbacks :cycle-counter :complex-float-vops' >> $ltf
-    printf ' :float-eql-vops :inline-constants ' >> $ltf
+    printf ' :float-eql-vops :inline-constants :memory-barrier-vops' >> $ltf
+    printf ' :multiply-high-vops :sb-simd-pack :ash-right-vops' >> $ltf
 elif [ "$sbcl_arch" = "mips" ]; then
-    printf ' :linkage-table' >> $ltf
+    printf ' :cheneygc :linkage-table' >> $ltf
     printf ' :stack-allocatable-closures :stack-allocatable-vectors' >> $ltf
     printf ' :stack-allocatable-lists :stack-allocatable-fixed-objects' >> $ltf
     printf ' :alien-callbacks' >> $ltf
-    # Use a little C program to try to guess the endianness.  Ware
-    # cross-compilers!
-    #
-    # FIXME: integrate to grovel-features, mayhaps
-    $GNUMAKE -C tools-for-build determine-endianness -I ../src/runtime
-    tools-for-build/determine-endianness >> $ltf
 elif [ "$sbcl_arch" = "ppc" ]; then
-    printf ' :gencgc :stack-allocatable-closures :stacka-allocatable-lists' >> $ltf
-    printf ' :linkage-table' >> $ltf
+    printf ' :gencgc :stack-allocatable-closures :stack-allocatable-vectors' >> $ltf
+    printf ' :stack-allocatable-lists :stack-allocatable-fixed-objects' >> $ltf
+    printf ' :linkage-table :raw-instance-init-vops :memory-barrier-vops' >> $ltf
+    printf ' :compare-and-swap-vops :multiply-high-vops' >> $ltf
     if [ "$sbcl_os" = "linux" ]; then
         # Use a C program to detect which kind of glibc we're building on,
         # to bandage across the break in source compatibility between
@@ -343,12 +643,25 @@ elif [ "$sbcl_arch" = "sparc" ]; then
     # as well.
     sh tools-for-build/sparc-funcdef.sh > src/runtime/sparc-funcdef.h
     if [ "$sbcl_os" = "sunos" ] || [ "$sbcl_os" = "linux" ]; then
+        printf ' :gencgc' >> $ltf
+    else
+        echo '***'
+        echo '*** You are running SPARC on non-SunOS, non-Linux.  Since'
+        echo '*** GENCGC is untested on this combination, make-config.sh'
+        echo '*** is falling back to CHENEYGC.  Please consider adjusting'
+        echo '*** parms.lisp to build with GENCGC instead.'
+        echo '***'
+        printf ' :cheneygc' >> $ltf
+    fi
+    if [ "$sbcl_os" = "sunos" ] || [ "$sbcl_os" = "linux" ]; then
         printf ' :linkage-table' >> $ltf
     fi
     printf ' :stack-allocatable-closures :stack-allocatable-lists' >> $ltf
 elif [ "$sbcl_arch" = "alpha" ]; then
+    printf ' :cheneygc' >> $ltf
     printf ' :stack-allocatable-closures :stack-allocatable-lists' >> $ltf
 elif [ "$sbcl_arch" = "hppa" ]; then
+    printf ' :cheneygc' >> $ltf
     printf ' :stack-allocatable-vectors :stack-allocatable-fixed-objects' >> $ltf
     printf ' :stack-allocatable-lists' >> $ltf
 else
@@ -356,11 +669,18 @@ else
     echo > /dev/null
 fi
 
+# Use a little C program to try to guess the endianness.  Ware
+# cross-compilers!
+#
+# FIXME: integrate to grovel-features, mayhaps
+$GNUMAKE -C tools-for-build determine-endianness -I ../src/runtime
+tools-for-build/determine-endianness >> $ltf
+
 export sbcl_os sbcl_arch
 sh tools-for-build/grovel-features.sh >> $ltf
 
 echo //finishing $ltf
-echo ')' >> $ltf
+echo ')))' >> $ltf
 
 # FIXME: The version system should probably be redone along these lines:
 #