release.sh

   1 #!/bin/bash
   2
   3 # Sourceforge username
   4 SFUSER=${SFUSER:-$USER}
   5
   6 set -ex
   7
   8 ## Parse command line arguments
   9
  10 usage () {
  11     if ! [ -z "$1" ]
  12     then
  13         echo $1
  14     fi
  15     cat <<EOF
  16
  17 usage: $0 [-s] VERSION-NUMBER [REV]
  18
  19   This script frobs NEWS, makes a "release" commit + tag of the
  20   repository in \$PWD/release.sbcl .
  21
  22   It then clones the repository to a new clean directory and does the
  23   following:
  24   - Builds source tarball
  25   - Builds a SBCL for self-build
  26   - Builds x86-64 and x86 binaries
  27   - Uploads binaries
  28   - Pushes the repository
  29   - Builds and uploads the documentation
  30
  31   If -s is given, then use the gpg-sign mechanism of "git tag". You
  32   will need to have your gpg secret key handy.
  33
  34   if REV is given, it is the git revision to build into a release.
  35   Default is origin/master.
  36
  37   ENVIRONMENT:
  38
  39   SFUSER: Sourceforge username. Defaults to \$USER
  40   SBCL_RELEASE_DIR: Absolute path to directory containing all the build
  41     artifacts. If not defined, a new build directory is created in \$PWD.
  42
  43 EOF
  44     exit 1
  45 }
  46
  47 if [ "-s" = "$1" ] || [ "--sign" = "$1" ]
  48 then
  49     sign="-s"; shift
  50 else
  51     sign=""
  52 fi
  53
  54 ## Verify version number
  55
  56 if [ -z "$1" ]
  57 then
  58     usage "No version number."
  59 else
  60     VERSION=$1; shift
  61     echo $VERSION | perl -pe 'die "Invalid version number: $_\n" if !/^\d+\.\d+\.\d+$/'
  62 fi
  63
  64 if [ -z "$1" ]
  65 then
  66     rev=origin/master
  67 else
  68     rev=$1; shift
  69     type=$(git cat-file -t "$rev" 2> /dev/null || echo "unknown")
  70     if ([ "tag" != "$type" ] && [ "commit" != "$type" ])
  71     then
  72         usage "$rev is $type, not a tag or a commit."
  73     fi
  74 fi
  75
  76 if ! [ -z "$@" ]
  77 then
  78     usage "Extra command-line arguments: $@"
  79 fi
  80
  81 SBCL_RELEASE_DIR=${SBCL_RELEASE_DIR:-$(mktemp -d $PWD/sbcl-release-dir-$(date +%Y%m%d)-XXXXXXXXX)}
  82 SBCL_DIR=$SBCL_RELEASE_DIR/sbcl-$VERSION
  83 GIT_DIR=$PWD/release.sbcl
  84 LOGFILE=$SBCL_RELEASE_DIR/log.txt
  85
  86 ## Frob the git repository, and clone the repo to a clean build directory.
  87
  88 if [ ! -d $SBCL_DIR ]; then
  89   cd $GIT_DIR
  90
  91   sbcl_directory="$(cd "$(dirname $0)"; pwd)"
  92
  93   branch_name="release-$(date '+%s')"
  94   original_branch="$(git describe --all --contains HEAD)"
  95
  96   echo "Checking that the tree is clean."
  97   if ! [ $(git status --porcelain | wc -l) = 0 ]
  98   then
  99       echo "There are uncommitted / unpushed changes in this checkout!"
 100       git status
 101       exit 1
 102   fi
 103
 104   ## Perform the necessary changes to the NEWS file:
 105
 106   echo "Munging NEWS"
 107   sed -i.orig "/^changes relative to sbcl-.*:/ s/changes/changes in sbcl-$VERSION/ " NEWS
 108   rm -f NEWS.orig
 109   if ! grep "^changes in sbcl-$VERSION relative to" NEWS > /dev/null
 110   then
 111       echo "NEWS munging failed!"
 112       exit 1
 113   fi
 114
 115   ## Commit
 116
 117   cd "$sbcl_directory"
 118
 119   echo "Committing release version."
 120   git add NEWS
 121   git commit -m "$VERSION: will be tagged as \"sbcl-$VERSION\""
 122
 123   ## Make release notes
 124
 125   if [ ! -f $SBCL_RELEASE_DIR/sbcl-$VERSION-release-notes.txt ]; then
 126     awk "BEGIN { state = 0 }
 127      /^changes in sbcl-/ { state = 0 }
 128      /^changes in sbcl-$VERSION/ { state = 1 }
 129      { if(state == 1) print \$0 }" < $GIT_DIR/NEWS > $SBCL_RELEASE_DIR/sbcl-$VERSION-release-notes.txt
 130   fi
 131
 132   ## Tag
 133
 134   tag="sbcl-$VERSION"
 135   echo "Tagging as $tag"
 136   git tag $sign -F $SBCL_RELEASE_DIR/sbcl-$VERSION-release-notes.txt "$tag"
 137
 138   git clone $GIT_DIR $SBCL_DIR
 139 fi
 140
 141 ## Make the source tarball.
 142
 143 if [ ! \( -f $SBCL_RELEASE_DIR/sbcl-$VERSION-source.tar -o -f $SBCL_RELEASE_DIR/sbcl-$VERSION-source.tar.bz2 \) ]; then
 144   cd $SBCL_DIR
 145   (. $SBCL_DIR/generate-version.sh; generate_version)
 146   mkdir -p CVS
 147   sh ./distclean.sh
 148   rm -rf .git
 149
 150   cd $SBCL_RELEASE_DIR
 151   sh sbcl-$VERSION/source-distribution.sh sbcl-$VERSION
 152
 153   mv $SBCL_DIR $SBCL_DIR.git
 154
 155   tar xvf sbcl-$VERSION-source.tar
 156 fi
 157
 158 ## Build x86-64 binary for bootstrap.
 159
 160 if [ ! -d $SBCL_RELEASE_DIR/bin ]; then
 161   cd $SBCL_DIR
 162   nice -20 ./make.sh >$LOGFILE 2>&1
 163
 164   cd tests
 165   nice -20 sh ./run-tests.sh >>$LOGFILE 2>&1
 166   mkdir -p $SBCL_RELEASE_DIR/bin
 167   cp $SBCL_DIR/src/runtime/sbcl $SBCL_RELEASE_DIR/bin/sbcl
 168   cp $SBCL_DIR/output/sbcl.core $SBCL_RELEASE_DIR/bin/sbcl.core
 169 fi
 170
 171 ## Build x86-64 release binary.
 172
 173 if [ ! -d $SBCL_RELEASE_DIR/sbcl-$VERSION-x86-64-linux ]; then
 174   cd $SBCL_DIR
 175   sh clean.sh
 176   nice -20 ./make.sh "$SBCL_RELEASE_DIR/bin/sbcl --core $SBCL_RELEASE_DIR/bin/sbcl.core --no-userinit" >> $LOGFILE 2>&1
 177   cd doc && sh ./make-doc.sh
 178   cd $SBCL_RELEASE_DIR
 179
 180   ln -s $SBCL_DIR $SBCL_RELEASE_DIR/sbcl-$VERSION-x86-64-linux
 181   sh $SBCL_DIR/binary-distribution.sh sbcl-$VERSION-x86-64-linux
 182   sh $SBCL_DIR/html-distribution.sh sbcl-$VERSION
 183 fi
 184
 185 ## Build x86 release binary.
 186
 187 if [ ! -d $SBCL_RELEASE_DIR/sbcl-$VERSION-x86-linux ]; then
 188   cd $SBCL_DIR
 189   sh clean.sh
 190   export SBCL_ARCH=x86
 191   export PATH=/scratch/src/release/x86-gcc-wrapper:$PATH
 192   nice -20 ./make.sh "$SBCL_RELEASE_DIR/bin/sbcl --core $SBCL_RELEASE_DIR/bin/sbcl.core --no-userinit" >> $LOGFILE 2>&1
 193   cd tests
 194   nice -20 sh ./run-tests.sh >>$LOGFILE 2>&1
 195
 196   cd $SBCL_RELEASE_DIR
 197   ln -s $SBCL_DIR $SBCL_RELEASE_DIR/sbcl-$VERSION-x86-linux
 198   sh $SBCL_DIR/binary-distribution.sh sbcl-$VERSION-x86-linux
 199 fi
 200
 201 ## Checksum
 202
 203 if [ ! -f $SBCL_RELEASE_DIR/sbcl-$VERSION-$SFUSER ]; then
 204   cd $SBCL_RELEASE_DIR
 205   echo "The SHA256 checksums of the following distribution files are:" > sbcl-$VERSION-$SFUSER
 206   echo >> sbcl-$VERSION-$SFUSER
 207   sha256sum sbcl-$VERSION*.tar >> sbcl-$VERSION-$SFUSER
 208   bzip2 sbcl-$VERSION*.tar
 209 fi
 210
 211 ## Bug closing email
 212
 213 if [ ! -f $SBCL_RELEASE_DIR/sbcl-$VERSION-bugmail.txt ]; then
 214   cd $SBCL_RELEASE_DIR
 215   echo Bugs fixed by sbcl-$VERSION release > sbcl-$VERSION-bugmail.txt
 216  for bugnum in $(egrep -o "#[1-9][0-9][0-9][0-9][0-9][0-9]+" sbcl-$VERSION-release-notes.txt | sed s/#// | sort -n); do
 217     printf "\n bug %s\n status fixreleased" $bugnum >> sbcl-$VERSION-bugmail.txt
 218   done
 219   echo >> sbcl-$VERSION-bugmail.txt
 220 fi
 221
 222 ## Sign
 223
 224 if [ ! -f $SBCL_RELEASE_DIR/sbcl-$VERSION-$SFUSER.asc ]; then
 225   cd $SBCL_RELEASE_DIR
 226   gpg -sta $SBCL_RELEASE_DIR/sbcl-$VERSION-$SFUSER
 227 fi
 228
 229 ## Upload to sf.net
 230
 231 if [ ! -f $SBCL_RELEASE_DIR/uploaded ]; then
 232
 233   read -n 1 -p "Ok to upload? " A; echo
 234   if [ $A \!= "y" ]; then
 235     exit 1
 236   fi
 237
 238   cd $SBCL_RELEASE_DIR
 239 cat > $SBCL_RELEASE_DIR/sftp-batch <<EOF
 240 cd /home/frs/project/s/sb/sbcl/sbcl
 241 mkdir $VERSION
 242 chmod 775 $VERSION
 243 cd $VERSION
 244 put sbcl-$VERSION-$SFUSER.asc
 245 put sbcl-$VERSION-x86-linux-binary.tar.bz2
 246 put sbcl-$VERSION-x86-64-linux-binary.tar.bz2
 247 put sbcl-$VERSION-source.tar.bz2
 248 put sbcl-$VERSION-documentation-html.tar.bz2
 249 put sbcl-$VERSION-release-notes.txt
 250 put sbcl-$VERSION-release-notes.txt README
 251 EOF
 252   sftp -b $SBCL_RELEASE_DIR/sftp-batch $SFUSER,sbcl@frs.sourceforge.net
 253   touch uploaded
 254 fi
 255
 256 ## Push
 257
 258 if [ ! -f $SBCL_RELEASE_DIR/sbcl-git-pushed ]; then
 259   cd $GIT_DIR
 260   git diff origin || true
 261
 262   read -n 1 -p "Ok? " A; echo
 263
 264   if [ $A = "y" ]; then
 265     git push
 266     git push --tags
 267     touch $SBCL_RELEASE_DIR/sbcl-git-pushed
 268   else
 269     exit 1
 270   fi
 271 fi
 272
 273 ## Build + push documentation
 274
 275 if [ ! -f $SBCL_RELEASE_DIR/sbcl-page-uploaded ]; then
 276   cp -af $GIT_DIR/../sbcl-page $SBCL_RELEASE_DIR
 277   cd $SBCL_RELEASE_DIR/sbcl-page/sbcl
 278   git fetch
 279   cd $SBCL_RELEASE_DIR/sbcl-page
 280   git pull
 281   git submodule update
 282   cp $SBCL_DIR/NEWS .
 283   perl -i -pe "s/(:x86(?:-64)? :linux :available) \".*\"/\$1 \"$VERSION\"/" \
 284     platform-support-platforms.lisp
 285
 286   export LC_CTYPE=en_US.utf8
 287
 288   nice -20 make manual generate-pages SBCL_TAG=sbcl-$VERSION >>$LOGFILE 2>&1
 289
 290   COMMIT=false
 291
 292   git diff || COMMIT=true
 293   links -dump platform-table.html
 294
 295   read -n 1 -p "Ok? " A; echo
 296
 297   if [ $A = "y" ]; then
 298     if [ $COMMIT ]; then
 299       git commit -a -m "Update for $VERSION"
 300       git push
 301     fi
 302     make upload-pages upload-manual SBCL_TAG=sbcl-$VERSION
 303     touch $SBCL_RELEASE_DIR/sbcl-page-uploaded
 304   else
 305     exit 1
 306   fi
 307 fi
 308
 309 set +x
 310
 311 echo TODO:
 312 echo
 313 echo perform administrative tasks:
 314 echo
 315 echo \* https://sourceforge.net/project/admin/?group_id=1373
 316 echo \* In the File Manager interface, click on the source tarball and
 317 echo \ \ select as default download for all OSes.
 318 echo \* mail sbcl-announce
 319 echo \* check and send sbcl-$VERSION-bugmail.txt to edit@bugs.launchpad.net
 320 echo \ \ '(sign: C-c RET s p)'
 321 echo "* update #lisp IRC topic (requires channel ops)"