src/code/load.lisp

   1 ;;;; parts of the loader which make sense in the cross-compilation
   2 ;;;; host (and which are useful in the host, because they're used by
   3 ;;;; GENESIS)
   4 ;;;;
   5 ;;;; based on the CMU CL load.lisp code, written by Skef Wholey and
   6 ;;;; Rob Maclachlan
   7
   8 ;;;; This software is part of the SBCL system. See the README file for
   9 ;;;; more information.
  10 ;;;;
  11 ;;;; This software is derived from the CMU CL system, which was
  12 ;;;; written at Carnegie Mellon University and released into the
  13 ;;;; public domain. The software is in the public domain and is
  14 ;;;; provided with absolutely no warranty. See the COPYING and CREDITS
  15 ;;;; files for more information.
  16
  17 (in-package "SB!FASL")
  18 \f
  19 ;;;; There looks to be an exciting amount of state being modified
  20 ;;;; here: certainly enough that I (dan, 2003.1.22) don't want to mess
  21 ;;;; around deciding how to thread-safetify it.  So we use a Big Lock.
  22 ;;;; Because this code is mutually recursive with the compiler, we use
  23 ;;;; the **WORLD-LOCK**.
  24
  25 ;;;; miscellaneous load utilities
  26
  27 ;;; Output the current number of semicolons after a fresh-line.
  28 ;;; FIXME: non-mnemonic name
  29 (defun load-fresh-line ()
  30   (fresh-line)
  31   (let ((semicolons ";;;;;;;;;;;;;;;;"))
  32     (do ((count *load-depth* (- count (length semicolons))))
  33         ((< count (length semicolons))
  34          (write-string semicolons *standard-output* :end count))
  35       (declare (fixnum count))
  36       (write-string semicolons))
  37     (write-char #\space)))
  38
  39 ;;; If VERBOSE, output (to *STANDARD-OUTPUT*) a message about how
  40 ;;; we're loading from STREAM-WE-ARE-LOADING-FROM.
  41 (defun maybe-announce-load (stream-we-are-loading-from verbose)
  42   (when verbose
  43     (load-fresh-line)
  44     (let ((name #-sb-xc-host (file-name stream-we-are-loading-from)
  45                 #+sb-xc-host nil))
  46       (if name
  47           (format t "loading ~S~%" name)
  48           (format t "loading stuff from ~S~%" stream-we-are-loading-from)))))
  49 \f
  50 ;;;; utilities for reading from fasl files
  51
  52 #!-sb-fluid (declaim (inline read-byte))
  53
  54 ;;; FIXME: why do all of these reading functions and macros declare
  55 ;;; (SPEED 0)?  was there some bug in the compiler which has since
  56 ;;; been fixed?  --njf, 2004-09-08
  57
  58 ;;; This expands into code to read an N-byte unsigned integer using
  59 ;;; FAST-READ-BYTE.
  60 (defmacro fast-read-u-integer (n)
  61   (declare (optimize (speed 0)))
  62   (do ((res '(fast-read-byte)
  63             `(logior (fast-read-byte)
  64                      (ash ,res 8)))
  65        (cnt 1 (1+ cnt)))
  66       ((>= cnt n) res)))
  67
  68 ;;; like FAST-READ-U-INTEGER, but the size may be determined at run time
  69 (defmacro fast-read-var-u-integer (n)
  70   (let ((n-pos (gensym))
  71         (n-res (gensym))
  72         (n-cnt (gensym)))
  73     `(do ((,n-pos 8 (+ ,n-pos 8))
  74           (,n-cnt (1- ,n) (1- ,n-cnt))
  75           (,n-res
  76            (fast-read-byte)
  77            (dpb (fast-read-byte) (byte 8 ,n-pos) ,n-res)))
  78          ((zerop ,n-cnt) ,n-res)
  79        (declare (type index ,n-pos ,n-cnt)))))
  80
  81 ;;; Read a signed integer.
  82 (defmacro fast-read-s-integer (n)
  83   (declare (optimize (speed 0)))
  84   (let ((n-last (gensym)))
  85     (do ((res `(let ((,n-last (fast-read-byte)))
  86                  (if (zerop (logand ,n-last #x80))
  87                      ,n-last
  88                      (logior ,n-last #x-100)))
  89               `(logior (fast-read-byte)
  90                        (ash (the (signed-byte ,(* cnt 8)) ,res) 8)))
  91          (cnt 1 (1+ cnt)))
  92         ((>= cnt n) res))))
  93
  94 ;;; Read an N-byte unsigned integer from the *FASL-INPUT-STREAM*.
  95 (defmacro read-arg (n)
  96   (declare (optimize (speed 0)))
  97   (if (= n 1)
  98       `(the (unsigned-byte 8) (read-byte *fasl-input-stream*))
  99       `(prepare-for-fast-read-byte *fasl-input-stream*
 100          (prog1
 101           (fast-read-u-integer ,n)
 102           (done-with-fast-read-byte)))))
 103
 104 (declaim (inline read-byte-arg read-halfword-arg read-word-arg))
 105 (defun read-byte-arg ()
 106   (declare (optimize (speed 0)))
 107   (read-arg 1))
 108
 109 (defun read-halfword-arg ()
 110   (declare (optimize (speed 0)))
 111   (read-arg #.(/ sb!vm:n-word-bytes 2)))
 112
 113 (defun read-word-arg ()
 114   (declare (optimize (speed 0)))
 115   (read-arg #.sb!vm:n-word-bytes))
 116
 117 (defun read-unsigned-byte-32-arg ()
 118   (declare (optimize (speed 0)))
 119   (read-arg 4))
 120
 121 \f
 122 ;;;; the fop table
 123
 124 ;;; The table is implemented as a simple-vector indexed by the table
 125 ;;; offset. We may need to have several, since LOAD can be called
 126 ;;; recursively.
 127
 128 ;;; a list of free fop tables for the fasloader
 129 ;;;
 130 ;;; FIXME: Is it really a win to have this permanently bound?
 131 ;;; Couldn't we just bind it on entry to LOAD-AS-FASL?
 132 (defvar *free-fop-tables* (list (make-array 1000)))
 133
 134 ;;; the current fop table
 135 (defvar *current-fop-table*)
 136 (declaim (simple-vector *current-fop-table*))
 137
 138 ;;; the length of the current fop table
 139 (defvar *current-fop-table-size*)
 140 (declaim (type index *current-fop-table-size*))
 141
 142 ;;; the index in the fop-table of the next entry to be used
 143 (defvar *current-fop-table-index*)
 144 (declaim (type index *current-fop-table-index*))
 145
 146 (defun grow-fop-table ()
 147   (let* ((new-size (* *current-fop-table-size* 2))
 148          (new-table (make-array new-size)))
 149     (declare (fixnum new-size) (simple-vector new-table))
 150     (replace new-table (the simple-vector *current-fop-table*))
 151     (setq *current-fop-table* new-table)
 152     (setq *current-fop-table-size* new-size)))
 153
 154 (defmacro push-fop-table (thing)
 155   (let ((n-index (gensym)))
 156     `(let ((,n-index *current-fop-table-index*))
 157        (declare (fixnum ,n-index))
 158        (when (= ,n-index (the fixnum *current-fop-table-size*))
 159          (grow-fop-table))
 160        (setq *current-fop-table-index* (1+ ,n-index))
 161        (setf (svref *current-fop-table* ,n-index) ,thing))))
 162 \f
 163 ;;;; the fop stack
 164
 165 ;;; (This is to be bound by LOAD to an adjustable (VECTOR T) with
 166 ;;; FILL-POINTER, for use as a stack with VECTOR-PUSH-EXTEND.)
 167 (defvar *fop-stack*)
 168 (declaim (type (vector t) *fop-stack*))
 169
 170 ;;; Cache information about the fop stack in local variables. Define a
 171 ;;; local macro to pop from the stack. Push the result of evaluation
 172 ;;; if PUSHP.
 173 (defmacro with-fop-stack (pushp &body forms)
 174   (aver (member pushp '(nil t :nope)))
 175   (with-unique-names (fop-stack)
 176     `(let ((,fop-stack *fop-stack*))
 177        (declare (type (vector t) ,fop-stack)
 178                 (ignorable ,fop-stack))
 179        (macrolet ((pop-stack ()
 180                     `(vector-pop ,',fop-stack))
 181                   (push-stack (value)
 182                     `(vector-push-extend ,value ,',fop-stack))
 183                   (call-with-popped-args (fun n)
 184                     `(%call-with-popped-args ,fun ,n ,',fop-stack)))
 185          ,(if pushp
 186               `(vector-push-extend (progn ,@forms) ,fop-stack)
 187               `(progn ,@forms))))))
 188
 189 ;;; Call FUN with N arguments popped from STACK.
 190 (defmacro %call-with-popped-args (fun n stack)
 191   ;; N's integer value must be known at macroexpansion time.
 192   (declare (type index n))
 193   (with-unique-names (n-stack old-length new-length)
 194     (let ((argtmps (make-gensym-list n)))
 195       `(let* ((,n-stack ,stack)
 196               (,old-length (fill-pointer ,n-stack))
 197               (,new-length (- ,old-length ,n))
 198               ,@(loop for i from 0 below n collecting
 199                       `(,(nth i argtmps)
 200                         (aref ,n-stack (+ ,new-length ,i)))))
 201         (declare (type (vector t) ,n-stack))
 202         (setf (fill-pointer ,n-stack) ,new-length)
 203         ;; (For some applications it might be appropriate to FILL the
 204         ;; popped area with NIL here, to avoid holding onto garbage. For
 205         ;; sbcl-0.8.7.something, though, it shouldn't matter, because
 206         ;; we're using this only to pop stuff off *FOP-STACK*, and the
 207         ;; entire *FOP-STACK* can be GCed as soon as LOAD returns.)
 208         (,fun ,@argtmps)))))
 209 \f
 210 ;;;; Conditions signalled on invalid fasls (wrong fasl version, etc),
 211 ;;;; so that user code (esp. ASDF) can reasonably handle attempts to
 212 ;;;; load such fasls by recompiling them, etc. For simplicity's sake
 213 ;;;; make only condition INVALID-FASL part of the public interface,
 214 ;;;; and keep the guts internal.
 215
 216 (define-condition invalid-fasl (error)
 217   ((stream :reader invalid-fasl-stream :initarg :stream)
 218    (expected :reader invalid-fasl-expected :initarg :expected))
 219   (:report
 220    (lambda (condition stream)
 221      (format stream "~S is an invalid fasl file."
 222              (invalid-fasl-stream condition)))))
 223
 224 (define-condition invalid-fasl-header (invalid-fasl)
 225   ((byte :reader invalid-fasl-byte :initarg :byte)
 226    (byte-nr :reader invalid-fasl-byte-nr :initarg :byte-nr))
 227   (:report
 228    (lambda (condition stream)
 229      (format stream "~@<~S contains an illegal byte in the FASL header at ~
 230                      position ~A: Expected ~A, got ~A.~:@>"
 231              (invalid-fasl-stream condition)
 232              (invalid-fasl-byte-nr condition)
 233              (invalid-fasl-expected condition)
 234              (invalid-fasl-byte condition)))))
 235
 236 (define-condition invalid-fasl-version (invalid-fasl)
 237   ((version :reader invalid-fasl-version :initarg :version))
 238   (:report
 239    (lambda (condition stream)
 240      (format stream "~@<~S is a fasl file compiled with SBCL ~W, and ~
 241                       can't be loaded into SBCL ~W.~:@>"
 242              (invalid-fasl-stream condition)
 243              (invalid-fasl-version condition)
 244              (invalid-fasl-expected condition)))))
 245
 246 (define-condition invalid-fasl-implementation (invalid-fasl)
 247   ((implementation :reader invalid-fasl-implementation
 248                    :initarg :implementation))
 249   (:report
 250    (lambda (condition stream)
 251      (format stream "~S was compiled for implementation ~A, but this is a ~A."
 252              (invalid-fasl-stream condition)
 253              (invalid-fasl-implementation condition)
 254              (invalid-fasl-expected condition)))))
 255
 256 (define-condition invalid-fasl-features (invalid-fasl)
 257   ((potential-features :reader invalid-fasl-potential-features
 258                        :initarg :potential-features)
 259    (features :reader invalid-fasl-features :initarg :features))
 260   (:report
 261    (lambda (condition stream)
 262      (format stream "~@<incompatible ~S in fasl file ~S: ~2I~_~
 263                      Of features affecting binary compatibility, ~4I~_~S~2I~_~
 264                      the fasl has ~4I~_~A,~2I~_~
 265                      while the runtime expects ~4I~_~A.~:>"
 266              '*features*
 267              (invalid-fasl-stream condition)
 268              (invalid-fasl-potential-features condition)
 269              (invalid-fasl-features condition)
 270              (invalid-fasl-expected condition)))))
 271
 272 ;;; Skips past the shebang line on stream, if any.
 273 (defun maybe-skip-shebang-line (stream)
 274   (let ((p (file-position stream)))
 275     (flet ((next () (read-byte stream nil)))
 276       (unwind-protect
 277            (when (and (eq (next) (char-code #\#))
 278                       (eq (next) (char-code #\!)))
 279              (setf p nil)
 280              (loop for x = (next)
 281                    until (or (not x) (eq x (char-code #\newline)))))
 282         (when p
 283           (file-position stream p))))
 284     t))
 285
 286 ;;; Returns T if the stream is a binary input stream with a FASL header.
 287 (defun fasl-header-p (stream &key errorp)
 288   (unless (member (stream-element-type stream) '(character base-char))
 289     (let ((p (file-position stream)))
 290       (unwind-protect
 291            (let* ((header *fasl-header-string-start-string*)
 292                   (buffer (make-array (length header) :element-type '(unsigned-byte 8)))
 293                   (n 0))
 294              (flet ((scan ()
 295                       (maybe-skip-shebang-line stream)
 296                       (setf n (read-sequence buffer stream))))
 297                (if errorp
 298                    (scan)
 299                    (or (ignore-errors (scan))
 300                        ;; no a binary input stream
 301                        (return-from fasl-header-p nil))))
 302              (if (mismatch buffer header
 303                            :test #'(lambda (code char) (= code (char-code char))))
 304                  ;; Immediate EOF is valid -- we want to match what
 305                  ;; CHECK-FASL-HEADER does...
 306                  (or (zerop n)
 307                      (when errorp
 308                        (error 'fasl-header-missing
 309                               :stream stream
 310                               :fhsss buffer
 311                               :expected header)))
 312                  t))
 313         (file-position stream p)))))
 314
 315
 316 ;;;; LOAD-AS-FASL
 317 ;;;;
 318 ;;;; Note: LOAD-AS-FASL is used not only by LOAD, but also (with
 319 ;;;; suitable modification of the fop table) in GENESIS. Therefore,
 320 ;;;; it's needed not only in the target Lisp, but also in the
 321 ;;;; cross-compilation host.
 322
 323 ;;; a helper function for LOAD-FASL-GROUP
 324 ;;;
 325 ;;; Return true if we successfully read a FASL header from the stream, or NIL
 326 ;;; if EOF was hit before anything except the optional shebang line was read.
 327 ;;; Signal an error if we encounter garbage.
 328 (defun check-fasl-header (stream)
 329   (maybe-skip-shebang-line stream)
 330   (let ((byte (read-byte stream nil)))
 331     (when byte
 332       ;; Read and validate constant string prefix in fasl header.
 333       (let* ((fhsss *fasl-header-string-start-string*)
 334              (fhsss-length (length fhsss)))
 335         (unless (= byte (char-code (schar fhsss 0)))
 336           (error 'invalid-fasl-header
 337                  :stream stream
 338                  :byte-nr 0
 339                  :byte byte
 340                  :expected (char-code (schar fhsss 0))))
 341         (do ((byte (read-byte stream) (read-byte stream))
 342              (count 1 (1+ count)))
 343             ((= byte +fasl-header-string-stop-char-code+)
 344              t)
 345           (declare (fixnum byte count))
 346           (when (and (< count fhsss-length)
 347                      (not (eql byte (char-code (schar fhsss count)))))
 348             (error 'invalid-fasl-header
 349                    :stream stream
 350                    :byte-nr count
 351                    :byte byte
 352                    :expected (char-code (schar fhsss count))))))
 353       ;; Read and validate version-specific compatibility stuff.
 354       (flet ((string-from-stream ()
 355                (let* ((length (read-unsigned-byte-32-arg))
 356                       (result (make-string length)))
 357                  (read-string-as-bytes stream result)
 358                  result)))
 359         ;; Read and validate implementation and version.
 360         (let ((implementation (keywordicate (string-from-stream)))
 361               (expected-implementation +backend-fasl-file-implementation+))
 362           (unless (string= expected-implementation implementation)
 363             (error 'invalid-fasl-implementation
 364                    :stream stream
 365                    :implementation implementation
 366                    :expected expected-implementation)))
 367         (let* ((fasl-version (read-word-arg))
 368                (sbcl-version (if (<= fasl-version 76)
 369                                  "1.0.11.18"
 370                                  (string-from-stream)))
 371                (expected-version (sb!xc:lisp-implementation-version)))
 372           (unless (string= expected-version sbcl-version)
 373             (restart-case
 374                 (error 'invalid-fasl-version
 375                        :stream stream
 376                        :version sbcl-version
 377                        :expected expected-version)
 378               (continue () :report "Load the fasl file anyway"))))
 379         ;; Read and validate *FEATURES* which affect binary compatibility.
 380         (let ((faff-in-this-file (string-from-stream)))
 381           (unless (string= faff-in-this-file *features-affecting-fasl-format*)
 382             (error 'invalid-fasl-features
 383                    :stream stream
 384                    :potential-features *features-potentially-affecting-fasl-format*
 385                    :expected *features-affecting-fasl-format*
 386                    :features faff-in-this-file)))
 387         ;; success
 388         t))))
 389
 390 ;; Setting this variable gives you a trace of fops as they are loaded and
 391 ;; executed.
 392 #!+sb-show
 393 (defvar *show-fops-p* nil)
 394
 395 ;; buffer for loading symbols
 396 (defvar *fasl-symbol-buffer*)
 397 (declaim (simple-string *fasl-symbol-buffer*))
 398
 399 ;;;
 400 ;;; a helper function for LOAD-AS-FASL
 401 ;;;
 402 ;;; Return true if we successfully load a group from the stream, or
 403 ;;; NIL if EOF was encountered while trying to read from the stream.
 404 ;;; Dispatch to the right function for each fop.
 405 (defun load-fasl-group (stream)
 406   (when (check-fasl-header stream)
 407     (catch 'fasl-group-end
 408       (let ((*current-fop-table-index* 0)
 409             (*skip-until* nil))
 410         (declare (special *skip-until*))
 411         (loop
 412           (let ((byte (read-byte stream)))
 413             ;; Do some debugging output.
 414             #!+sb-show
 415             (when *show-fops-p*
 416               (let* ((stack *fop-stack*)
 417                      (ptr (1- (fill-pointer *fop-stack*))))
 418                 (fresh-line *trace-output*)
 419                 ;; The FOP operations are stack based, so it's sorta
 420                 ;; logical to display the operand before the operator.
 421                 ;; ("reverse Polish notation")
 422                 (unless (= ptr -1)
 423                   (write-char #\space *trace-output*)
 424                   (prin1 (aref stack ptr) *trace-output*)
 425                   (terpri *trace-output*))
 426                 ;; Display the operator.
 427                 (format *trace-output*
 428                         "~&~S (#X~X at ~D) (~S)~%"
 429                         (aref *fop-names* byte)
 430                         byte
 431                         (1- (file-position stream))
 432                         (svref *fop-funs* byte))))
 433
 434             ;; Actually execute the fop.
 435             (funcall (the function (svref *fop-funs* byte)))))))))
 436
 437 (defun load-as-fasl (stream verbose print)
 438   ;; KLUDGE: ANSI says it's good to do something with the :PRINT
 439   ;; argument to LOAD when we're fasloading a file, but currently we
 440   ;; don't. (CMU CL did, but implemented it in a non-ANSI way, and I
 441   ;; just disabled that instead of rewriting it.) -- WHN 20000131
 442   (declare (ignore print))
 443   (when (zerop (file-length stream))
 444     (error "attempt to load an empty FASL file:~%  ~S" (namestring stream)))
 445   (maybe-announce-load stream verbose)
 446   (with-world-lock ()
 447     (let* ((*fasl-input-stream* stream)
 448            (*fasl-symbol-buffer* (make-string 100))
 449            (*current-fop-table* (or (pop *free-fop-tables*) (make-array 1000)))
 450            (*current-fop-table-size* (length *current-fop-table*))
 451            (*fop-stack* (make-array 100 :fill-pointer 0 :adjustable t)))
 452       (unwind-protect
 453            (loop while (load-fasl-group stream))
 454         (push *current-fop-table* *free-fop-tables*)
 455         ;; NIL out the table, so that we don't hold onto garbage.
 456         ;;
 457         ;; FIXME: Could we just get rid of the free fop table pool so
 458         ;; that this would go away?
 459         (fill *current-fop-table* nil))))
 460   t)
 461
 462 (declaim (notinline read-byte)) ; Why is it even *declaimed* inline above?
 463 \f
 464 ;;;; stuff for debugging/tuning by collecting statistics on FOPs (?)
 465
 466 #|
 467 (defvar *fop-counts* (make-array 256 :initial-element 0))
 468 (defvar *fop-times* (make-array 256 :initial-element 0))
 469 (defvar *print-fops* nil)
 470
 471 (defun clear-counts ()
 472   (fill (the simple-vector *fop-counts*) 0)
 473   (fill (the simple-vector *fop-times*) 0)
 474   t)
 475
 476 (defun analyze-counts ()
 477   (let ((counts ())
 478         (total-count 0)
 479         (times ())
 480         (total-time 0))
 481     (macrolet ((breakdown (lvar tvar vec)
 482                  `(progn
 483                    (dotimes (i 255)
 484                      (declare (fixnum i))
 485                      (let ((n (svref ,vec i)))
 486                        (push (cons (svref *fop-names* i) n) ,lvar)
 487                        (incf ,tvar n)))
 488                    (setq ,lvar (subseq (sort ,lvar (lambda (x y)
 489                                                      (> (cdr x) (cdr y))))
 490                                        0 10)))))
 491
 492       (breakdown counts total-count *fop-counts*)
 493       (breakdown times total-time *fop-times*)
 494       (format t "Total fop count is ~D~%" total-count)
 495       (dolist (c counts)
 496         (format t "~30S: ~4D~%" (car c) (cdr c)))
 497       (format t "~%Total fop time is ~D~%" (/ (float total-time) 60.0))
 498       (dolist (m times)
 499         (format t "~30S: ~6,2F~%" (car m) (/ (float (cdr m)) 60.0))))))
 500 |#
 501