Simplify (and robustify) regular PACKing
[sbcl.git] / src / code / target-load.lisp
index 560ba0e..4a819e9 100644 (file)
 \f
 ;;;; LOAD-AS-SOURCE
 
-;;; Load a text file.
-(defun load-as-source (stream verbose print)
+;;; Load a text stream.  (Note that load-as-fasl is in another file.)
+(defun load-as-source (stream &key verbose print (context "loading"))
   (maybe-announce-load stream verbose)
-  (do ((sexpr (read stream nil *eof-object*)
-             (read stream nil *eof-object*)))
-      ((eq sexpr *eof-object*)
-       t)
-    (if print
-       (let ((results (multiple-value-list (eval sexpr))))
-         (load-fresh-line)
-         (format t "~{~S~^, ~}~%" results))
-      (eval sexpr))))
+  (let* ((pathname (ignore-errors (translate-logical-pathname stream)))
+         (native (when pathname (native-namestring pathname))))
+    (with-simple-restart (abort "Abort ~A file ~S." context native)
+      (flet ((eval-form (form index)
+               (with-simple-restart (continue "Ignore error and continue ~A file ~S."
+                                              context native)
+                 (loop
+                   (with-simple-restart (retry "Retry EVAL of current toplevel form.")
+                     (if print
+                         (let ((results (multiple-value-list (eval-tlf form index))))
+                           (load-fresh-line)
+                           (format t "~{~S~^, ~}~%" results))
+                         (eval-tlf form index)))
+                   (return)))))
+        (if pathname
+            (let* ((info (sb!c::make-file-source-info
+                          pathname (stream-external-format stream)))
+                   (sb!c::*source-info* info))
+              (setf (sb!c::source-info-stream info) stream)
+              (sb!c::do-forms-from-info ((form current-index) info)
+                (sb!c::with-source-paths
+                  (sb!c::find-source-paths form current-index)
+                  (eval-form form current-index))))
+            (let ((sb!c::*source-info* nil))
+              (do ((form (read stream nil *eof-object*)
+                         (read stream nil *eof-object*)))
+                  ((eq form *eof-object*))
+                (sb!c::with-source-paths
+                  (eval-form form nil))))))))
+  t)
 \f
 ;;;; LOAD itself
 
    (lambda (condition stream)
      (format stream "~@<File ~S has a fasl file type, but no fasl header:~%~
                      Expected ~S, but got ~S.~:@>"
-            (invalid-fasl-stream condition)
-            (invalid-fasl-expected condition)
-            (invalid-fasl-fhsss condition)))))
+             (invalid-fasl-stream condition)
+             (invalid-fasl-expected condition)
+             (invalid-fasl-fhsss condition)))))
 
-;;; a helper function for LOAD: Load the stuff in a file when we have
-;;; the name.
-(defun internal-load (pathname truename if-does-not-exist verbose print
-                     &optional contents)
-  (declare (type (member nil :error) if-does-not-exist))
-  (unless truename
-    (if if-does-not-exist
-       (error 'simple-file-error
-              :pathname pathname
-              :format-control "~S does not exist."
-              :format-arguments (list (namestring pathname)))
-       (return-from internal-load nil)))
 
-  (let ((*load-truename* truename)
-       (*load-pathname* pathname))
-    (case contents
-      (:source
-       (with-open-file (stream truename
-                              :direction :input
-                              :if-does-not-exist if-does-not-exist)
-        (load-as-source stream verbose print)))
-      (:binary
-       (with-open-file (stream truename
-                              :direction :input
-                              :if-does-not-exist if-does-not-exist
-                              :element-type '(unsigned-byte 8))
-        (load-as-fasl stream verbose print)))
-      (t
-       (let ((first-line (with-open-file (stream truename :direction :input)
-                          (read-line stream nil)))
-            (fhsss *fasl-header-string-start-string*))
-        (cond
-         ((and first-line
-               (>= (length (the simple-string first-line))
-                   (length fhsss))
-               (string= first-line fhsss :end1 (length fhsss)))
-          (internal-load pathname truename if-does-not-exist verbose print
-                         :binary))
-         (t
-          (when (string= (pathname-type truename) *fasl-file-type*)
-            (error 'fasl-header-missing
-                   :stream (namestring truename)
-                   :fhsss first-line
-                   :expected fhsss))
-          (internal-load pathname truename if-does-not-exist verbose print
-                         :source))))))))
+;;; The following comment preceded the pre 1.0.12.36 definition of
+;;; LOAD; it may no longer be accurate:
 
-;;; a helper function for INTERNAL-LOAD-DEFAULT-TYPE: Try the default
-;;; file type TYPE and return (VALUES PATHNAME TRUENAME) for a match,
-;;; or (VALUES PATHNAME NIL) if the file doesn't exist.
-;;;
-;;; This is analogous to CMU CL's TRY-DEFAULT-TYPES, but we only try a
-;;; single type. By avoiding CMU CL's generality here, we avoid having
-;;; to worry about some annoying ambiguities. (E.g. what if the
-;;; possible types are ".lisp" and ".cl", and both "foo.lisp" and
-;;; "foo.cl" exist?)
-(defun try-default-type (pathname type)
-  (let ((pn (translate-logical-pathname (make-pathname :type type :defaults pathname))))
-    (values pn (probe-file pn))))
-
-;;; a helper function for LOAD: Handle the case of INTERNAL-LOAD where
-;;; the file does not exist.
-(defun internal-load-default-type (pathname if-does-not-exist verbose print)
-  (declare (type (member nil :error) if-does-not-exist))
-  (multiple-value-bind (src-pn src-tn)
-      (try-default-type pathname *load-source-default-type*)
-    (multiple-value-bind (obj-pn obj-tn)
-       (try-default-type pathname *fasl-file-type*)
-      (cond
-       ((and obj-tn
-            src-tn
-            (> (file-write-date src-tn) (file-write-date obj-tn)))
-       (restart-case
-        (error "The object file ~A is~@
-               older than the presumed source:~%  ~A."
-               (namestring obj-tn)
-               (namestring src-tn))
-        ;; FIXME: In CMU CL one of these was a CONTINUE case.
-        ;; There's not one now. I don't remember how restart-case
-        ;; works very well, make sure that it doesn't do anything
-        ;; weird when we don't specify the CONTINUE case.
-        (source () :report "load source file"
-          (internal-load src-pn src-tn if-does-not-exist verbose print
-                         :source))
-        (object () :report "load object file"
-           (internal-load src-pn obj-tn if-does-not-exist verbose print
-                          :binary))))
-       (obj-tn
-       (internal-load obj-pn obj-tn if-does-not-exist verbose print :binary))
-       (src-pn
-       (internal-load src-pn src-tn if-does-not-exist verbose print :source))
-       (t
-       (internal-load pathname nil if-does-not-exist verbose print nil))))))
+;; FIXME: Daniel Barlow's ilsb.tar ILISP-for-SBCL patches contain an
+;; implementation of "DEFUN SOURCE-FILE" which claims, in a comment,
+;; that CMU CL does not correctly record source file information when
+;; LOADing a non-compiled file. Check whether this bug exists in SBCL
+;; and fix it if so.
 
-;;; This function mainly sets up special bindings and then calls
-;;; sub-functions. We conditionally bind the switches with PROGV so
-;;; that people can set them in their init files and have the values
-;;; take effect. If the compiler is loaded, we make the
-;;; compiler-policy local to LOAD by binding it to itself.
-;;;
-;;; FIXME: Daniel Barlow's ilsb.tar ILISP-for-SBCL patches contain an
-;;; implementation of "DEFUN SOURCE-FILE" which claims, in a comment, that CMU
-;;; CL does not correctly record source file information when LOADing a
-;;; non-compiled file. Check whether this bug exists in SBCL and fix it if so.
-(defun load (filespec
-            &key
-            (verbose *load-verbose*)
-            (print *load-print*)
-            (if-does-not-exist t)
-            (external-format :default))
+(defun load (pathspec &key (verbose *load-verbose*) (print *load-print*)
+             (if-does-not-exist t) (external-format :default))
   #!+sb-doc
   "Load the file given by FILESPEC into the Lisp environment, returning
    T on success."
-  (declare (ignore external-format))
-  (let ((*load-depth* (1+ *load-depth*))
-       ;; KLUDGE: I can't find in the ANSI spec where it says that
-       ;; DECLAIM/PROCLAIM of optimization policy should have file
-       ;; scope. CMU CL did this, and it seems reasonable, but it
-       ;; might not be right; after all, things like (PROCLAIM '(TYPE
-       ;; ..)) don't have file scope, and I can't find anything under
-       ;; PROCLAIM or COMPILE-FILE or LOAD or OPTIMIZE which
-       ;; justifies this behavior. Hmm. -- WHN 2001-04-06
-       (sb!c::*policy* sb!c::*policy*)
-       ;; The ANSI spec for LOAD says "LOAD binds *READTABLE* and
-       ;; *PACKAGE* to the values they held before loading the file."
-       (*package* (sane-package))
-       (*readtable* *readtable*)
-       ;; The old CMU CL LOAD function used an IF-DOES-NOT-EXIST
-       ;; argument of (MEMBER :ERROR NIL) type. ANSI constrains us to
-       ;; accept a generalized boolean argument value for this
-       ;; externally-visible function, but the internal functions
-       ;; still use the old convention.
-       (internal-if-does-not-exist (if if-does-not-exist :error nil)))
-    ;; FIXME: This VALUES wrapper is inherited from CMU CL. Once SBCL
-    ;; gets function return type checking right, we can achieve a
-    ;; similar effect better by adding FTYPE declarations.
-    (values
-     (if (streamp filespec)
-        (if (or (equal (stream-element-type filespec)
-                       '(unsigned-byte 8)))
-            (load-as-fasl filespec verbose print)
-            (load-as-source filespec verbose print))
-        (let* ((pathname (pathname filespec))
-               (physical-pathname (translate-logical-pathname pathname))
-               (probed-file (probe-file physical-pathname)))
-          (if (or probed-file
-                  (pathname-type physical-pathname))
-              (internal-load physical-pathname
-                             probed-file
-                             internal-if-does-not-exist
-                             verbose
-                             print)
-              (internal-load-default-type pathname
-                                          internal-if-does-not-exist
-                                          verbose
-                                          print)))))))
+  (flet ((load-stream (stream faslp)
+           (let* (;; Bindings required by ANSI.
+                  (*readtable* *readtable*)
+                  (*package* (sane-package))
+                  ;; FIXME: we should probably document the circumstances
+                  ;; where *LOAD-PATHNAME* and *LOAD-TRUENAME* aren't
+                  ;; pathnames during LOAD.  ANSI makes no exceptions here.
+                  (*load-pathname* (handler-case (pathname stream)
+                                     ;; FIXME: it should probably be a type
+                                     ;; error to try to get a pathname for a
+                                     ;; stream that doesn't have one, but I
+                                     ;; don't know if we guarantee that.
+                                     (error () nil)))
+                  (*load-truename* (when *load-pathname*
+                                     (handler-case (truename stream)
+                                       (file-error () nil))))
+                  ;; Bindings used internally.
+                  (*load-depth* (1+ *load-depth*))
+                  ;; KLUDGE: I can't find in the ANSI spec where it says
+                  ;; that DECLAIM/PROCLAIM of optimization policy should
+                  ;; have file scope. CMU CL did this, and it seems
+                  ;; reasonable, but it might not be right; after all,
+                  ;; things like (PROCLAIM '(TYPE ..)) don't have file
+                  ;; scope, and I can't find anything under PROCLAIM or
+                  ;; COMPILE-FILE or LOAD or OPTIMIZE which justifies this
+                  ;; behavior. Hmm. -- WHN 2001-04-06
+                  (sb!c::*policy* sb!c::*policy*))
+             (return-from load
+               (if faslp
+                   (load-as-fasl stream verbose print)
+                   (sb!c:with-compiler-error-resignalling
+                     (load-as-source stream :verbose verbose
+                                            :print print)))))))
+    ;; Case 1: stream.
+    (when (streamp pathspec)
+      (return-from load (load-stream pathspec (fasl-header-p pathspec))))
+    (let ((pathname (pathname pathspec)))
+      ;; Case 2: Open as binary, try to process as a fasl.
+      (with-open-stream
+          (stream (or (open pathspec :element-type '(unsigned-byte 8)
+                            :if-does-not-exist nil)
+                      (when (null (pathname-type pathspec))
+                        (let ((defaulted-pathname
+                               (probe-load-defaults pathspec)))
+                          (if defaulted-pathname
+                              (progn (setq pathname defaulted-pathname)
+                                     (open pathname
+                                           :if-does-not-exist
+                                           (if if-does-not-exist :error nil)
+                                           :element-type '(unsigned-byte 8))))))
+                      (if if-does-not-exist
+                          (error 'simple-file-error
+                                 :pathname pathspec
+                                 :format-control
+                                 "~@<Couldn't load ~S: file does not exist.~@:>"
+                                 :format-arguments (list pathspec)))))
+        (unless stream
+          (return-from load nil))
+        (let* ((real (probe-file stream))
+               (should-be-fasl-p
+                (and real (string-equal (pathname-type real) *fasl-file-type*))))
+          ;; Don't allow empty .fasls, and assume other empty files
+          ;; are source files.
+          (when (and (or should-be-fasl-p (not (eql 0 (file-length stream))))
+                     (fasl-header-p stream :errorp should-be-fasl-p))
+            (return-from load (load-stream stream t)))))
+      ;; Case 3: Open using the gived external format, process as source.
+      (with-open-file (stream pathname :external-format external-format)
+        (load-stream stream nil)))))
+
+;; This implements the defaulting SBCL seems to have inherited from
+;; CMU.  This routine does not try to perform any loading; all it does
+;; is return the pathname (not the truename) of a file to be loaded,
+;; or NIL if no such file can be found.  This routine is supposed to
+;; signal an error if a fasl's timestamp is older than its source
+;; file, but we protect against errors in PROBE-FILE, because any of
+;; the ways that we might fail to find a defaulted file are reasons
+;; not to load it, but not worth exposing to the user who didn't
+;; expicitly ask us to load a file with a made-up name (e.g., the
+;; defaulted filename might exceed filename length limits).
+(defun probe-load-defaults (pathname)
+  (destructuring-bind (defaulted-source-pathname
+                       defaulted-source-truename
+                       defaulted-fasl-pathname
+                       defaulted-fasl-truename)
+      (loop for type in (list *load-source-default-type*
+                              *fasl-file-type*)
+            as probe-pathname = (make-pathname :type type
+                                               :defaults pathname)
+            collect probe-pathname
+            collect (handler-case (probe-file probe-pathname)
+                      (file-error () nil)))
+    (cond ((and defaulted-fasl-truename
+                defaulted-source-truename
+                (> (file-write-date defaulted-source-truename)
+                   (file-write-date defaulted-fasl-truename)))
+           (restart-case
+               (error "The object file ~A is~@
+                       older than the presumed source:~%  ~A."
+                      defaulted-fasl-truename
+                      defaulted-source-truename)
+             (source () :report "load source file"
+                     defaulted-source-pathname)
+             (object () :report "load object file"
+                     defaulted-fasl-pathname)))
+          (defaulted-fasl-truename defaulted-fasl-pathname)
+          (defaulted-source-truename defaulted-source-pathname))))
 \f
 ;;; Load a code object. BOX-NUM objects are popped off the stack for
 ;;; the boxed storage section, then SIZE bytes of code are read in.
 (defun load-code (box-num code-length)
   (declare (fixnum box-num code-length))
   (with-fop-stack t
-    (let ((code (%primitive sb!c:allocate-code-object box-num code-length))
-         (index (+ sb!vm:code-trace-table-offset-slot box-num)))
+    (let ((code (sb!c:allocate-code-object box-num code-length))
+          (index (+ sb!vm:code-trace-table-offset-slot box-num)))
       (declare (type index index))
       (setf (%code-debug-info code) (pop-stack))
       (dotimes (i box-num)
-       (declare (fixnum i))
-       (setf (code-header-ref code (decf index)) (pop-stack)))
+        (declare (fixnum i))
+        (setf (code-header-ref code (decf index)) (pop-stack)))
       (sb!sys:without-gcing
-       (read-n-bytes *fasl-input-stream*
-                     (code-instructions code)
-                     0
-                     code-length))
+        (read-n-bytes *fasl-input-stream*
+                      (code-instructions code)
+                      0
+                      code-length))
       code)))
 
 ;;; Moving native code during a GC or purify is not so trivial on the
   (with-fop-stack t
     (let ((stuff (list (pop-stack))))
       (dotimes (i box-num)
-       (declare (fixnum i))
-       (push (pop-stack) stuff))
-      (let* ((dbi (car (last stuff)))  ; debug-info
-            (tto (first stuff)))       ; trace-table-offset
+        (declare (fixnum i))
+        (push (pop-stack) stuff))
+      (let* ((dbi (car (last stuff)))   ; debug-info
+             (tto (first stuff)))       ; trace-table-offset
 
-       (setq stuff (nreverse stuff))
+        (setq stuff (nreverse stuff))
 
-       ;; FIXME: *LOAD-CODE-VERBOSE* should probably be #!+SB-SHOW.
-       (when *load-code-verbose*
-             (format t "stuff: ~S~%" stuff)
-             (format t
-                     "   : ~S ~S ~S ~S~%"
-                     (sb!c::compiled-debug-info-p dbi)
-                     (sb!c::debug-info-p dbi)
-                     (sb!c::compiled-debug-info-name dbi)
-                     tto)
+        ;; FIXME: *LOAD-CODE-VERBOSE* should probably be #!+SB-SHOW.
+        (when *load-code-verbose*
+              (format t "stuff: ~S~%" stuff)
+              (format t
+                      "   : ~S ~S ~S ~S~%"
+                      (sb!c::compiled-debug-info-p dbi)
+                      (sb!c::debug-info-p dbi)
+                      (sb!c::compiled-debug-info-name dbi)
+                      tto)
               (format t "   loading to the dynamic space~%"))
 
-       (let ((code (%primitive sb!c:allocate-code-object
-                                box-num
-                                code-length))
-             (index (+ sb!vm:code-trace-table-offset-slot box-num)))
-         (declare (type index index))
-         (when *load-code-verbose*
-           (format t
-                   "  obj addr=~X~%"
-                   (sb!kernel::get-lisp-obj-address code)))
-         (setf (%code-debug-info code) (pop stuff))
-         (dotimes (i box-num)
-           (declare (fixnum i))
-           (setf (code-header-ref code (decf index)) (pop stuff)))
-         (sb!sys:without-gcing
-          (read-n-bytes *fasl-input-stream*
-                        (code-instructions code)
-                        0
-                        code-length))
-         code)))))
+        (let ((code (sb!c:allocate-code-object box-num code-length))
+              (index (+ sb!vm:code-trace-table-offset-slot box-num)))
+          (declare (type index index))
+          (when *load-code-verbose*
+            (format t
+                    "  obj addr=~X~%"
+                    (sb!kernel::get-lisp-obj-address code)))
+          (setf (%code-debug-info code) (pop stuff))
+          (dotimes (i box-num)
+            (declare (fixnum i))
+            (setf (code-header-ref code (decf index)) (pop stuff)))
+          (sb!sys:without-gcing
+           (read-n-bytes *fasl-input-stream*
+                         (code-instructions code)
+                         0
+                         code-length))
+          code)))))
 \f
 ;;;; linkage fixups
 
-;;; how we learn about assembler routines and foreign symbols at startup
+;;; how we learn about assembler routines at startup
 (defvar *!initial-assembler-routines*)
-(defvar *!initial-foreign-symbols*)
+
 (defun !loader-cold-init ()
+  (/show0 "/!loader-cold-init")
   (dolist (routine *!initial-assembler-routines*)
-    (setf (gethash (car routine) *assembler-routines*) (cdr routine)))
-  (dolist (symbol *!initial-foreign-symbols*)
-    (setf (gethash (car symbol) *static-foreign-symbols*) (cdr symbol))))
-
-(declaim (ftype (function (string) (unsigned-byte #.sb!vm:n-machine-word-bits))
-               foreign-symbol-address-as-integer))
-
-
-;;; SB!SYS:GET-DYNAMIC-FOREIGN-SYMBOL-ADDRESS is in foreign.lisp, on
-;;; platforms that have dynamic loading
-(defun foreign-symbol-address-as-integer-or-nil (foreign-symbol)
-  (or (find-foreign-symbol-in-table foreign-symbol *static-foreign-symbols*)
-      (sb!sys:get-dynamic-foreign-symbol-address foreign-symbol)))
-    
-(defun foreign-symbol-address-as-integer (foreign-symbol)
-  (or (foreign-symbol-address-as-integer-or-nil foreign-symbol)
-      (error "unknown foreign symbol: ~S" foreign-symbol)))
-
-(defun foreign-symbol-address (symbol)
-  (int-sap (foreign-symbol-address-as-integer
-           (sb!vm:extern-alien-name symbol))))
+    (setf (gethash (car routine) *assembler-routines*) (cdr routine))))