0.8.0.78.vector-nil-string.1:
[sbcl.git] / src / compiler / generic / genesis.lisp
index ca733d9..ed46288 100644 (file)
 ;;; way to do this in high level data like this (as opposed to e.g. in
 ;;; IP packets), and in fact the CMU CL version number never ended up
 ;;; being incremented past 0. A better approach might be to use a
-;;; string which is set from CVS data.
+;;; string which is set from CVS data. (Though now as of sbcl-0.7.8 or
+;;; so, we have another problem that the core incompatibility
+;;; detection mechanisms are on such a hair trigger -- with even
+;;; different builds from the same sources being considered
+;;; incompatible -- that any coarser-grained versioning mechanisms
+;;; like this are largely irrelevant as long as the hair-triggering
+;;; persists.)
 ;;;
 ;;; 0: inherited from CMU CL
 ;;; 1: rearranged static symbols for sbcl-0.6.8
 ;;; 2: eliminated non-ANSI %DEFCONSTANT/%%DEFCONSTANT support,
 ;;;    deleted a slot from DEBUG-SOURCE structure
-(defconstant sbcl-core-version-integer 2)
+;;; 3: added build ID to cores to discourage sbcl/.core mismatch
+(defconstant sbcl-core-version-integer 3)
 
 (defun round-up (number size)
   #!+sb-doc
         (des (allocate-vector-object gspace
                                      sb!vm:n-byte-bits
                                      (1+ length)
-                                     sb!vm:simple-string-widetag))
+                                     sb!vm:simple-base-string-widetag))
         (bytes (gspace-bytes gspace))
         (offset (+ (* sb!vm:vector-data-offset sb!vm:n-word-bytes)
                    (descriptor-byte-offset des))))
 ;;;    <external-symbols>
 ;;;    <imported-internal-symbols>
 ;;;    <imported-external-symbols>
-;;;    <shadowing-symbols>)
+;;;    <shadowing-symbols>
+;;;    <package-documentation>)
 ;;;
 ;;; KLUDGE: It would be nice to implement the sublists as instances of
 ;;; a DEFSTRUCT (:TYPE LIST). (They'd still be lists, but at least we'd be
   (macrolet ((frob (symbol)
               `(cold-set ',symbol
                          (cold-fdefinition-object (cold-intern ',symbol)))))
-    (frob maybe-gc)
+    (frob sub-gc)
     (frob internal-error)
     (frob sb!kernel::control-stack-exhausted-error)
     (frob sb!di::handle-breakpoint)
       (let* ((cold-package (car cold-package-symbols-entry))
             (symbols (cdr cold-package-symbols-entry))
             (shadows (package-shadowing-symbols cold-package))
+            (documentation (string-to-core (documentation cold-package t)))
             (internal *nil-descriptor*)
             (external *nil-descriptor*)
             (imported-internal *nil-descriptor*)
                               (cold-push handle imported-external)
                               (cold-push handle external)))))))
        (let ((r *nil-descriptor*))
+         (cold-push documentation r)
          (cold-push shadowing r)
          (cold-push imported-external r)
          (cold-push imported-internal r)
                    (warm-symbol cadr-des))))
           (#.sb!vm:other-pointer-lowtag
            (warm-symbol des)))))
-    (unless (legal-fun-name-p result)
-      (error "not a legal function name: ~S" result))
+    (legal-fun-name-or-type-error result)
     result))
 
 (defun cold-fdefinition-object (cold-name &optional leave-fn-raw)
                               (descriptor-gspace code-object))))
     (ecase +backend-fasl-file-implementation+
       ;; See CMU CL source for other formerly-supported architectures
-      ;; (and note that you have to rewrite them to use VECTOR-REF
-      ;; unstead of SAP-REF).
+      ;; (and note that you have to rewrite them to use BVREF-X
+      ;; instead of SAP-REF).
       (:alpha
         (ecase kind
          (:jmp-hint
                 (ldb (byte 8 0) value)
                 (bvref-8 gspace-bytes (1+ gspace-byte-offset))
                 (ldb (byte 8 8) value)))))
-      (:ppc
+      (:hppa
+       (ecase kind
+        (:load
+         (setf (bvref-32 gspace-bytes gspace-byte-offset)
+               (logior (ash (ldb (byte 11 0) value) 1)
+                       (logand (bvref-32 gspace-bytes gspace-byte-offset) 
+                               #xffffc000))))
+        (:load-short
+         (let ((low-bits (ldb (byte 11 0) value)))
+           (assert (<= 0 low-bits (1- (ash 1 4))))
+           (setf (bvref-32 gspace-bytes gspace-byte-offset)
+                 (logior (ash low-bits 17)
+                         (logand (bvref-32 gspace-bytes gspace-byte-offset)
+                                 #xffe0ffff)))))
+        (:hi
+         (setf (bvref-32 gspace-bytes gspace-byte-offset)
+               (logior (ash (ldb (byte 5 13) value) 16)
+                       (ash (ldb (byte 2 18) value) 14)
+                       (ash (ldb (byte 2 11) value) 12)
+                       (ash (ldb (byte 11 20) value) 1)
+                       (ldb (byte 1 31) value)
+                       (logand (bvref-32 gspace-bytes gspace-byte-offset)
+                               #xffe00000))))
+        (:branch
+         (let ((bits (ldb (byte 9 2) value)))
+           (assert (zerop (ldb (byte 2 0) value)))
+           (setf (bvref-32 gspace-bytes gspace-byte-offset)
+                 (logior (ash bits 3)
+                         (logand (bvref-32 gspace-bytes gspace-byte-offset)
+                                 #xffe0e002)))))))
+      (:mips
+       (ecase kind
+        (:jump
+         (assert (zerop (ash value -28)))
+         (setf (ldb (byte 26 0) 
+                    (bvref-32 gspace-bytes gspace-byte-offset))
+               (ash value -2)))
+        (:lui
+         (setf (bvref-32 gspace-bytes gspace-byte-offset)
+               (logior (mask-field (byte 16 16) (bvref-32 gspace-bytes gspace-byte-offset))
+                       (+ (ash value -16)
+                          (if (logbitp 15 value) 1 0)))))
+        (:addi
+         (setf (bvref-32 gspace-bytes gspace-byte-offset)
+               (logior (mask-field (byte 16 16) (bvref-32 gspace-bytes gspace-byte-offset))
+                       (ldb (byte 16 0) value))))))
+       (:ppc
        (ecase kind
          (:ba
           (setf (bvref-32 gspace-bytes gspace-byte-offset)
 (defun cold-load-symbol (size package)
   (let ((string (make-string size)))
     (read-string-as-bytes *fasl-input-stream* string)
-    (cold-intern (intern string package) package)))
+    (cold-intern (intern string package))))
 
 (macrolet ((frob (name pname-len package-len)
             `(define-cold-fop (,name)
   (and (>= (length string) (length tail))
        (string= string tail :start1 (- (length string) (length tail)))))
 
-(defun write-c-header ()
-
-  ;; writing beginning boilerplate
+(defun write-boilerplate ()
   (format t "/*~%")
   (dolist (line
           '("This is a machine-generated file. Please do not edit it by hand."
             "load and run 'core' files, which are basically programs"
             "in SBCL's own format."))
     (format t " * ~A~%" line))
-  (format t " */~%")
-  (terpri)
-  (format t "#ifndef _SBCL_H_~%#define _SBCL_H_~%")
-  (terpri)
+  (format t " */~%"))
 
+(defun write-config-h ()
   ;; propagating *SHEBANG-FEATURES* into C-level #define's
   (dolist (shebang-feature-name (sort (mapcar #'symbol-name
                                              sb-cold:*shebang-features*)
            "#define LISP_FEATURE_~A~%"
            (substitute #\_ #\- shebang-feature-name)))
   (terpri)
-
-  ;; writing miscellaneous constants
+  ;; and miscellaneous constants
   (format t "#define SBCL_CORE_VERSION_INTEGER ~D~%" sbcl-core-version-integer)
   (format t
          "#define SBCL_VERSION_STRING ~S~%"
          (sb!xc:lisp-implementation-version))
   (format t "#define CORE_MAGIC 0x~X~%" core-magic)
-  (terpri)
-
+  (format t "#ifndef LANGUAGE_ASSEMBLY~2%")
+  (format t "#define LISPOBJ(x) ((lispobj)x)~2%")
+  (format t "#else /* LANGUAGE_ASSEMBLY */~2%")
+  (format t "#define LISPOBJ(thing) thing~2%")
+  (format t "#endif /* LANGUAGE_ASSEMBLY */~2%")
+  (terpri))
+
+(defun write-constants-h ()
   ;; writing entire families of named constants 
   (let ((constants nil))
     (dolist (package-name '(;; Even in CMU CL, constants from VM
            (sb!xc:byte-position (symbol-value symbol)))
     (format t "#define ~A_MASK 0x~X /* ~:*~A */~%"
            (substitute #\_ #\- (symbol-name symbol))
-           (sb!xc:mask-field (symbol-value symbol) -1)))
+           (sb!xc:mask-field (symbol-value symbol) -1))))
+
 
+
+(defun write-primitive-object (obj)  
   ;; writing primitive object layouts
-  (let ((structs (sort (copy-list sb!vm:*primitive-objects*) #'string<
-                      :key (lambda (obj)
-                             (symbol-name
-                              (sb!vm:primitive-object-name obj))))))
     (format t "#ifndef LANGUAGE_ASSEMBLY~2%")
-    (format t "#define LISPOBJ(x) ((lispobj)x)~2%")
-    (dolist (obj structs)
       (format t
              "struct ~A {~%"
              (substitute #\_ #\-
        (substitute #\_ #\-
                    (string-downcase (string (sb!vm:slot-name slot))))
        (sb!vm:slot-rest-p slot)))
-      (format t "};~2%"))
+  (format t "};~2%")
     (format t "#else /* LANGUAGE_ASSEMBLY */~2%")
-    (format t "#define LISPOBJ(thing) thing~2%")
-    (dolist (obj structs)
       (let ((name (sb!vm:primitive-object-name obj))
       (lowtag (eval (sb!vm:primitive-object-lowtag obj))))
        (when lowtag
                  (substitute #\_ #\- (string name))
                  (substitute #\_ #\- (string (sb!vm:slot-name slot)))
                  (- (* (sb!vm:slot-offset slot) sb!vm:n-word-bytes) lowtag)))
-       (terpri))))
+      (terpri)))
     (format t "#endif /* LANGUAGE_ASSEMBLY */~2%"))
 
-  ;; writing static symbol offsets
+(defun write-static-symbols ()
   (dolist (symbol (cons nil sb!vm:*static-symbols*))
     ;; FIXME: It would be nice to use longer names than NIL and
     ;; (particularly) T in #define statements.
              (+ sb!vm:static-space-start
                 sb!vm:n-word-bytes
                 sb!vm:other-pointer-lowtag
-                (if symbol (sb!vm:static-symbol-offset symbol) 0)))))
+                  (if symbol (sb!vm:static-symbol-offset symbol) 0))))))
 
-  ;; Voila.
-  (format t "~%#endif~%"))
 \f
 ;;;; writing map file
 
@@ -2877,7 +2926,18 @@ initially undefined function references:~2%")
 (defvar *core-file*)
 (defvar *data-page*)
 
+;;; magic numbers to identify entries in a core file
+;;;
+;;; (In case you were wondering: No, AFAIK there's no special magic about
+;;; these which requires them to be in the 38xx range. They're just
+;;; arbitrary words, tested not for being in a particular range but just
+;;; for equality. However, if you ever need to look at a .core file and
+;;; figure out what's going on, it's slightly convenient that they're
+;;; all in an easily recognizable range, and displacing the range away from
+;;; zero seems likely to reduce the chance that random garbage will be
+;;; misinterpreted as a .core file.)
 (defconstant version-core-entry-type-code 3860)
+(defconstant build-id-core-entry-type-code 3899)
 (defconstant new-directory-core-entry-type-code 3861)
 (defconstant initial-fun-core-entry-type-code 3863)
 (defconstant end-core-entry-type-code 3840)
@@ -2972,6 +3032,22 @@ initially undefined function references:~2%")
       (write-word 3)
       (write-word sbcl-core-version-integer)
 
+      ;; Write the build ID.
+      (write-word build-id-core-entry-type-code)
+      (let ((build-id (with-open-file (s "output/build-id.tmp"
+                                        :direction :input)
+                       (read s))))
+       (declare (type simple-string build-id))
+       (/show build-id (length build-id))
+       ;; Write length of build ID record: BUILD-ID-CORE-ENTRY-TYPE-CODE
+       ;; word, this length word, and one word for each char of BUILD-ID.
+       (write-word (+ 2 (length build-id)))
+       (dovector (char build-id)
+         ;; (We write each character as a word in order to avoid
+         ;; having to think about word alignment issues in the
+         ;; sbcl-0.7.8 version of coreparse.c.)
+         (write-word (char-code char))))
+
       ;; Write the New Directory entry header.
       (write-word new-directory-core-entry-type-code)
       (write-word 17) ; length = (5 words/space) * 3 spaces + 2 for header.
@@ -3029,7 +3105,7 @@ initially undefined function references:~2%")
                      symbol-table-file-name
                      core-file-name
                      map-file-name
-                     c-header-file-name)
+                     c-header-dir-name)
 
   (when (and core-file-name
             (not symbol-table-file-name))
@@ -3043,8 +3119,7 @@ initially undefined function references:~2%")
            ;; we're not e.g. also creating a header file when we
            ;; create a core.
            (format nil "creating core ~S" core-file-name)
-           (format nil "creating header ~S" c-header-file-name)))
-
+           (format nil "creating headers in ~S" c-header-dir-name)))
   (let* ((*cold-foreign-symbol-table* (make-hash-table :test 'equal)))
 
     ;; Read symbol table, if any.
@@ -3059,8 +3134,7 @@ initially undefined function references:~2%")
             (when filename
               (ensure-directories-exist filename :verbose t))))
       (frob core-file-name)
-      (frob map-file-name)
-      (frob c-header-file-name))
+      (frob map-file-name))
 
     ;; (This shouldn't matter in normal use, since GENESIS normally
     ;; only runs once in any given Lisp image, but it could reduce
@@ -3130,6 +3204,7 @@ initially undefined function references:~2%")
        (let ((package (find-package (sb-cold:package-data-name pd))))
          (labels (;; Call FN on every node of the TREE.
                   (mapc-on-tree (fn tree)
+                                 (declare (type function fn))
                                 (typecase tree
                                   (cons (mapc-on-tree fn (car tree))
                                         (mapc-on-tree fn (cdr tree)))
@@ -3186,15 +3261,42 @@ initially undefined function references:~2%")
       ;; lexical variable, and it's annoying to have WRITE-MAP (to
       ;; *STANDARD-OUTPUT*) not be parallel to WRITE-INITIAL-CORE-FILE
       ;; (to a stream explicitly passed as an argument).
+      (macrolet ((out-to (name &body body)
+                  `(let ((fn (format nil "~A/~A.h" c-header-dir-name ,name)))
+                    (ensure-directories-exist fn)
+                    (with-open-file (*standard-output* fn  
+                                     :if-exists :supersede :direction :output)
+                      (write-boilerplate)
+                      (let ((n (substitute #\_ #\- (string-upcase ,name))))
+                        (format 
+                         t
+                         "#ifndef SBCL_GENESIS_~A~%#define SBCL_GENESIS_~A 1~%"
+                         n n))
+                      ,@body
+                      (format t
+                       "#endif /* SBCL_GENESIS_~A */~%"
+                       (string-upcase ,name))))))
       (when map-file-name
        (with-open-file (*standard-output* map-file-name
                                           :direction :output
                                           :if-exists :supersede)
          (write-map)))
-      (when c-header-file-name
-       (with-open-file (*standard-output* c-header-file-name
-                                          :direction :output
-                                          :if-exists :supersede)
-         (write-c-header)))
+       (out-to "config" (write-config-h))
+       (out-to "constants" (write-constants-h))
+       (let ((structs (sort (copy-list sb!vm:*primitive-objects*) #'string<
+                            :key (lambda (obj)
+                                   (symbol-name
+                                    (sb!vm:primitive-object-name obj))))))
+         (dolist (obj structs)
+           (out-to
+            (string-downcase (string (sb!vm:primitive-object-name obj)))
+            (write-primitive-object obj)))
+         (out-to "primitive-objects"
+                 (dolist (obj structs)
+                   (format t "~&#include \"~A.h\"~%"
+                           (string-downcase 
+                            (string (sb!vm:primitive-object-name obj)))))))
+       (out-to "static-symbols" (write-static-symbols))
+       
       (when core-file-name
-       (write-initial-core-file core-file-name)))))
+         (write-initial-core-file core-file-name))))))