0.8.18.26:
[sbcl.git] / src / compiler / ir2tran.lisp
index ad40031..8157cd8 100644 (file)
@@ -59,7 +59,7 @@
 ;;;; leaf reference
 
 ;;; Return the TN that holds the value of THING in the environment ENV.
-(declaim (ftype (function ((or nlx-info lambda-var) physenv) tn)
+(declaim (ftype (function ((or nlx-info lambda-var clambda) physenv) tn)
                find-in-physenv))
 (defun find-in-physenv (thing physenv)
   (or (cdr (assoc thing (ir2-physenv-closure (physenv-info physenv))))
         (leaf-info thing))
        (nlx-info
         (aver (eq physenv (block-physenv (nlx-info-target thing))))
-        (ir2-nlx-info-home (nlx-info-info thing))))
+        (ir2-nlx-info-home (nlx-info-info thing)))
+        (clambda
+         (aver (xep-p thing))
+         (entry-info-closure-tn (lambda-info thing))))
       (bug "~@<~2I~_~S ~_not found in ~_~S~:>" thing physenv)))
 
 ;;; If LEAF already has a constant TN, return that, otherwise make a
   (unless (leaf-info functional)
     (setf (leaf-info functional)
          (make-entry-info :name (functional-debug-name functional))))
-  (let ((entry (make-load-time-constant-tn :entry functional))
-       (closure (etypecase functional
+  (let ((closure (etypecase functional
                   (clambda
                    (assertions-on-ir2-converted-clambda functional)
                    (physenv-closure (get-lambda-physenv functional)))
                    nil))))
 
     (cond (closure
-          (let ((this-env (node-physenv ref)))
-            (vop make-closure ref ir2-block entry (length closure) res)
-            (loop for what in closure and n from 0 do
-              (unless (and (lambda-var-p what)
-                           (null (leaf-refs what)))
-                (vop closure-init ref ir2-block
-                     res
-                     (find-in-physenv what this-env)
-                     n)))))
+           (let* ((physenv (node-physenv ref))
+                  (tn (find-in-physenv functional physenv)))
+             (emit-move ref ir2-block tn res)))
          (t
-          (emit-move ref ir2-block entry res))))
+           (let ((entry (make-load-time-constant-tn :entry functional)))
+             (emit-move ref ir2-block entry res)))))
+  (values))
+
+(defoptimizer (%allocate-closures ltn-annotate) ((leaves) node ltn-policy)
+  ltn-policy ; a hack to effectively (DECLARE (IGNORE LTN-POLICY))
+  (when (lvar-dynamic-extent leaves)
+    (let ((info (make-ir2-lvar *backend-t-primitive-type*)))
+      (setf (ir2-lvar-kind info) :delayed)
+      (setf (lvar-info leaves) info)
+      #!+stack-grows-upward-not-downward
+      (let ((tn (make-normal-tn *backend-t-primitive-type*)))
+        (setf (ir2-lvar-locs info) (list tn)))
+      #!+stack-grows-downward-not-upward
+      (setf (ir2-lvar-stack-pointer info)
+            (make-stack-pointer-tn)))))
+
+(defoptimizer (%allocate-closures ir2-convert) ((leaves) call 2block)
+  (let ((dx-p (lvar-dynamic-extent leaves))
+        #!+stack-grows-upward-not-downward
+        (first-closure nil))
+    (collect ((delayed))
+      #!+stack-grows-downward-not-upward
+      (when dx-p
+        (vop current-stack-pointer call 2block
+             (ir2-lvar-stack-pointer (lvar-info leaves))))
+      (dolist (leaf (lvar-value leaves))
+        (binding* ((xep (functional-entry-fun leaf) :exit-if-null)
+                   (nil (aver (xep-p xep)))
+                   (entry-info (lambda-info xep) :exit-if-null)
+                   (tn (entry-info-closure-tn entry-info) :exit-if-null)
+                   (closure (physenv-closure (get-lambda-physenv xep)))
+                   (entry (make-load-time-constant-tn :entry xep)))
+          (let ((this-env (node-physenv call))
+                (leaf-dx-p (and dx-p (leaf-dynamic-extent leaf))))
+            (vop make-closure call 2block entry (length closure)
+                 leaf-dx-p tn)
+            #!+stack-grows-upward-not-downward
+            (when (and (not first-closure) leaf-dx-p)
+              (setq first-closure tn))
+            (loop for what in closure and n from 0 do
+                  (unless (and (lambda-var-p what)
+                               (null (leaf-refs what)))
+                    ;; In LABELS a closure may refer to another closure
+                    ;; in the same group, so we must be sure that we
+                    ;; store a closure only after its creation.
+                    ;;
+                    ;; TODO: Here is a simple solution: we postpone
+                    ;; putting of all closures after all creations
+                    ;; (though it may require more registers).
+                    (if (lambda-p what)
+                        (delayed (list tn (find-in-physenv what this-env) n))
+                        (vop closure-init call 2block
+                             tn
+                             (find-in-physenv what this-env)
+                             n)))))))
+      #!+stack-grows-upward-not-downward
+      (when dx-p
+        (emit-move call 2block first-closure
+                   (first (ir2-lvar-locs (lvar-info leaves)))))
+      (loop for (tn what n) in (delayed)
+            do (vop closure-init call 2block
+                    tn what n))))
   (values))
 
 ;;; Convert a SET node. If the NODE's LVAR is annotated, then we also
 (defun find-template-result-types (call template rtypes)
   (declare (type combination call)
           (type template template) (list rtypes))
+  (declare (ignore template))
   (let* ((dtype (node-derived-type call))
         (type dtype)
         (types (mapcar #'primitive-type
                 (r-refs (reference-tn-list results t)))
            (aver (= (length info-args)
                     (template-info-arg-count template)))
+            #!+stack-grows-downward-not-upward
+            (when (and lvar (lvar-dynamic-extent lvar))
+              (vop current-stack-pointer call block
+                   (ir2-lvar-stack-pointer (lvar-info lvar))))
            (if info-args
                (emit-template call block template args r-refs info-args)
                (emit-template call block template args r-refs))
 ;;;      lvar LOC.
 ;;;   -- We don't know what it is.
 (defun fun-lvar-tn (node block lvar)
+  (declare (ignore node block))
   (declare (type lvar lvar))
   (let ((2lvar (lvar-info lvar)))
     (if (eq (ir2-lvar-kind 2lvar) :delayed)
 (defoptimizer (sb!kernel:%caller-frame-and-pc ir2-convert) (() node block)
   (let ((ir2-physenv (physenv-info (node-physenv node))))
     (move-lvar-result node block
-                             (list (ir2-physenv-old-fp ir2-physenv)
-                                   (ir2-physenv-return-pc ir2-physenv))
-                             (node-lvar node))))
+                      (list (ir2-physenv-old-fp ir2-physenv)
+                            (ir2-physenv-return-pc ir2-physenv))
+                      (node-lvar node))))
 \f
 ;;;; multiple values
 
 ;;; This is almost identical to IR2-CONVERT-LET. Since LTN annotates
-;;; the lvarinuation for the correct number of values (with the lvar
-;;; user responsible for defaulting), we can just pick them up from
-;;; the lvar.
+;;; the lvar for the correct number of values (with the lvar user
+;;; responsible for defaulting), we can just pick them up from the
+;;; lvar.
 (defun ir2-convert-mv-bind (node block)
   (declare (type mv-combination node) (type ir2-block block))
   (let* ((lvar (first (basic-combination-args node)))
 ;;; Reset the stack pointer to the start of the specified
 ;;; unknown-values lvar (discarding it and all values globs on top of
 ;;; it.)
-(defoptimizer (%pop-values ir2-convert) ((lvar) node block)
-  (let ((2lvar (lvar-info (lvar-value lvar))))
-    (aver (eq (ir2-lvar-kind 2lvar) :unknown))
-    (vop reset-stack-pointer node block
-        (first (ir2-lvar-locs 2lvar)))))
+(defoptimizer (%pop-values ir2-convert) ((%lvar) node block)
+  (let* ((lvar (lvar-value %lvar))
+         (2lvar (lvar-info lvar)))
+    (cond ((eq (ir2-lvar-kind 2lvar) :unknown)
+           (vop reset-stack-pointer node block
+                (first (ir2-lvar-locs 2lvar))))
+          ((lvar-dynamic-extent lvar)
+           #!+stack-grows-downward-not-upward
+           (vop reset-stack-pointer node block
+                (ir2-lvar-stack-pointer 2lvar))
+           #!-stack-grows-downward-not-upward
+           (vop %%pop-dx node block
+                (first (ir2-lvar-locs 2lvar))))
+          (t (bug "Trying to pop a not stack-allocated LVAR ~S."
+                  lvar)))))
+
+(defoptimizer (%nip-values ir2-convert) ((last-nipped last-preserved
+                                                     &rest moved)
+                                         node block)
+  (let* ( ;; pointer immediately after the nipped block
+         (after (lvar-value last-nipped))
+         (2after (lvar-info after))
+         ;; pointer to the first nipped word
+         (first (lvar-value last-preserved))
+         (2first (lvar-info first))
+
+         (moved-tns (loop for lvar-ref in moved
+                          for lvar = (lvar-value lvar-ref)
+                          for 2lvar = (lvar-info lvar)
+                                        ;when 2lvar
+                          collect (first (ir2-lvar-locs 2lvar)))))
+    (aver (or (eq (ir2-lvar-kind 2after) :unknown)
+              (lvar-dynamic-extent after)))
+    (aver (eq (ir2-lvar-kind 2first) :unknown))
+    (when *check-consistency*
+      ;; we cannot move stack-allocated DX objects
+      (dolist (moved-lvar moved)
+        (aver (eq (ir2-lvar-kind (lvar-info (lvar-value moved-lvar)))
+                  :unknown))))
+    (flet ((nip-aligned (nipped)
+             (vop* %%nip-values node block
+                   (nipped
+                    (first (ir2-lvar-locs 2first))
+                    (reference-tn-list moved-tns nil))
+                   ((reference-tn-list moved-tns t))))
+           #!-stack-grows-downward-not-upward
+           (nip-unaligned (nipped)
+             (vop* %%nip-dx node block
+                   (nipped
+                    (first (ir2-lvar-locs 2first))
+                    (reference-tn-list moved-tns nil))
+                   ((reference-tn-list moved-tns t)))))
+      (cond ((eq (ir2-lvar-kind 2after) :unknown)
+             (nip-aligned (first (ir2-lvar-locs 2after))))
+            ((lvar-dynamic-extent after)
+             #!+stack-grows-downward-not-upward
+             (nip-aligned (ir2-lvar-stack-pointer 2after))
+             #!-stack-grows-downward-not-upward
+             (nip-unaligned (ir2-lvar-stack-pointer 2after)))
+            (t
+             (bug "Trying to nip a not stack-allocated LVAR ~S." after))))))
 
 ;;; Deliver the values TNs to LVAR using MOVE-LVAR-RESULT.
 (defoptimizer (values ir2-convert) ((&rest values) node block)
    start next result
    (with-unique-names (bind unbind)
      (once-only ((n-save-bs '(%primitive current-binding-pointer)))
-                `(unwind-protect
-                      (progn
-                        (labels ((,unbind (vars)
-                                   (declare (optimize (speed 2) (debug 0)))
-                                   (dolist (var vars)
-                                     (%primitive bind nil var)
-                                     (makunbound var)))
-                                 (,bind (vars vals)
-                                   (declare (optimize (speed 2) (debug 0)))
-                                   (cond ((null vars))
-                                         ((null vals) (,unbind vars))
-                                         (t (%primitive bind
-                                                       (car vals)
-                                                       (car vars))
-                                            (,bind (cdr vars) (cdr vals))))))
-                          (,bind ,vars ,vals))
-                        nil
-                        ,@body)
-                   (%primitive unbind-to-here ,n-save-bs))))))
+       `(unwind-protect
+             (progn
+               (labels ((,unbind (vars)
+                          (declare (optimize (speed 2) (debug 0)))
+                          (dolist (var vars)
+                            (%primitive bind nil var)
+                            (makunbound var)))
+                        (,bind (vars vals)
+                          (declare (optimize (speed 2) (debug 0)))
+                          (cond ((null vars))
+                                ((null vals) (,unbind vars))
+                                (t (%primitive bind
+                                               (car vals)
+                                               (car vars))
+                                   (,bind (cdr vars) (cdr vals))))))
+                 (,bind ,vars ,vals))
+               nil
+               ,@body)
+          (%primitive unbind-to-here ,n-save-bs))))))
 \f
 ;;;; non-local exit
 
 ;;; IR2 converted.
 (defun ir2-convert-exit (node block)
   (declare (type exit node) (type ir2-block block))
-  (let ((loc (find-in-physenv (find-nlx-info node)
+  (let ((loc (find-in-physenv (exit-nlx-info node)
                              (node-physenv node)))
        (temp (make-stack-pointer-tn))
        (value (exit-value node)))
 ;;; Scan each of ENTRY's exits, setting up the exit for each lexical exit.
 (defun ir2-convert-entry (node block)
   (declare (type entry node) (type ir2-block block))
-  (dolist (exit (entry-exits node))
-    (let ((info (find-nlx-info exit)))
-      (when (and info
-                (member (cleanup-kind (nlx-info-cleanup info))
-                        '(:block :tagbody)))
-       (emit-nlx-start node block info nil))))
+  (let ((nlxes '()))
+    (dolist (exit (entry-exits node))
+      (let ((info (exit-nlx-info exit)))
+        (when (and info
+                   (not (memq info nlxes))
+                   (member (cleanup-kind (nlx-info-cleanup info))
+                           '(:block :tagbody)))
+          (push info nlxes)
+          (emit-nlx-start node block info nil)))))
   (values))
 
 ;;; Set up the unwind block for these guys.
 ;;; pointer alone, since the thrown values are still out there.
 (defoptimizer (%nlx-entry ir2-convert) ((info-lvar) node block)
   (let* ((info (lvar-value info-lvar))
-        (lvar (nlx-info-lvar info))
+        (lvar (node-lvar node))
         (2info (nlx-info-info info))
         (top-loc (ir2-nlx-info-save-sp 2info))
         (start-loc (make-nlx-entry-arg-start-location))
                       (res (lvar-result-tns
                             lvar
                             (list (primitive-type (specifier-type 'list))))))
+                  #!+stack-grows-downward-not-upward
+                  (when (and lvar (lvar-dynamic-extent lvar))
+                    (vop current-stack-pointer node block
+                         (ir2-lvar-stack-pointer (lvar-info lvar))))
                  (vop* ,name node block (refs) ((first res) nil)
                        (length args))
                  (move-lvar-result node block res lvar)))))
   (def list)
   (def list*))
+
 \f
 ;;; Convert the code in a component into VOPs.
 (defun ir2-convert (component)
                (ir2-convert-ref node 2block)))))
        (combination
         (let ((kind (basic-combination-kind node)))
-          (case kind
+          (ecase kind
             (:local
              (ir2-convert-local-call node 2block))
             (:full
              (ir2-convert-full-call node 2block))
-            (t
-             (let ((fun (fun-info-ir2-convert kind)))
+            (:known
+             (let* ((info (basic-combination-fun-info node))
+                    (fun (fun-info-ir2-convert info)))
                (cond (fun
                       (funcall fun node 2block))
                      ((eq (basic-combination-info node) :full)