1.0.44.18: physenvanal: When checking closure-DXness, handle XEPs reasonably.
[sbcl.git] / src / compiler / physenvanal.lisp
1 ;;;; This file implements the environment analysis phase for the
2 ;;;; compiler. This phase annotates IR1 with a hierarchy environment
3 ;;;; structures, determining the physical environment that each LAMBDA
4 ;;;; allocates its variables and finding what values are closed over
5 ;;;; by each physical environment.
6
7 ;;;; This software is part of the SBCL system. See the README file for
8 ;;;; more information.
9 ;;;;
10 ;;;; This software is derived from the CMU CL system, which was
11 ;;;; written at Carnegie Mellon University and released into the
12 ;;;; public domain. The software is in the public domain and is
13 ;;;; provided with absolutely no warranty. See the COPYING and CREDITS
14 ;;;; files for more information.
15
16 (in-package "SB!C")
17
18 ;;; Do environment analysis on the code in COMPONENT. This involves
19 ;;; various things:
20 ;;;  1. Make a PHYSENV structure for each non-LET LAMBDA, assigning
21 ;;;     the LAMBDA-PHYSENV for all LAMBDAs.
22 ;;;  2. Find all values that need to be closed over by each
23 ;;;     physical environment.
24 ;;;  3. Scan the blocks in the component closing over non-local-exit
25 ;;;     continuations.
26 ;;;  4. Delete all non-top-level functions with no references. This
27 ;;;     should only get functions with non-NULL kinds, since normal
28 ;;;     functions are deleted when their references go to zero.
29 (defun physenv-analyze (component)
30   (declare (type component component))
31   (aver (every (lambda (x)
32                  (eq (functional-kind x) :deleted))
33                (component-new-functionals component)))
34   (setf (component-new-functionals component) ())
35   (dolist (clambda (component-lambdas component))
36     (reinit-lambda-physenv clambda))
37   (mapc #'add-lambda-vars-and-let-vars-to-closures
38         (component-lambdas component))
39
40   (find-non-local-exits component)
41   (recheck-dynamic-extent-lvars component)
42   (find-cleanup-points component)
43   (tail-annotate component)
44   (analyze-indirect-lambda-vars component)
45
46   (dolist (fun (component-lambdas component))
47     (when (null (leaf-refs fun))
48       (let ((kind (functional-kind fun)))
49         (unless (or (eq kind :toplevel)
50                     (functional-has-external-references-p fun))
51           (aver (member kind '(:optional :cleanup :escape)))
52           (setf (functional-kind fun) nil)
53           (delete-functional fun)))))
54
55   (setf (component-nlx-info-generated-p component) t)
56   (values))
57
58 ;;; This is to be called on a COMPONENT with top level LAMBDAs before
59 ;;; the compilation of the associated non-top-level code to detect
60 ;;; closed over top level variables. We just do COMPUTE-CLOSURE on all
61 ;;; the lambdas. This will pre-allocate environments for all the
62 ;;; functions with closed-over top level variables. The post-pass will
63 ;;; use the existing structure, rather than allocating a new one. We
64 ;;; return true if we discover any possible closure vars.
65 (defun pre-physenv-analyze-toplevel (component)
66   (declare (type component component))
67   (let ((found-it nil))
68     (dolist (lambda (component-lambdas component))
69       (when (add-lambda-vars-and-let-vars-to-closures lambda)
70         (setq found-it t)))
71     found-it))
72
73 ;;; If CLAMBDA has a PHYSENV, return it, otherwise assign an empty one
74 ;;; and return that.
75 (defun get-lambda-physenv (clambda)
76   (declare (type clambda clambda))
77   (let ((homefun (lambda-home clambda)))
78     (or (lambda-physenv homefun)
79         (let ((res (make-physenv :lambda homefun)))
80           (setf (lambda-physenv homefun) res)
81           ;; All the LETLAMBDAs belong to HOMEFUN, and share the same
82           ;; PHYSENV. Thus, (1) since HOMEFUN's PHYSENV was NIL,
83           ;; theirs should be NIL too, and (2) since we're modifying
84           ;; HOMEFUN's PHYSENV, we should modify theirs, too.
85           (dolist (letlambda (lambda-lets homefun))
86             (aver (eql (lambda-home letlambda) homefun))
87             (aver (null (lambda-physenv letlambda)))
88             (setf (lambda-physenv letlambda) res))
89           res))))
90
91 ;;; If FUN has no physical environment, assign one, otherwise clean up
92 ;;; the old physical environment and the INDIRECT flag on LAMBDA-VARs.
93 ;;; This is necessary because pre-analysis is done before
94 ;;; optimization.
95 (defun reinit-lambda-physenv (fun)
96   (let ((old (lambda-physenv (lambda-home fun))))
97     (cond (old
98            (setf (physenv-closure old) nil)
99            (flet ((clear (fun)
100                     (dolist (var (lambda-vars fun))
101                       (setf (lambda-var-indirect var) nil))))
102              (clear fun)
103              (map nil #'clear (lambda-lets fun))))
104           (t
105            (get-lambda-physenv fun))))
106   (values))
107
108 ;;; Get NODE's environment, assigning one if necessary.
109 (defun get-node-physenv (node)
110   (declare (type node node))
111   (get-lambda-physenv (node-home-lambda node)))
112
113 ;;; private guts of ADD-LAMBDA-VARS-AND-LET-VARS-TO-CLOSURES
114 ;;;
115 ;;; This is the old CMU CL COMPUTE-CLOSURE, which only works on
116 ;;; LAMBDA-VARS directly, not on the LAMBDA-VARS of LAMBDA-LETS. It
117 ;;; seems never to be valid to use this operation alone, so in SBCL,
118 ;;; it's private, and the public interface,
119 ;;; ADD-LAMBDA-VARS-AND-LET-VARS-TO-CLOSURES, always runs over all the
120 ;;; variables, not only the LAMBDA-VARS of CLAMBDA itself but also
121 ;;; the LAMBDA-VARS of CLAMBDA's LAMBDA-LETS.
122 (defun %add-lambda-vars-to-closures (clambda)
123   (let ((physenv (get-lambda-physenv clambda))
124         (did-something nil))
125     (note-unreferenced-vars clambda)
126     (dolist (var (lambda-vars clambda))
127       (dolist (ref (leaf-refs var))
128         (let ((ref-physenv (get-node-physenv ref)))
129           (unless (eq ref-physenv physenv)
130             (when (lambda-var-sets var)
131               (setf (lambda-var-indirect var) t))
132             (setq did-something t)
133             (close-over var ref-physenv physenv))))
134       (dolist (set (basic-var-sets var))
135
136         ;; Variables which are set but never referenced can be
137         ;; optimized away, and closing over them here would just
138         ;; interfere with that. (In bug 147, it *did* interfere with
139         ;; that, causing confusion later. This UNLESS solves that
140         ;; problem, but I (WHN) am not 100% sure it's best to solve
141         ;; the problem this way instead of somehow solving it
142         ;; somewhere upstream and just doing (AVER (LEAF-REFS VAR))
143         ;; here.)
144         (unless (null (leaf-refs var))
145
146           (let ((set-physenv (get-node-physenv set)))
147             (unless (eq set-physenv physenv)
148               (setf did-something t
149                     (lambda-var-indirect var) t)
150               (close-over var set-physenv physenv))))))
151     did-something))
152
153 ;;; Find any variables in CLAMBDA -- either directly in LAMBDA-VARS or
154 ;;; in the LAMBDA-VARS of elements of LAMBDA-LETS -- with references
155 ;;; outside of the home environment and close over them. If a
156 ;;; closed-over variable is set, then we set the INDIRECT flag so that
157 ;;; we will know the closed over value is really a pointer to the
158 ;;; value cell. We also warn about unreferenced variables here, just
159 ;;; because it's a convenient place to do it. We return true if we
160 ;;; close over anything.
161 (defun add-lambda-vars-and-let-vars-to-closures (clambda)
162   (declare (type clambda clambda))
163   (let ((did-something nil))
164     (when (%add-lambda-vars-to-closures clambda)
165       (setf did-something t))
166     (dolist (lambda-let (lambda-lets clambda))
167       ;; There's no need to recurse through full COMPUTE-CLOSURE
168       ;; here, since LETS only go one layer deep.
169       (aver (null (lambda-lets lambda-let)))
170       (when (%add-lambda-vars-to-closures lambda-let)
171         (setf did-something t)))
172     did-something))
173
174 (defun xep-allocator (xep)
175   (let ((entry (functional-entry-fun xep)))
176     (functional-allocator entry)))
177
178 ;;; Make sure that THING is closed over in REF-PHYSENV and in all
179 ;;; PHYSENVs for the functions that reference REF-PHYSENV's function
180 ;;; (not just calls). HOME-PHYSENV is THING's home environment. When we
181 ;;; reach the home environment, we stop propagating the closure.
182 (defun close-over (thing ref-physenv home-physenv)
183   (declare (type physenv ref-physenv home-physenv))
184   (let ((flooded-physenvs nil))
185     (labels ((flood (flooded-physenv)
186                (unless (or (eql flooded-physenv home-physenv)
187                            (member flooded-physenv flooded-physenvs))
188                  (push flooded-physenv flooded-physenvs)
189                  (unless (memq thing (physenv-closure flooded-physenv))
190                    (push thing (physenv-closure flooded-physenv))
191                    (let ((lambda (physenv-lambda flooded-physenv)))
192                      (cond ((eq (functional-kind lambda) :external)
193                             (let* ((alloc-node (xep-allocator lambda))
194                                    (alloc-lambda (node-home-lambda alloc-node))
195                                    (alloc-physenv (get-lambda-physenv alloc-lambda)))
196                               (flood alloc-physenv)
197                               (dolist (ref (leaf-refs lambda))
198                                 (close-over lambda
199                                             (get-node-physenv ref) alloc-physenv))))
200                            (t (dolist (ref (leaf-refs lambda))
201                                 ;; FIXME: This assertion looks
202                                 ;; reasonable, but does not work for
203                                 ;; :CLEANUPs.
204                                 #+nil
205                                 (let ((dest (node-dest ref)))
206                                   (aver (basic-combination-p dest))
207                                   (aver (eq (basic-combination-kind dest) :local)))
208                                 (flood (get-node-physenv ref))))))))))
209       (flood ref-physenv)))
210   (values))
211
212 ;;; Find LAMBDA-VARs that are marked as needing to support indirect
213 ;;; access (SET at some point after initial creation) that are present
214 ;;; in CLAMBDAs not marked as being DYNAMIC-EXTENT (meaning that the
215 ;;; value-cell involved must be able to survive past the extent of the
216 ;;; allocating frame), and mark them (the LAMBDA-VARs) as needing
217 ;;; explicit value-cells.  Because they are already closed-over, the
218 ;;; LAMBDA-VARs already appear in the closures of all of the CLAMBDAs
219 ;;; that need checking.
220 (defun analyze-indirect-lambda-vars (component)
221   (dolist (fun (component-lambdas component))
222     (let ((entry-fun (functional-entry-fun fun)))
223       ;; We also check the ENTRY-FUN, as XEPs for LABELS or FLET
224       ;; functions aren't set to be DX even if their underlying
225       ;; CLAMBDAs are, and if we ever get LET-bound anonymous function
226       ;; DX working, it would mark the XEP as being DX but not the
227       ;; "real" CLAMBDA.  This works because a FUNCTIONAL-ENTRY-FUN is
228       ;; either NULL, a self-pointer (for :TOPLEVEL functions), a
229       ;; pointer from an XEP to its underlying function (for :EXTERNAL
230       ;; functions), or a pointer from an underlying function to its
231       ;; XEP (for non-:TOPLEVEL functions with XEPs).
232       (unless (or (leaf-dynamic-extent fun)
233                   (and entry-fun
234                        (leaf-dynamic-extent entry-fun)))
235         (let ((closure (physenv-closure (lambda-physenv fun))))
236           (dolist (var closure)
237             (when (and (lambda-var-p var)
238                        (lambda-var-indirect var))
239               (setf (lambda-var-explicit-value-cell var) t))))))))
240 \f
241 ;;;; non-local exit
242
243 #!-sb-fluid (declaim (inline should-exit-check-tag-p))
244 (defun exit-should-check-tag-p (exit)
245   (declare (type exit exit))
246   (not (zerop (policy exit check-tag-existence))))
247
248 ;;; Insert the entry stub before the original exit target, and add a
249 ;;; new entry to the PHYSENV-NLX-INFO. The %NLX-ENTRY call in the
250 ;;; stub is passed the NLX-INFO as an argument so that the back end
251 ;;; knows what entry is being done.
252 ;;;
253 ;;; The link from the EXIT block to the entry stub is changed to be a
254 ;;; link from the component head. Similarly, the EXIT block is linked
255 ;;; to the component tail. This leaves the entry stub reachable, but
256 ;;; makes the flow graph less confusing to flow analysis.
257 ;;;
258 ;;; If a CATCH or an UNWIND-protect, then we set the LEXENV for the
259 ;;; last node in the cleanup code to be the enclosing environment, to
260 ;;; represent the fact that the binding was undone as a side effect of
261 ;;; the exit. This will cause a lexical exit to be broken up if we are
262 ;;; actually exiting the scope (i.e. a BLOCK), and will also do any
263 ;;; other cleanups that may have to be done on the way.
264 (defun insert-nlx-entry-stub (exit env)
265   (declare (type physenv env) (type exit exit))
266   (let* ((exit-block (node-block exit))
267          (next-block (first (block-succ exit-block)))
268          (entry (exit-entry exit))
269          (cleanup (entry-cleanup entry))
270          (info (make-nlx-info cleanup exit))
271          (new-block (insert-cleanup-code exit-block next-block
272                                          entry
273                                          `(%nlx-entry ',info)
274                                          cleanup))
275          (component (block-component new-block)))
276     (unlink-blocks exit-block new-block)
277     (link-blocks exit-block (component-tail component))
278     (link-blocks (component-head component) new-block)
279
280     (setf (exit-nlx-info exit) info)
281     (setf (nlx-info-target info) new-block)
282     (setf (nlx-info-safe-p info) (exit-should-check-tag-p exit))
283     (push info (physenv-nlx-info env))
284     (push info (cleanup-info cleanup))
285     (when (member (cleanup-kind cleanup) '(:catch :unwind-protect))
286       (setf (node-lexenv (block-last new-block))
287             (node-lexenv entry))))
288
289   (values))
290
291 ;;; Do stuff necessary to represent a non-local exit from the node
292 ;;; EXIT into ENV. This is called for each non-local exit node, of
293 ;;; which there may be several per exit continuation. This is what we
294 ;;; do:
295 ;;; -- If there isn't any NLX-INFO entry in the environment, make
296 ;;;    an entry stub, otherwise just move the exit block link to
297 ;;;    the component tail.
298 ;;; -- Close over the NLX-INFO in the exit environment.
299 ;;; -- If the exit is from an :ESCAPE function, then substitute a
300 ;;;    constant reference to NLX-INFO structure for the escape
301 ;;;    function reference. This will cause the escape function to
302 ;;;    be deleted (although not removed from the DFO.)  The escape
303 ;;;    function is no longer needed, and we don't want to emit code
304 ;;;    for it.
305 ;;; -- Change the %NLX-ENTRY call to use the NLX lvar so that 1) there
306 ;;;    will be a use to represent the NLX use; 2) make life easier for
307 ;;;    the stack analysis.
308 (defun note-non-local-exit (env exit)
309   (declare (type physenv env) (type exit exit))
310   (let ((lvar (node-lvar exit))
311         (exit-fun (node-home-lambda exit))
312         (info (find-nlx-info exit)))
313     (cond (info
314            (let ((block (node-block exit)))
315              (aver (= (length (block-succ block)) 1))
316              (unlink-blocks block (first (block-succ block)))
317              (link-blocks block (component-tail (block-component block)))
318              (setf (exit-nlx-info exit) info)
319              (unless (nlx-info-safe-p info)
320                (setf (nlx-info-safe-p info)
321                      (exit-should-check-tag-p exit)))))
322           (t
323            (insert-nlx-entry-stub exit env)
324            (setq info (exit-nlx-info exit))
325            (aver info)))
326     (close-over info (node-physenv exit) env)
327     (when (eq (functional-kind exit-fun) :escape)
328       (mapc (lambda (x)
329               (setf (node-derived-type x) *wild-type*))
330             (leaf-refs exit-fun))
331       (substitute-leaf (find-constant info) exit-fun))
332     (when lvar
333       (let ((node (block-last (nlx-info-target info))))
334         (unless (node-lvar node)
335           (aver (eq lvar (node-lvar exit)))
336           (setf (node-derived-type node) (lvar-derived-type lvar))
337           (add-lvar-use node lvar)))))
338   (values))
339
340 ;;; Iterate over the EXITs in COMPONENT, calling NOTE-NON-LOCAL-EXIT
341 ;;; when we find a block that ends in a non-local EXIT node. We also
342 ;;; ensure that all EXIT nodes are either non-local or degenerate by
343 ;;; calling IR1-OPTIMIZE-EXIT on local exits. This makes life simpler
344 ;;; for later phases.
345 (defun find-non-local-exits (component)
346   (declare (type component component))
347   (dolist (lambda (component-lambdas component))
348     (dolist (entry (lambda-entries lambda))
349       (dolist (exit (entry-exits entry))
350         (let ((target-physenv (node-physenv entry)))
351           (if (eq (node-physenv exit) target-physenv)
352               (maybe-delete-exit exit)
353               (note-non-local-exit target-physenv exit))))))
354   (values))
355 \f
356 ;;;; final decision on stack allocation of dynamic-extent structures
357 (defun recheck-dynamic-extent-lvars (component)
358   (declare (type component component))
359   (dolist (lambda (component-lambdas component))
360     (loop for entry in (lambda-entries lambda)
361           for cleanup = (entry-cleanup entry)
362           do (when (eq (cleanup-kind cleanup) :dynamic-extent)
363                (collect ((real-dx-lvars))
364                  (loop for what in (cleanup-info cleanup)
365                        do (etypecase what
366                             (cons
367                              (let ((dx (car what))
368                                    (lvar (cdr what)))
369                                (cond ((lvar-good-for-dx-p lvar dx component)
370                                       ;; Since the above check does deep
371                                       ;; checks. we need to deal with the deep
372                                       ;; results in here as well.
373                                       (dolist (cell (handle-nested-dynamic-extent-lvars
374                                                      dx lvar component))
375                                         (let ((real (principal-lvar (cdr cell))))
376                                           (setf (lvar-dynamic-extent real) cleanup)
377                                           (real-dx-lvars real))))
378                                      (t
379                                       (note-no-stack-allocation lvar)
380                                       (setf (lvar-dynamic-extent lvar) nil)))))
381                             (node       ; DX closure
382                              (let* ((call what)
383                                     (arg (first (basic-combination-args call)))
384                                     (funs (lvar-value arg))
385                                     (dx nil))
386                                (dolist (fun funs)
387                                  (binding* ((() (leaf-dynamic-extent fun)
388                                              :exit-if-null)
389                                             (xep (functional-entry-fun fun)
390                                                  :exit-if-null)
391                                             (closure (physenv-closure
392                                                       (get-lambda-physenv xep))))
393                                    (cond (closure
394                                           (setq dx t))
395                                          (t
396                                           (setf (leaf-dynamic-extent fun) nil)))))
397                                (when dx
398                                  (setf (lvar-dynamic-extent arg) cleanup)
399                                  (real-dx-lvars arg))))))
400                  (let ((real-dx-lvars (delete-duplicates (real-dx-lvars))))
401                    (setf (cleanup-info cleanup) real-dx-lvars)
402                    (setf (component-dx-lvars component)
403                          (append real-dx-lvars (component-dx-lvars component))))))))
404   (values))
405 \f
406 ;;;; cleanup emission
407
408 ;;; Zoom up the cleanup nesting until we hit CLEANUP1, accumulating
409 ;;; cleanup code as we go. When we are done, convert the cleanup code
410 ;;; in an implicit MV-PROG1. We have to force local call analysis of
411 ;;; new references to UNWIND-PROTECT cleanup functions. If we don't
412 ;;; actually have to do anything, then we don't insert any cleanup
413 ;;; code. (FIXME: There's some confusion here, left over from CMU CL
414 ;;; comments. CLEANUP1 isn't mentioned in the code of this function.
415 ;;; It is in code elsewhere, but if the comments for this function
416 ;;; mention it they should explain the relationship to the other code.)
417 ;;;
418 ;;; If we do insert cleanup code, we check that BLOCK1 doesn't end in
419 ;;; a "tail" local call.
420 ;;;
421 ;;; We don't need to adjust the ending cleanup of the cleanup block,
422 ;;; since the cleanup blocks are inserted at the start of the DFO, and
423 ;;; are thus never scanned.
424 (defun emit-cleanups (block1 block2)
425   (declare (type cblock block1 block2))
426   (collect ((code)
427             (reanalyze-funs))
428     (let ((cleanup2 (block-start-cleanup block2)))
429       (do ((cleanup (block-end-cleanup block1)
430                     (node-enclosing-cleanup (cleanup-mess-up cleanup))))
431           ((eq cleanup cleanup2))
432         (let* ((node (cleanup-mess-up cleanup))
433                (args (when (basic-combination-p node)
434                        (basic-combination-args node))))
435           (ecase (cleanup-kind cleanup)
436             (:special-bind
437              (code `(%special-unbind ',(lvar-value (first args)))))
438             (:catch
439              (code `(%catch-breakup)))
440             (:unwind-protect
441              (code `(%unwind-protect-breakup))
442              (let ((fun (ref-leaf (lvar-uses (second args)))))
443                (reanalyze-funs fun)
444                (code `(%funcall ,fun))))
445             ((:block :tagbody)
446              (dolist (nlx (cleanup-info cleanup))
447                (code `(%lexical-exit-breakup ',nlx))))
448             (:dynamic-extent
449              (when (not (null (cleanup-info cleanup)))
450                (code `(%cleanup-point)))))))
451
452       (when (code)
453         (aver (not (node-tail-p (block-last block1))))
454         (insert-cleanup-code block1 block2
455                              (block-last block1)
456                              `(progn ,@(code)))
457         (dolist (fun (reanalyze-funs))
458           (locall-analyze-fun-1 fun)))))
459
460   (values))
461
462 ;;; Loop over the blocks in COMPONENT, calling EMIT-CLEANUPS when we
463 ;;; see a successor in the same environment with a different cleanup.
464 ;;; We ignore the cleanup transition if it is to a cleanup enclosed by
465 ;;; the current cleanup, since in that case we are just messing up the
466 ;;; environment, hence this is not the place to clean it.
467 (defun find-cleanup-points (component)
468   (declare (type component component))
469   (do-blocks (block1 component)
470     (let ((env1 (block-physenv block1))
471           (cleanup1 (block-end-cleanup block1)))
472       (dolist (block2 (block-succ block1))
473         (when (block-start block2)
474           (let ((env2 (block-physenv block2))
475                 (cleanup2 (block-start-cleanup block2)))
476             (unless (or (not (eq env2 env1))
477                         (eq cleanup1 cleanup2)
478                         (and cleanup2
479                              (eq (node-enclosing-cleanup
480                                   (cleanup-mess-up cleanup2))
481                                  cleanup1)))
482               (emit-cleanups block1 block2)))))))
483   (values))
484
485 ;;; Mark optimizable tail-recursive uses of function result
486 ;;; continuations with the corresponding TAIL-SET.
487 (defun tail-annotate (component)
488   (declare (type component component))
489   (dolist (fun (component-lambdas component))
490     (let ((ret (lambda-return fun)))
491       ;; Nodes whose type is NIL (i.e. don't return) such as calls to
492       ;; ERROR are never annotated as TAIL-P, in order to preserve
493       ;; debugging information.
494       ;;
495       ;; FIXME: It might be better to add another DEFKNOWN property
496       ;; (e.g. NO-TAIL-RECURSION) and use it for error-handling
497       ;; functions like ERROR, instead of spreading this special case
498       ;; net so widely. --WHN?
499       ;;
500       ;; Why is that bad? Because this non-elimination of
501       ;; non-returning tail calls causes the XEP for FOO appear in
502       ;; backtrace for (defun foo (x) (error "foo ~S" x)) wich seems
503       ;; less then optimal. --NS 2005-02-28
504       (when ret
505         (let ((result (return-result ret)))
506           (do-uses (use result)
507             (when (and (policy use merge-tail-calls)
508                        (basic-combination-p use)
509                        (immediately-used-p result use)
510                        (or (not (eq (node-derived-type use) *empty-type*))
511                            (eq (basic-combination-kind use) :local)))
512               (setf (node-tail-p use) t)))))))
513   (values))