0.8.18.20:
[sbcl.git] / src / compiler / ltn.lisp
1 ;;;; This file contains the LTN pass in the compiler. LTN allocates
2 ;;;; expression evaluation TNs, makes nearly all the implementation
3 ;;;; policy decisions, and also does a few other miscellaneous things.
4
5 ;;;; This software is part of the SBCL system. See the README file for
6 ;;;; more information.
7 ;;;;
8 ;;;; This software is derived from the CMU CL system, which was
9 ;;;; written at Carnegie Mellon University and released into the
10 ;;;; public domain. The software is in the public domain and is
11 ;;;; provided with absolutely no warranty. See the COPYING and CREDITS
12 ;;;; files for more information.
13
14 (in-package "SB!C")
15 \f
16 ;;;; utilities
17
18 ;;; Return the LTN-POLICY indicated by the node policy.
19 ;;;
20 ;;; FIXME: It would be tidier to use an LTN-POLICY object (an instance
21 ;;; of DEFSTRUCT LTN-POLICY) instead of a keyword, and have queries
22 ;;; like LTN-POLICY-SAFE-P become slot accessors. If we do this,
23 ;;; grep for and carefully review use of literal keywords, so that
24 ;;; things like
25 ;;;   (EQ (TEMPLATE-LTN-POLICY TEMPLATE) :SAFE)
26 ;;; don't get overlooked.
27 ;;;
28 ;;; FIXME: Classic CMU CL went to some trouble to cache LTN-POLICY
29 ;;; values in LTN-ANALYZE so that they didn't have to be recomputed on
30 ;;; every block. I stripped that out (the whole DEFMACRO FROB thing)
31 ;;; because I found it too confusing. Thus, it might be that the 
32 ;;; new uncached code spends an unreasonable amount of time in
33 ;;; this lookup function. This function should be profiled, and if
34 ;;; it's a significant contributor to runtime, we can cache it in
35 ;;; some more local way, e.g. by adding a CACHED-LTN-POLICY slot to
36 ;;; the NODE structure, and doing something like
37 ;;;   (DEFUN NODE-LTN-POLICY (NODE)
38 ;;;     (OR (NODE-CACHED-LTN-POLICY NODE)
39 ;;;         (SETF (NODE-CACHED-LTN-POLICY NODE)
40 ;;;               (NODE-UNCACHED-LTN-POLICY NODE)))
41 (defun node-ltn-policy (node)
42   (declare (type node node))
43   (policy node
44           (let ((eff-space (max space
45                                 ;; on the theory that if the code is
46                                 ;; smaller, it will take less time to
47                                 ;; compile (could lose if the smallest
48                                 ;; case is out of line, and must
49                                 ;; allocate many linkage registers):
50                                 compilation-speed)))
51             (if (zerop safety)
52                 (if (>= speed eff-space) :fast :small)
53                 (if (>= speed eff-space) :fast-safe :safe)))))
54
55 ;;; Return true if LTN-POLICY is a safe policy.
56 (defun ltn-policy-safe-p (ltn-policy)
57   (ecase ltn-policy
58     ((:safe :fast-safe) t)
59     ((:small :fast) nil)))
60
61 ;;; an annotated lvar's primitive-type
62 #!-sb-fluid (declaim (inline lvar-ptype))
63 (defun lvar-ptype (lvar)
64   (declare (type lvar lvar))
65   (ir2-lvar-primitive-type (lvar-info lvar)))
66
67 ;;; Return true if a constant LEAF is of a type which we can legally
68 ;;; directly reference in code. Named constants with arbitrary pointer
69 ;;; values cannot, since we must preserve EQLness.
70 (defun legal-immediate-constant-p (leaf)
71   (declare (type constant leaf))
72   (or (not (leaf-has-source-name-p leaf))
73       (typecase (constant-value leaf)
74         ((or number character) t)
75         (symbol (symbol-package (constant-value leaf)))
76         (t nil))))
77
78 ;;; If LVAR is used only by a REF to a leaf that can be delayed, then
79 ;;; return the leaf, otherwise return NIL.
80 (defun lvar-delayed-leaf (lvar)
81   (declare (type lvar lvar))
82   (let ((use (lvar-uses lvar)))
83     (and (ref-p use)
84          (let ((leaf (ref-leaf use)))
85            (etypecase leaf
86              (lambda-var (if (null (lambda-var-sets leaf)) leaf nil))
87              (constant (if (legal-immediate-constant-p leaf) leaf nil))
88              ((or functional global-var) nil))))))
89
90 ;;; Annotate a normal single-value lvar. If its only use is a ref that
91 ;;; we are allowed to delay the evaluation of, then we mark the lvar
92 ;;; for delayed evaluation, otherwise we assign a TN to hold the
93 ;;; lvar's value.
94 (defun annotate-1-value-lvar (lvar)
95   (declare (type lvar lvar))
96   (let ((info (lvar-info lvar)))
97     (aver (eq (ir2-lvar-kind info) :fixed))
98     (cond
99      ((lvar-delayed-leaf lvar)
100       (setf (ir2-lvar-kind info) :delayed))
101      (t (let ((tn (make-normal-tn (ir2-lvar-primitive-type info))))
102           (setf (ir2-lvar-locs info) (list tn))
103           #!+stack-grows-downward-not-upward
104           (when (lvar-dynamic-extent lvar)
105             (setf (ir2-lvar-stack-pointer info)
106                   (make-stack-pointer-tn)))))))
107   (ltn-annotate-casts lvar)
108   (values))
109
110 ;;; Make an IR2-LVAR corresponding to the lvar type and then do
111 ;;; ANNOTATE-1-VALUE-LVAR.
112 (defun annotate-ordinary-lvar (lvar)
113   (declare (type lvar lvar))
114   (let ((info (make-ir2-lvar
115                (primitive-type (lvar-type lvar)))))
116     (setf (lvar-info lvar) info)
117     (annotate-1-value-lvar lvar))
118   (values))
119
120 ;;; Annotate the function lvar for a full call. If the only reference
121 ;;; is to a global function and DELAY is true, then we delay the
122 ;;; reference, otherwise we annotate for a single value.
123 (defun annotate-fun-lvar (lvar &optional (delay t))
124   (declare (type lvar lvar))
125   (aver (not (lvar-dynamic-extent lvar)))
126   (let* ((tn-ptype (primitive-type (lvar-type lvar)))
127          (info (make-ir2-lvar tn-ptype)))
128     (setf (lvar-info lvar) info)
129     (let ((name (lvar-fun-name lvar t)))
130       (if (and delay name)
131           (setf (ir2-lvar-kind info) :delayed)
132           (setf (ir2-lvar-locs info)
133                 (list (make-normal-tn tn-ptype))))))
134   (ltn-annotate-casts lvar)
135   (values))
136
137 ;;; If TAIL-P is true, then we check to see whether the call can
138 ;;; really be a tail call by seeing if this function's return
139 ;;; convention is :UNKNOWN. If so, we move the call block successor
140 ;;; link from the return block to the component tail (after ensuring
141 ;;; that they are in separate blocks.) This allows the return to be
142 ;;; deleted when there are no non-tail uses.
143 (defun flush-full-call-tail-transfer (call)
144   (declare (type basic-combination call))
145   (let ((tails (and (node-tail-p call)
146                     (lambda-tail-set (node-home-lambda call)))))
147     (when tails
148       (cond ((eq (return-info-kind (tail-set-info tails)) :unknown)
149              (node-ends-block call)
150              (let ((block (node-block call)))
151                (unlink-blocks block (first (block-succ block)))
152                (link-blocks block (component-tail (block-component block)))))
153             (t
154              (setf (node-tail-p call) nil)))))
155   (values))
156
157 ;;; We set the kind to :FULL or :FUNNY, depending on whether there is
158 ;;; an IR2-CONVERT method. If a funny function, then we inhibit tail
159 ;;; recursion normally, since the IR2 convert method is going to want
160 ;;; to deliver values normally. We still annotate the function lvar,
161 ;;; since IR2tran might decide to call after all.
162 ;;;
163 ;;; Note that args may already be annotated because template selection
164 ;;; can bail out to here.
165 (defun ltn-default-call (call)
166   (declare (type combination call))
167   (let ((kind (basic-combination-kind call))
168         (info (basic-combination-fun-info call)))
169     (annotate-fun-lvar (basic-combination-fun call))
170
171     (dolist (arg (basic-combination-args call))
172       (unless (lvar-info arg)
173         (setf (lvar-info arg)
174               (make-ir2-lvar (primitive-type (lvar-type arg)))))
175       (annotate-1-value-lvar arg))
176
177     (cond
178       ((and (eq kind :known)
179             (fun-info-p info)
180             (fun-info-ir2-convert info))
181        (setf (basic-combination-info call) :funny)
182        (setf (node-tail-p call) nil))
183       (t
184        (when (eq kind :error)
185          (setf (basic-combination-kind call) :full))
186        (setf (basic-combination-info call) :full)
187        (flush-full-call-tail-transfer call))))
188
189   (values))
190
191 ;;; Annotate an lvar for unknown multiple values:
192 ;;; -- Add the lvar to the IR2-BLOCK-POPPED if it is used across a
193 ;;;    block boundary.
194 ;;; -- Assign an :UNKNOWN IR2-LVAR.
195 ;;;
196 ;;; Note: it is critical that this be called only during LTN analysis
197 ;;; of LVAR's DEST, and called in the order that the lvarss are
198 ;;; received. Otherwise the IR2-BLOCK-POPPED and
199 ;;; IR2-COMPONENT-VALUES-FOO would get all messed up.
200 (defun annotate-unknown-values-lvar (lvar)
201   (declare (type lvar lvar))
202
203   (aver (not (lvar-dynamic-extent lvar)))
204   (let ((2lvar (make-ir2-lvar nil)))
205     (setf (ir2-lvar-kind 2lvar) :unknown)
206     (setf (ir2-lvar-locs 2lvar) (make-unknown-values-locations))
207     (setf (lvar-info lvar) 2lvar))
208
209   ;; The CAST chain with corresponding lvars constitute the same
210   ;; "principal lvar", so we must preserve only inner annotation order
211   ;; and the order of the whole p.l. with other lvars. -- APD,
212   ;; 2003-02-27
213   (ltn-annotate-casts lvar)
214
215   (let* ((block (node-block (lvar-dest lvar)))
216          (use (lvar-uses lvar))
217          (2block (block-info block)))
218     (unless (and (not (listp use)) (eq (node-block use) block))
219       (setf (ir2-block-popped 2block)
220             (nconc (ir2-block-popped 2block) (list lvar)))))
221
222   (values))
223
224 ;;; Annotate LVAR for a fixed, but arbitrary number of values, of the
225 ;;; specified primitive TYPES.
226 (defun annotate-fixed-values-lvar (lvar types)
227   (declare (type lvar lvar) (list types))
228   (aver (not (lvar-dynamic-extent lvar)))   ; XXX
229   (let ((res (make-ir2-lvar nil)))
230     (setf (ir2-lvar-locs res) (mapcar #'make-normal-tn types))
231     (setf (lvar-info lvar) res))
232   (ltn-annotate-casts lvar)
233   (values))
234 \f
235 ;;;; node-specific analysis functions
236
237 ;;; Annotate the result lvar for a function. We use the RETURN-INFO
238 ;;; computed by GTN to determine how to represent the return values
239 ;;; within the function:
240 ;;;  * If the TAIL-SET has a fixed values count, then use that many
241 ;;;    values.
242 ;;;  * If the actual uses of the result lvar in this function
243 ;;;    have a fixed number of values (after intersection with the
244 ;;;    assertion), then use that number. We throw out TAIL-P :FULL
245 ;;;    and :LOCAL calls, since we know they will truly end up as TR
246 ;;;    calls. We can use the BASIC-COMBINATION-INFO even though it
247 ;;;    is assigned by this phase, since the initial value NIL doesn't
248 ;;;    look like a TR call.
249 ;;;      If there are *no* non-tail-call uses, then it falls out
250 ;;;    that we annotate for one value (type is NIL), but the return
251 ;;;    will end up being deleted.
252 ;;;      In non-perverse code, the DFO walk will reach all uses of the
253 ;;;    result lvar before it reaches the RETURN. In perverse code, we
254 ;;;    may annotate for unknown values when we didn't have to.
255 ;;; * Otherwise, we must annotate the lvar for unknown values.
256 (defun ltn-analyze-return (node)
257   (declare (type creturn node))
258   (let* ((lvar (return-result node))
259          (fun (return-lambda node))
260          (returns (tail-set-info (lambda-tail-set fun)))
261          (types (return-info-types returns)))
262     (if (eq (return-info-count returns) :unknown)
263         (collect ((res *empty-type* values-type-union))
264           (do-uses (use (return-result node))
265             (unless (and (node-tail-p use)
266                          (basic-combination-p use)
267                          (member (basic-combination-info use) '(:local :full)))
268               (res (node-derived-type use))))
269
270           (let ((int (res)))
271             (multiple-value-bind (types kind)
272                 (if (eq int *empty-type*)
273                     (values nil :unknown)
274                     (values-types int))
275               (if (eq kind :unknown)
276                   (annotate-unknown-values-lvar lvar)
277                   (annotate-fixed-values-lvar
278                    lvar (mapcar #'primitive-type types))))))
279         (annotate-fixed-values-lvar lvar types)))
280
281   (values))
282
283 ;;; Annotate the single argument lvar as a fixed-values lvar. We look
284 ;;; at the called lambda to determine number and type of return values
285 ;;; desired. It is assumed that only a function that
286 ;;; LOOKS-LIKE-AN-MV-BIND will be converted to a local call.
287 (defun ltn-analyze-mv-bind (call)
288   (declare (type mv-combination call))
289   (setf (basic-combination-kind call) :local)
290   (setf (node-tail-p call) nil)
291   (annotate-fixed-values-lvar
292    (first (basic-combination-args call))
293    (mapcar (lambda (var)
294              (primitive-type (basic-var-type var)))
295            (lambda-vars
296             (ref-leaf (lvar-use (basic-combination-fun call))))))
297   (values))
298
299 ;;; We force all the argument lvars to use the unknown values
300 ;;; convention. The lvars are annotated in reverse order, since the
301 ;;; last argument is on top, thus must be popped first. We disallow
302 ;;; delayed evaluation of the function lvar to simplify IR2 conversion
303 ;;; of MV call.
304 ;;;
305 ;;; We could be cleverer when we know the number of values returned by
306 ;;; the lvars, but optimizations of MV call are probably unworthwhile.
307 ;;;
308 ;;; We are also responsible for handling THROW, which is represented
309 ;;; in IR1 as an MV call to the %THROW funny function. We annotate the
310 ;;; tag lvar for a single value and the values lvar for unknown
311 ;;; values.
312 (defun ltn-analyze-mv-call (call)
313   (declare (type mv-combination call))
314   (let ((fun (basic-combination-fun call))
315         (args (basic-combination-args call)))
316     (cond ((eq (lvar-fun-name fun) '%throw)
317            (setf (basic-combination-info call) :funny)
318            (annotate-ordinary-lvar (first args))
319            (annotate-unknown-values-lvar (second args))
320            (setf (node-tail-p call) nil))
321           (t
322            (setf (basic-combination-info call) :full)
323            (annotate-fun-lvar (basic-combination-fun call) nil)
324            (dolist (arg (reverse args))
325              (annotate-unknown-values-lvar arg))
326            (flush-full-call-tail-transfer call))))
327
328   (values))
329
330 ;;; Annotate the arguments as ordinary single-value lvars. And check
331 ;;; the successor.
332 (defun ltn-analyze-local-call (call)
333   (declare (type combination call))
334   (setf (basic-combination-info call) :local)
335   (dolist (arg (basic-combination-args call))
336     (when arg
337       (annotate-ordinary-lvar arg)))
338   (when (node-tail-p call)
339     (set-tail-local-call-successor call))
340   (values))
341
342 ;;; Make sure that a tail local call is linked directly to the bind
343 ;;; node. Usually it will be, but calls from XEPs and calls that might have
344 ;;; needed a cleanup after them won't have been swung over yet, since we
345 ;;; weren't sure they would really be TR until now.
346 (defun set-tail-local-call-successor (call)
347   (let ((caller (node-home-lambda call))
348         (callee (combination-lambda call)))
349     (aver (eq (lambda-tail-set caller)
350               (lambda-tail-set (lambda-home callee))))
351     (node-ends-block call)
352     (let ((block (node-block call)))
353       (unlink-blocks block (first (block-succ block)))
354       (link-blocks block (lambda-block callee))))
355   (values))
356
357 ;;; Annotate the value lvar.
358 (defun ltn-analyze-set (node)
359   (declare (type cset node))
360   (setf (node-tail-p node) nil)
361   (annotate-ordinary-lvar (set-value node))
362   (values))
363
364 ;;; If the only use of the TEST lvar is a combination annotated with a
365 ;;; conditional template, then don't annotate the lvar so that IR2
366 ;;; conversion knows not to emit any code, otherwise annotate as an
367 ;;; ordinary lvar. Since we only use a conditional template if the
368 ;;; call immediately precedes the IF node in the same block, we know
369 ;;; that any predicate will already be annotated.
370 (defun ltn-analyze-if (node)
371   (declare (type cif node))
372   (setf (node-tail-p node) nil)
373   (let* ((test (if-test node))
374          (use (lvar-uses test)))
375     (unless (and (combination-p use)
376                  (let ((info (basic-combination-info use)))
377                    (and (template-p info)
378                         (eq (template-result-types info) :conditional))))
379       (annotate-ordinary-lvar test)))
380   (values))
381
382 ;;; If there is a value lvar, then annotate it for unknown values. In
383 ;;; this case, the exit is non-local, since all other exits are
384 ;;; deleted or degenerate by this point.
385 (defun ltn-analyze-exit (node)
386   (setf (node-tail-p node) nil)
387   (let ((value (exit-value node)))
388     (when value
389       (annotate-unknown-values-lvar value)))
390   (values))
391
392 ;;; We need a special method for %UNWIND-PROTECT that ignores the
393 ;;; cleanup function. We don't annotate either arg, since we don't
394 ;;; need them at run-time.
395 ;;;
396 ;;; (The default is o.k. for %CATCH, since environment analysis
397 ;;; converted the reference to the escape function into a constant
398 ;;; reference to the NLX-INFO.)
399 (defoptimizer (%unwind-protect ltn-annotate) ((escape cleanup)
400                                               node
401                                               ltn-policy)
402   ltn-policy ; a hack to effectively (DECLARE (IGNORE LTN-POLICY))
403   (setf (basic-combination-info node) :funny)
404   (setf (node-tail-p node) nil))
405
406 ;;; Make sure that arguments of magic functions are not annotated.
407 ;;; (Otherwise the compiler may dump its internal structures as
408 ;;; constants :-()
409 (defoptimizer (%pop-values ltn-annotate) ((%lvar) node ltn-policy)
410   %lvar node ltn-policy)
411 (defoptimizer (%nip-values ltn-annotate) ((last-nipped last-preserved
412                                                        &rest moved)
413                                           node ltn-policy)
414   last-nipped last-preserved moved node ltn-policy)
415
416 \f
417 ;;;; known call annotation
418
419 ;;; Return true if RESTR is satisfied by TYPE. If T-OK is true, then a
420 ;;; T restriction allows any operand type. This is also called by IR2
421 ;;; translation when it determines whether a result temporary needs to
422 ;;; be made, and by representation selection when it is deciding which
423 ;;; move VOP to use. LVAR and TN are used to test for constant
424 ;;; arguments.
425 (defun operand-restriction-ok (restr type &key lvar tn (t-ok t))
426   (declare (type (or (member *) cons) restr)
427            (type primitive-type type)
428            (type (or lvar null) lvar)
429            (type (or tn null) tn))
430   (if (eq restr '*)
431       t
432       (ecase (first restr)
433         (:or
434          (dolist (mem (rest restr) nil)
435            (when (or (and t-ok (eq mem *backend-t-primitive-type*))
436                      (eq mem type))
437              (return t))))
438         (:constant
439          (cond (lvar
440                 (and (constant-lvar-p lvar)
441                      (funcall (second restr) (lvar-value lvar))))
442                (tn
443                 (and (eq (tn-kind tn) :constant)
444                      (funcall (second restr) (tn-value tn))))
445                (t
446                 (error "Neither LVAR nor TN supplied.")))))))
447
448 ;;; Check that the argument type restriction for TEMPLATE are
449 ;;; satisfied in call. If an argument's TYPE-CHECK is :NO-CHECK and
450 ;;; our policy is safe, then only :SAFE templates are OK.
451 (defun template-args-ok (template call safe-p)
452   (declare (type template template)
453            (type combination call))
454   (declare (ignore safe-p))
455   (let ((mtype (template-more-args-type template)))
456     (do ((args (basic-combination-args call) (cdr args))
457          (types (template-arg-types template) (cdr types)))
458         ((null types)
459          (cond ((null args) t)
460                ((not mtype) nil)
461                (t
462                 (dolist (arg args t)
463                   (unless (operand-restriction-ok mtype
464                                                   (lvar-ptype arg))
465                     (return nil))))))
466       (when (null args) (return nil))
467       (let ((arg (car args))
468             (type (car types)))
469         (unless (operand-restriction-ok type (lvar-ptype arg)
470                                         :lvar arg)
471           (return nil))))))
472
473 ;;; Check that TEMPLATE can be used with the specifed RESULT-TYPE.
474 ;;; Result type checking is pretty different from argument type
475 ;;; checking due to the relaxed rules for values count. We succeed if
476 ;;; for each required result, there is a positional restriction on the
477 ;;; value that is at least as good. If we run out of result types
478 ;;; before we run out of restrictions, then we only succeed if the
479 ;;; leftover restrictions are *. If we run out of restrictions before
480 ;;; we run out of result types, then we always win.
481 (defun template-results-ok (template result-type)
482   (declare (type template template)
483            (type ctype result-type))
484   (when (template-more-results-type template)
485     (error "~S has :MORE results with :TRANSLATE." (template-name template)))
486   (let ((types (template-result-types template)))
487     (cond
488      ((values-type-p result-type)
489       (do ((ltypes (append (args-type-required result-type)
490                            (args-type-optional result-type))
491                    (rest ltypes))
492            (types types (rest types)))
493           ((null ltypes)
494            (dolist (type types t)
495              (unless (eq type '*)
496                (return nil))))
497         (when (null types) (return t))
498         (let ((type (first types)))
499           (unless (operand-restriction-ok type
500                                           (primitive-type (first ltypes)))
501             (return nil)))))
502      (types
503       (operand-restriction-ok (first types) (primitive-type result-type)))
504      (t t))))
505
506 ;;; Return true if CALL is an ok use of TEMPLATE according to SAFE-P.
507 ;;; -- If the template has a GUARD that isn't true, then we ignore the
508 ;;;    template, not even considering it to be rejected.
509 ;;; -- If the argument type restrictions aren't satisfied, then we
510 ;;;    reject the template.
511 ;;; -- If the template is :CONDITIONAL, then we accept it only when the
512 ;;;    destination of the value is an immediately following IF node.
513 ;;; -- If either the template is safe or the policy is unsafe (i.e. we
514 ;;;    can believe output assertions), then we test against the
515 ;;;    intersection of the node derived type and the lvar
516 ;;;    asserted type. Otherwise, we just use the node type. If
517 ;;;    TYPE-CHECK is null, there is no point in doing the intersection,
518 ;;;    since the node type must be a subtype of the  assertion.
519 ;;;
520 ;;; If the template is *not* ok, then the second value is a keyword
521 ;;; indicating which aspect failed.
522 (defun is-ok-template-use (template call safe-p)
523   (declare (type template template) (type combination call))
524   (let* ((guard (template-guard template))
525          (lvar (node-lvar call))
526          (dtype (node-derived-type call)))
527     (cond ((and guard (not (funcall guard)))
528            (values nil :guard))
529           ((not (template-args-ok template call safe-p))
530            (values nil
531                    (if (and safe-p (template-args-ok template call nil))
532                        :arg-check
533                        :arg-types)))
534           ((eq (template-result-types template) :conditional)
535            (let ((dest (lvar-dest lvar)))
536              (if (and (if-p dest)
537                       (immediately-used-p (if-test dest) call))
538                  (values t nil)
539                  (values nil :conditional))))
540           ((template-results-ok template dtype)
541            (values t nil))
542           (t
543            (values nil :result-types)))))
544
545 ;;; Use operand type information to choose a template from the list
546 ;;; TEMPLATES for a known CALL. We return three values:
547 ;;; 1. The template we found.
548 ;;; 2. Some template that we rejected due to unsatisfied type restrictions, or
549 ;;;    NIL if none.
550 ;;; 3. The tail of Templates for templates we haven't examined yet.
551 ;;;
552 ;;; We just call IS-OK-TEMPLATE-USE until it returns true.
553 (defun find-template (templates call safe-p)
554   (declare (list templates) (type combination call))
555   (do ((templates templates (rest templates))
556        (rejected nil))
557       ((null templates)
558        (values nil rejected nil))
559     (let ((template (first templates)))
560       (when (is-ok-template-use template call safe-p)
561         (return (values template rejected (rest templates))))
562       (setq rejected template))))
563
564 ;;; Given a partially annotated known call and a translation policy,
565 ;;; return the appropriate template, or NIL if none can be found. We
566 ;;; scan the templates (ordered by increasing cost) looking for a
567 ;;; template whose restrictions are satisfied and that has our policy.
568 ;;;
569 ;;; If we find a template that doesn't have our policy, but has a
570 ;;; legal alternate policy, then we also record that to return as a
571 ;;; last resort. If our policy is safe, then only safe policies are
572 ;;; O.K., otherwise anything goes.
573 ;;;
574 ;;; If we find a template with :SAFE policy, then we return it, or any
575 ;;; cheaper fallback template. The theory behind this is that if it is
576 ;;; cheapest, small and safe, we can't lose. If it is not cheapest,
577 ;;; then we use the fallback, which won't have the desired policy, but
578 ;;; :SAFE isn't desired either, so we might as well go with the
579 ;;; cheaper one. The main reason for doing this is to make sure that
580 ;;; cheap safe templates are used when they apply and the current
581 ;;; policy is something else. This is useful because :SAFE has the
582 ;;; additional semantics of implicit argument type checking, so we may
583 ;;; be forced to define a template with :SAFE policy when it is really
584 ;;; small and fast as well.
585 (defun find-template-for-ltn-policy (call ltn-policy)
586   (declare (type combination call)
587            (type ltn-policy ltn-policy))
588   (let ((safe-p (ltn-policy-safe-p ltn-policy))
589         (current (fun-info-templates (basic-combination-fun-info call)))
590         (fallback nil)
591         (rejected nil))
592     (loop
593      (multiple-value-bind (template this-reject more)
594          (find-template current call safe-p)
595        (unless rejected
596          (setq rejected this-reject))
597        (setq current more)
598        (unless template
599          (return (values fallback rejected)))
600        (let ((tcpolicy (template-ltn-policy template)))
601          (cond ((eq tcpolicy ltn-policy)
602                 (return (values template rejected)))
603                ((eq tcpolicy :safe)
604                 (return (values (or fallback template) rejected)))
605                ((or (not safe-p) (eq tcpolicy :fast-safe))
606                 (unless fallback
607                   (setq fallback template)))))))))
608
609 (defvar *efficiency-note-limit* 2
610   #!+sb-doc
611   "This is the maximum number of possible optimization alternatives will be
612   mentioned in a particular efficiency note. NIL means no limit.")
613 (declaim (type (or index null) *efficiency-note-limit*))
614
615 (defvar *efficiency-note-cost-threshold* 5
616   #!+sb-doc
617   "This is the minumum cost difference between the chosen implementation and
618   the next alternative that justifies an efficiency note.")
619 (declaim (type index *efficiency-note-cost-threshold*))
620
621 ;;; This function is called by NOTE-REJECTED-TEMPLATES when it can't
622 ;;; figure out any reason why TEMPLATE was rejected. Users should
623 ;;; never see these messages, but they can happen in situations where
624 ;;; the VM definition is messed up somehow.
625 (defun strange-template-failure (template call ltn-policy frob)
626   (declare (type template template) (type combination call)
627            (type ltn-policy ltn-policy) (type function frob))
628   (funcall frob "This shouldn't happen!  Bug?")
629   (multiple-value-bind (win why)
630       (is-ok-template-use template call (ltn-policy-safe-p ltn-policy))
631     (aver (not win))
632     (ecase why
633       (:guard
634        (funcall frob "template guard failed"))
635       (:arg-check
636        (funcall frob "The template isn't safe, yet we were counting on it."))
637       (:arg-types
638        (funcall frob "argument types invalid")
639        (funcall frob "argument primitive types:~%  ~S"
640                 (mapcar (lambda (x)
641                           (primitive-type-name
642                            (lvar-ptype x)))
643                         (combination-args call)))
644        (funcall frob "argument type assertions:~%  ~S"
645                 (mapcar (lambda (x)
646                           (if (atom x)
647                               x
648                               (ecase (car x)
649                                 (:or `(:or .,(mapcar #'primitive-type-name
650                                                      (cdr x))))
651                                 (:constant `(:constant ,(third x))))))
652                         (template-arg-types template))))
653       (:conditional
654        (funcall frob "conditional in a non-conditional context"))
655       (:result-types
656        (funcall frob "result types invalid")))))
657
658 ;;; This function emits efficiency notes describing all of the
659 ;;; templates better (faster) than TEMPLATE that we might have been
660 ;;; able to use if there were better type declarations. Template is
661 ;;; null when we didn't find any template, and thus must do a full
662 ;;; call.
663 ;;;
664 ;;; In order to be worth complaining about, a template must:
665 ;;; -- be allowed by its guard,
666 ;;; -- be safe if the current policy is safe,
667 ;;; -- have argument/result type restrictions consistent with the
668 ;;;    known type information, e.g. we don't consider float templates
669 ;;;    when an operand is known to be an integer,
670 ;;; -- be disallowed by the stricter operand subtype test (which
671 ;;;    resembles, but is not identical to the test done by
672 ;;;    FIND-TEMPLATE.)
673 ;;;
674 ;;; Note that there may not be any possibly applicable templates,
675 ;;; since we are called whenever any template is rejected. That
676 ;;; template might have the wrong policy or be inconsistent with the
677 ;;; known type.
678 ;;;
679 ;;; We go to some trouble to make the whole multi-line output into a
680 ;;; single call to COMPILER-NOTIFY so that repeat messages are
681 ;;; suppressed, etc.
682 (defun note-rejected-templates (call ltn-policy template)
683   (declare (type combination call) (type ltn-policy ltn-policy)
684            (type (or template null) template))
685
686   (collect ((losers))
687     (let ((safe-p (ltn-policy-safe-p ltn-policy))
688           (verbose-p (policy call (= inhibit-warnings 0)))
689           (max-cost (- (template-cost
690                         (or template
691                             (template-or-lose 'call-named)))
692                        *efficiency-note-cost-threshold*)))
693       (dolist (try (fun-info-templates (basic-combination-fun-info call)))
694         (when (> (template-cost try) max-cost) (return)) ; FIXME: UNLESS'd be cleaner.
695         (let ((guard (template-guard try)))
696           (when (and (or (not guard) (funcall guard))
697                      (or (not safe-p)
698                          (ltn-policy-safe-p (template-ltn-policy try)))
699                      ;; :SAFE is also considered to be :SMALL-SAFE,
700                      ;; while the template cost describes time cost;
701                      ;; so the fact that (< (t-cost try) (t-cost
702                      ;; template)) does not mean that TRY is better
703                      (not (and (eq ltn-policy :safe)
704                                (eq (template-ltn-policy try) :fast-safe)))
705                      (or verbose-p
706                          (and (template-note try)
707                               (valid-fun-use
708                                call (template-type try)
709                                :argument-test #'types-equal-or-intersect
710                                :result-test
711                                #'values-types-equal-or-intersect))))
712             (losers try)))))
713
714     (when (losers)
715       (collect ((messages)
716                 (notes 0 +))
717         (flet ((lose1 (string &rest stuff)
718                  (messages string)
719                  (messages stuff)))
720           (dolist (loser (losers))
721             (when (and *efficiency-note-limit*
722                        (>= (notes) *efficiency-note-limit*))
723               (lose1 "etc.")
724               (return))
725             (let* ((type (template-type loser))
726                    (valid (valid-fun-use call type))
727                    (strict-valid (valid-fun-use call type)))
728               (lose1 "unable to do ~A (cost ~W) because:"
729                      (or (template-note loser) (template-name loser))
730                      (template-cost loser))
731               (cond
732                ((and valid strict-valid)
733                 (strange-template-failure loser call ltn-policy #'lose1))
734                ((not valid)
735                 (aver (not (valid-fun-use call type
736                                           :lossage-fun #'lose1
737                                           :unwinnage-fun #'lose1))))
738                (t
739                 (aver (ltn-policy-safe-p ltn-policy))
740                 (lose1 "can't trust output type assertion under safe policy")))
741               (notes 1))))
742
743         (let ((*compiler-error-context* call))
744           (compiler-notify "~{~?~^~&~6T~}"
745                            (if template
746                                `("forced to do ~A (cost ~W)"
747                                  (,(or (template-note template)
748                                        (template-name template))
749                                   ,(template-cost template))
750                                  . ,(messages))
751                                `("forced to do full call"
752                                  nil
753                                  . ,(messages))))))))
754   (values))
755
756 ;;; If a function has a special-case annotation method use that,
757 ;;; otherwise annotate the argument lvars and try to find a template
758 ;;; corresponding to the type signature. If there is none, convert a
759 ;;; full call.
760 (defun ltn-analyze-known-call (call)
761   (declare (type combination call))
762   (let ((ltn-policy (node-ltn-policy call))
763         (method (fun-info-ltn-annotate (basic-combination-fun-info call)))
764         (args (basic-combination-args call)))
765     (when method
766       (funcall method call ltn-policy)
767       (return-from ltn-analyze-known-call (values)))
768
769     (dolist (arg args)
770       (setf (lvar-info arg)
771             (make-ir2-lvar (primitive-type (lvar-type arg)))))
772
773     (multiple-value-bind (template rejected)
774         (find-template-for-ltn-policy call ltn-policy)
775       ;; If we are unable to use some templates due to unsatisfied
776       ;; operand type restrictions and our policy enables efficiency
777       ;; notes, then we call NOTE-REJECTED-TEMPLATES.
778       (when (and rejected
779                  (policy call (> speed inhibit-warnings)))
780         (note-rejected-templates call ltn-policy template))
781       ;; If we are forced to do a full call, we check to see whether
782       ;; the function called is the same as the current function. If
783       ;; so, we give a warning, as this is probably a botched attempt
784       ;; to implement an out-of-line version in terms of inline
785       ;; transforms or VOPs or whatever.
786       (unless template
787         (when (let ((funleaf (physenv-lambda (node-physenv call))))
788                 (and (leaf-has-source-name-p funleaf)
789                      (eq (lvar-fun-name (combination-fun call))
790                          (leaf-source-name funleaf))
791                      (let ((info (basic-combination-fun-info call)))
792                        (not (or (fun-info-ir2-convert info)
793                                 (ir1-attributep (fun-info-attributes info)
794                                                 recursive))))))
795           (let ((*compiler-error-context* call))
796             (compiler-warn "~@<recursion in known function definition~2I ~
797                             ~_policy=~S ~_arg types=~S~:>"
798                            (lexenv-policy (node-lexenv call))
799                            (mapcar (lambda (arg)
800                                      (type-specifier (lvar-type arg)))
801                                    args))))
802         (ltn-default-call call)
803         (return-from ltn-analyze-known-call (values)))
804       (setf (basic-combination-info call) template)
805       (setf (node-tail-p call) nil)
806
807       (dolist (arg args)
808         (annotate-1-value-lvar arg))))
809
810   (values))
811
812 ;;; CASTs are merely lvar annotations than nodes. So we wait until
813 ;;; value consumer deside how values should be passed, and after that
814 ;;; we propagate this decision backwards through CAST chain. The
815 ;;; exception is a dangling CAST with a type check, which we process
816 ;;; immediately.
817 (defun ltn-analyze-cast (cast)
818   (declare (type cast cast))
819   (setf (node-tail-p cast) nil)
820   (when (and (cast-type-check cast)
821              (not (node-lvar cast)))
822     ;; FIXME
823     (bug "IR2 type checking of unused values in not implemented.")
824     )
825   (values))
826
827 (defun ltn-annotate-casts (lvar)
828   (declare (type lvar lvar))
829   (do-uses (node lvar)
830     (when (cast-p node)
831       (ltn-annotate-cast node))))
832
833 (defun ltn-annotate-cast (cast)
834   (declare (type cast))
835   (let ((2lvar (lvar-info (node-lvar cast)))
836         (value (cast-value cast)))
837     (aver 2lvar)
838     ;; XXX
839     (ecase (ir2-lvar-kind 2lvar)
840       (:unknown
841        (annotate-unknown-values-lvar value))
842       (:fixed
843        (let* ((count (length (ir2-lvar-locs 2lvar)))
844               (ctype (lvar-derived-type value)))
845          (multiple-value-bind (types rest)
846              (values-type-types ctype (specifier-type 'null))
847            (annotate-fixed-values-lvar
848             value
849             (mapcar #'primitive-type
850                     (adjust-list types count rest))))))))
851   (values))
852
853 \f
854 ;;;; interfaces
855
856 ;;; most of the guts of the two interface functions: Compute the
857 ;;; policy and dispatch to the appropriate node-specific function.
858 ;;;
859 ;;; Note: we deliberately don't use the DO-NODES macro, since the
860 ;;; block can be split out from underneath us, and DO-NODES would scan
861 ;;; past the block end in that case.
862 (defun ltn-analyze-block (block)
863   (do* ((node (block-start-node block)
864               (ctran-next ctran))
865         (ctran (node-next node) (node-next node)))
866       (nil)
867     (etypecase node
868       (ref)
869       (combination
870        (ecase (basic-combination-kind node)
871          (:local (ltn-analyze-local-call node))
872          ((:full :error) (ltn-default-call node))
873          (:known
874           (ltn-analyze-known-call node))))
875       (cif (ltn-analyze-if node))
876       (creturn (ltn-analyze-return node))
877       ((or bind entry))
878       (exit (ltn-analyze-exit node))
879       (cset (ltn-analyze-set node))
880       (cast (ltn-analyze-cast node))
881       (mv-combination
882        (ecase (basic-combination-kind node)
883          (:local
884           (ltn-analyze-mv-bind node))
885          ((:full :error)
886           (ltn-analyze-mv-call node)))))
887     (when (eq node (block-last block))
888       (return))))
889
890 ;;; Loop over the blocks in COMPONENT, doing stuff to nodes that
891 ;;; receive values. In addition to the stuff done by FROB, we also see
892 ;;; whether there are any unknown values receivers, making notations
893 ;;; in the components' GENERATORS and RECEIVERS as appropriate.
894 ;;;
895 ;;; If any unknown-values lvars are received by this block (as
896 ;;; indicated by IR2-BLOCK-POPPED), then we add the block to the
897 ;;; IR2-COMPONENT-VALUES-RECEIVERS.
898 ;;;
899 ;;; This is where we allocate IR2 blocks because it is the first place
900 ;;; we need them.
901 (defun ltn-analyze (component)
902   (declare (type component component))
903   (let ((2comp (component-info component)))
904     (do-blocks (block component)
905       (aver (not (block-info block)))
906       (let ((2block (make-ir2-block block)))
907         (setf (block-info block) 2block)
908         (ltn-analyze-block block)))
909     (do-blocks (block component)
910       (let ((2block (block-info block)))
911         (let ((popped (ir2-block-popped 2block)))
912           (when popped
913             (push block (ir2-component-values-receivers 2comp)))))))
914   (values))
915
916 ;;; This function is used to analyze blocks that must be added to the
917 ;;; flow graph after the normal LTN phase runs. Such code is
918 ;;; constrained not to use weird unknown values (and probably in lots
919 ;;; of other ways).
920 (defun ltn-analyze-belated-block (block)
921   (declare (type cblock block))
922   (ltn-analyze-block block)
923   (aver (not (ir2-block-popped (block-info block))))
924   (values))
925