contrib/sb-introspect/sb-introspect.lisp

   1 ;;; introspection library
   2
   3 ;;; This is here as a discussion point, not yet a supported interface.  If
   4 ;;; you would like to use the functions here, or you would like other
   5 ;;; functions to be here, join the debate on navel@metacircles.com.
   6 ;;; List info at http://lists.metacircles.com/cgi-bin/mailman/listinfo/navel
   7
   8 ;;; For the avoidance of doubt, the exported interface is the proposed
   9 ;;; supported interface.  Anything else is internal, though you're
  10 ;;; welcome to argue a case for exporting it.
  11
  12 ;;; If you steal the code from this file to cut and paste into your
  13 ;;; own project, there will be much wailing and gnashing of teeth.
  14 ;;; Your teeth.  If need be, we'll kick them for you.  This is a
  15 ;;; contrib, we're allowed to look in internals.  You're an
  16 ;;; application programmer, and are not.
  17
  18 ;;; TODO
  19 ;;; 1) structs don't have within-file location info.  problem for the
  20 ;;;   structure itself, accessors and the predicate
  21 ;;; 3) error handling.  Signal random errors, or handle and resignal 'our'
  22 ;;;   error, or return NIL?
  23 ;;; 4) FIXMEs
  24
  25 (defpackage :sb-introspect
  26   (:use "CL")
  27   (:export "FUNCTION-ARGLIST"
  28            "VALID-FUNCTION-NAME-P"
  29            "FIND-DEFINITION-SOURCE"
  30            "FIND-DEFINITION-SOURCES-BY-NAME"
  31            "DEFINITION-SOURCE"
  32            "DEFINITION-SOURCE-PATHNAME"
  33            "DEFINITION-SOURCE-FORM-PATH"
  34            "DEFINITION-SOURCE-CHARACTER-OFFSET"
  35            "DEFINITION-SOURCE-FILE-WRITE-DATE"
  36            "DEFINITION-SOURCE-PLIST"
  37            "DEFINITION-NOT-FOUND" "DEFINITION-NAME"
  38            "FIND-FUNCTION-CALLEES"
  39            "FIND-FUNCTION-CALLERS"
  40            "WHO-BINDS"
  41            "WHO-CALLS"
  42            "WHO-REFERENCES"
  43            "WHO-SETS"
  44            "WHO-MACROEXPANDS"))
  45
  46 (in-package :sb-introspect)
  47
  48 ;;;; Internal interface for SBCL debug info
  49
  50 ;;; Here are some tutorial-style type definitions to help understand
  51 ;;; the internal SBCL debugging data structures we're using. The
  52 ;;; commentary is based on CMUCL's debug internals manual.
  53 ;;;
  54 (deftype debug-info ()
  55   "Structure containing all the debug information related to a function.
  56 Function objects reference debug-infos which in turn reference
  57 debug-sources and so on."
  58   'sb-c::compiled-debug-info)
  59
  60 (deftype debug-source ()
  61   "Debug sources describe where to find source code.
  62 For example, the debug source for a function compiled from a file will
  63 include the pathname of the file and the position of the definition."
  64   'sb-c::debug-source)
  65
  66 (deftype debug-function ()
  67   "Debug function represent static compile-time information about a function."
  68   'sb-c::compiled-debug-fun)
  69
  70 (declaim (ftype (function (function) debug-info) function-debug-info))
  71 (defun function-debug-info (function)
  72   (let* ((function-object (sb-kernel::%closure-fun function))
  73          (function-header (sb-kernel:fun-code-header function-object)))
  74     (sb-kernel:%code-debug-info function-header)))
  75
  76 (declaim (ftype (function (function) debug-source) function-debug-source))
  77 (defun function-debug-source (function)
  78   (debug-info-source (function-debug-info function)))
  79
  80 (declaim (ftype (function (debug-info) debug-source) debug-info-source))
  81 (defun debug-info-source (debug-info)
  82   (sb-c::debug-info-source debug-info))
  83
  84 (declaim (ftype (function (debug-info) debug-function) debug-info-debug-function))
  85 (defun debug-info-debug-function (debug-info)
  86   (elt (sb-c::compiled-debug-info-fun-map debug-info) 0))
  87
  88 (defun valid-function-name-p (name)
  89   "True if NAME denotes a function name that can be passed to MACRO-FUNCTION or FDEFINITION "
  90   (and (sb-int:valid-function-name-p name) t))
  91
  92 ;;;; Finding definitions
  93
  94 (defstruct definition-source
  95   ;; Pathname of the source file that the definition was compiled from.
  96   ;; This is null if the definition was not compiled from a file.
  97   (pathname nil :type (or null pathname))
  98   ;; Source-path of the definition within the file.
  99   ;; This may be incomplete depending on the debug level at which the
 100   ;; source was compiled.
 101   (form-path '() :type list)
 102   ;; Character offset of the top-level-form containing the definition.
 103   ;; This corresponds to the first element of form-path.
 104   (character-offset nil :type (or null integer))
 105   ;; File-write-date of the source file when compiled.
 106   ;; Null if not compiled from a file.
 107   (file-write-date nil :type (or null integer))
 108   ;; plist from WITH-COMPILATION-UNIT
 109   (plist nil)
 110   ;; Any extra metadata that the caller might be interested in. For
 111   ;; example the specializers of the method whose definition-source this
 112   ;; is.
 113   (description nil :type list))
 114
 115 (defun find-definition-sources-by-name (name type)
 116   "Returns a list of DEFINITION-SOURCEs for the objects of type TYPE
 117 defined with name NAME. NAME may be a symbol or a extended function
 118 name. Type can currently be one of the following:
 119
 120    (Public)
 121    :CLASS
 122    :COMPILER-MACRO
 123    :CONDITION
 124    :CONSTANT
 125    :FUNCTION
 126    :GENERIC-FUNCTION
 127    :MACRO
 128    :METHOD
 129    :METHOD-COMBINATION
 130    :PACKAGE
 131    :SETF-EXPANDER
 132    :STRUCTURE
 133    :SYMBOL-MACRO
 134    :TYPE
 135    :VARIABLE
 136
 137    (Internal)
 138    :OPTIMIZER
 139    :SOURCE-TRANSFORM
 140    :TRANSFORM
 141    :VOP
 142
 143 If an unsupported TYPE is requested, the function will return NIL.
 144 "
 145   (flet ((listify (x)
 146            (if (listp x)
 147                x
 148                (list x)))
 149          (get-class (name)
 150            (and (symbolp name)
 151                 (find-class name nil)))
 152          (real-fdefinition (name)
 153            ;; for getting the real function object, even if the
 154            ;; function is being profiled
 155            (let ((profile-info (gethash name sb-profile::*profiled-fun-name->info*)))
 156              (if profile-info
 157                  (sb-profile::profile-info-encapsulated-fun profile-info)
 158                  (fdefinition name)))))
 159     (listify
 160      (case type
 161        ((:variable)
 162         (when (and (symbolp name)
 163                    (eq (sb-int:info :variable :kind name) :special))
 164           (translate-source-location (sb-int:info :source-location type name))))
 165        ((:constant)
 166         (when (and (symbolp name)
 167                    (eq (sb-int:info :variable :kind name) :constant))
 168           (translate-source-location (sb-int:info :source-location type name))))
 169        ((:symbol-macro)
 170         (when (and (symbolp name)
 171                    (eq (sb-int:info :variable :kind name) :macro))
 172           (translate-source-location (sb-int:info :source-location type name))))
 173        ((:macro)
 174         (when (and (symbolp name)
 175                    (macro-function name))
 176           (find-definition-source (macro-function name))))
 177        ((:compiler-macro)
 178         (when (compiler-macro-function name)
 179           (find-definition-source (compiler-macro-function name))))
 180        ((:function :generic-function)
 181         (when (and (fboundp name)
 182                    (or (not (symbolp name))
 183                        (not (macro-function name))))
 184           (let ((fun (real-fdefinition name)))
 185             (when (eq (not (typep fun 'generic-function))
 186                       (not (eq type :generic-function)))
 187               (find-definition-source fun)))))
 188        ((:type)
 189         (let ((expander-fun (sb-int:info :type :expander name)))
 190           (when expander-fun
 191             (find-definition-source expander-fun))))
 192        ((:method)
 193         (when (fboundp name)
 194           (let ((fun (real-fdefinition name)))
 195            (when (typep fun 'generic-function)
 196              (loop for method in (sb-mop::generic-function-methods
 197                                   fun)
 198                 for source = (find-definition-source method)
 199                 when source collect source)))))
 200        ((:setf-expander)
 201         (when (and (consp name)
 202                    (eq (car name) 'setf))
 203           (setf name (cadr name)))
 204         (let ((expander (or (sb-int:info :setf :inverse name)
 205                             (sb-int:info :setf :expander name))))
 206           (when expander
 207             (sb-introspect:find-definition-source (if (symbolp expander)
 208                                                       (symbol-function expander)
 209                                                       expander)))))
 210        ((:structure)
 211         (let ((class (get-class name)))
 212           (if class
 213               (when (typep class 'sb-pcl::structure-class)
 214                 (find-definition-source class))
 215               (when (sb-int:info :typed-structure :info name)
 216                 (translate-source-location
 217                  (sb-int:info :source-location :typed-structure name))))))
 218        ((:condition :class)
 219         (let ((class (get-class name)))
 220           (when (and class
 221                      (not (typep class 'sb-pcl::structure-class)))
 222             (when (eq (not (typep class 'sb-pcl::condition-class))
 223                       (not (eq type :condition)))
 224               (find-definition-source class)))))
 225        ((:method-combination)
 226         (let ((combination-fun
 227                (ignore-errors (find-method #'sb-mop:find-method-combination
 228                                            nil
 229                                            (list (find-class 'generic-function)
 230                                                  (list 'eql name)
 231                                                  t)))))
 232           (when combination-fun
 233             (find-definition-source combination-fun))))
 234        ((:package)
 235         (when (symbolp name)
 236           (let ((package (find-package name)))
 237             (when package
 238               (find-definition-source package)))))
 239        ;; TRANSFORM and OPTIMIZER handling from swank-sbcl
 240        ((:transform)
 241         (when (symbolp name)
 242           (let ((fun-info (sb-int:info :function :info name)))
 243             (when fun-info
 244               (loop for xform in (sb-c::fun-info-transforms fun-info)
 245                     for source = (find-definition-source
 246                                   (sb-c::transform-function xform))
 247                     for typespec = (sb-kernel:type-specifier
 248                                     (sb-c::transform-type xform))
 249                     for note = (sb-c::transform-note xform)
 250                     do (setf (definition-source-description source)
 251                              (if (consp typespec)
 252                                  (list (second typespec) note)
 253                                  (list note)))
 254                     collect source)))))
 255        ((:optimizer)
 256         (when (symbolp name)
 257           (let ((fun-info (sb-int:info :function :info name)))
 258             (when fun-info
 259               (let ((otypes '((sb-c::fun-info-derive-type . sb-c:derive-type)
 260                               (sb-c::fun-info-ltn-annotate . sb-c:ltn-annotate)
 261                               (sb-c::fun-info-ltn-annotate . sb-c:ltn-annotate)
 262                               (sb-c::fun-info-optimizer . sb-c:optimizer))))
 263                 (loop for (reader . name) in otypes
 264                       for fn = (funcall reader fun-info)
 265                       when fn collect
 266                       (let ((source (find-definition-source fn)))
 267                         (setf (definition-source-description source)
 268                               (list name))
 269                         source)))))))
 270        ((:vop)
 271         (when (symbolp name)
 272           (let ((fun-info (sb-int:info :function :info name)))
 273             (when fun-info
 274               (loop for vop in (sb-c::fun-info-templates fun-info)
 275                     for source = (find-definition-source
 276                                   (sb-c::vop-info-generator-function vop))
 277                     do (setf (definition-source-description source)
 278                              (list (sb-c::template-name vop)
 279                                    (sb-c::template-note vop)))
 280                     collect source)))))
 281        ((:source-transform)
 282         (when (symbolp name)
 283           (let ((transform-fun (sb-int:info :function :source-transform name)))
 284             (when transform-fun
 285               (sb-introspect:find-definition-source transform-fun)))))
 286        (t
 287         nil)))))
 288
 289 (defun find-definition-source (object)
 290   (typecase object
 291     ((or sb-pcl::condition-class sb-pcl::structure-class)
 292      (let ((classoid (sb-impl::find-classoid (class-name object))))
 293        (when classoid
 294          (let ((layout (sb-impl::classoid-layout classoid)))
 295            (when layout
 296              (translate-source-location
 297               (sb-kernel::layout-source-location layout)))))))
 298     (method-combination
 299      (car
 300       (find-definition-sources-by-name
 301        (sb-pcl::method-combination-type-name object) :method-combination)))
 302     (package
 303      (translate-source-location (sb-impl::package-source-location object)))
 304     (class
 305      (translate-source-location (sb-pcl::definition-source object)))
 306     ;; Use the PCL definition location information instead of the function
 307     ;; debug-info for methods and generic functions. Sometimes the
 308     ;; debug-info would point into PCL internals instead of the proper
 309     ;; location.
 310     (generic-function
 311      (let ((source (translate-source-location
 312                     (sb-pcl::definition-source object))))
 313        (when source
 314          (setf (definition-source-description source)
 315                (list (sb-mop:generic-function-lambda-list object))))
 316        source))
 317     (method
 318      (let ((source (translate-source-location
 319                     (sb-pcl::definition-source object))))
 320        (when source
 321          (setf (definition-source-description source)
 322                (append (method-qualifiers object)
 323                        (if (sb-mop:method-generic-function object)
 324                            (sb-pcl::unparse-specializers
 325                             (sb-mop:method-generic-function object)
 326                             (sb-mop:method-specializers object))
 327                            (sb-mop:method-specializers object)))))
 328        source))
 329     #+sb-eval
 330     (sb-eval:interpreted-function
 331      (let ((source (translate-source-location
 332                     (sb-eval:interpreted-function-source-location object))))
 333        source))
 334     (function
 335      (cond ((struct-accessor-p object)
 336             (find-definition-source
 337              (struct-accessor-structure-class object)))
 338            ((struct-predicate-p object)
 339             (find-definition-source
 340              (struct-predicate-structure-class object)))
 341            (t
 342             (find-function-definition-source object))))
 343     (t
 344      (error "Don't know how to retrive source location for a ~S~%"
 345             (type-of object)))))
 346
 347 (defun find-function-definition-source (function)
 348   (let* ((debug-info (function-debug-info function))
 349          (debug-source (debug-info-source debug-info))
 350          (debug-fun (debug-info-debug-function debug-info))
 351          (tlf (if debug-fun (sb-c::compiled-debug-fun-tlf-number debug-fun))))
 352     (make-definition-source
 353      :pathname
 354      (if (eql (sb-c::debug-source-from debug-source) :file)
 355          (parse-namestring (sb-c::debug-source-name debug-source)))
 356      :character-offset
 357      (if tlf
 358          (elt (sb-c::debug-source-start-positions debug-source) tlf))
 359      ;; Unfortunately there is no proper source path available in the
 360      ;; debug-source. FIXME: We could use sb-di:code-locations to get
 361      ;; a full source path. -luke (12/Mar/2005)
 362      :form-path (if tlf (list tlf))
 363      :file-write-date (sb-c::debug-source-created debug-source)
 364      :plist (sb-c::debug-source-plist debug-source))))
 365
 366 (defun translate-source-location (location)
 367   (if location
 368       (make-definition-source
 369        :pathname (let ((n (sb-c:definition-source-location-namestring location)))
 370                    (when n
 371                      (parse-namestring n)))
 372        :form-path
 373        (let ((number (sb-c:definition-source-location-toplevel-form-number
 374                          location)))
 375          (when number
 376            (list number)))
 377        :plist (sb-c:definition-source-location-plist location))
 378       (make-definition-source)))
 379
 380 ;;; This is kludgey.  We expect these functions (the underlying functions,
 381 ;;; not the closures) to be in static space and so not move ever.
 382 ;;; FIXME It's also possibly wrong: not all structures use these vanilla
 383 ;;; accessors, e.g. when the :type option is used
 384 (defvar *struct-slotplace-reader*
 385   (sb-vm::%simple-fun-self #'definition-source-pathname))
 386 (defvar *struct-slotplace-writer*
 387   (sb-vm::%simple-fun-self #'(setf definition-source-pathname)))
 388 (defvar *struct-predicate*
 389   (sb-vm::%simple-fun-self #'definition-source-p))
 390
 391 (defun struct-accessor-p (function)
 392   (let ((self (sb-vm::%simple-fun-self function)))
 393     ;; FIXME there are other kinds of struct accessor.  Fill out this list
 394     (member self (list *struct-slotplace-reader*
 395                        *struct-slotplace-writer*))))
 396
 397 (defun struct-predicate-p (function)
 398   (let ((self (sb-vm::%simple-fun-self function)))
 399     ;; FIXME there may be other structure predicate functions
 400     (member self (list *struct-predicate*))))
 401
 402 ;;; FIXME: maybe this should be renamed as FUNCTION-LAMBDA-LIST?
 403 (defun function-arglist (function)
 404   "Describe the lambda list for the extended function designator FUNCTION.
 405 Works for special-operators, macros, simple functions,
 406 interpreted functions, and generic functions.  Signals error if
 407 not found"
 408   (cond ((valid-function-name-p function)
 409          (function-arglist (or (and (symbolp function)
 410                                     (macro-function function))
 411                                (fdefinition function))))
 412         ((typep function 'generic-function)
 413          (sb-pcl::generic-function-pretty-arglist function))
 414         #+sb-eval
 415         ((typep function 'sb-eval:interpreted-function)
 416          (sb-eval:interpreted-function-lambda-list function))
 417         (t (sb-kernel:%simple-fun-arglist (sb-kernel:%fun-fun function)))))
 418
 419 (defun struct-accessor-structure-class (function)
 420   (let ((self (sb-vm::%simple-fun-self function)))
 421     (cond
 422       ((member self (list *struct-slotplace-reader* *struct-slotplace-writer*))
 423        (find-class
 424         (sb-kernel::classoid-name
 425          (sb-kernel::layout-classoid
 426           (sb-kernel:%closure-index-ref function 1)))))
 427       )))
 428
 429 (defun struct-predicate-structure-class (function)
 430   (let ((self (sb-vm::%simple-fun-self function)))
 431     (cond
 432       ((member self (list *struct-predicate*))
 433        (find-class
 434         (sb-kernel::classoid-name
 435          (sb-kernel::layout-classoid
 436           (sb-kernel:%closure-index-ref function 0)))))
 437       )))
 438
 439 ;;;; find callers/callees, liberated from Helmut Eller's code in SLIME
 440
 441 ;;; This interface is trmendously experimental.
 442
 443 ;;; For the moment I'm taking the view that FDEFN is an internal
 444 ;;; object (one out of one CMUCL developer surveyed didn't know what
 445 ;;; they were for), so these routines deal in FUNCTIONs
 446
 447 ;;; Find callers and callees by looking at the constant pool of
 448 ;;; compiled code objects.  We assume every fdefn object in the
 449 ;;; constant pool corresponds to a call to that function.  A better
 450 ;;; strategy would be to use the disassembler to find actual
 451 ;;; call-sites.
 452
 453 (defun find-function-callees (function)
 454   "Return functions called by FUNCTION."
 455   (let ((callees '()))
 456     (map-code-constants
 457      (sb-kernel:fun-code-header function)
 458      (lambda (obj)
 459        (when (sb-kernel:fdefn-p obj)
 460          (push (sb-kernel:fdefn-fun obj)
 461                callees))))
 462     callees))
 463
 464
 465 (defun find-function-callers (function &optional (spaces '(:read-only :static
 466                                                            :dynamic)))
 467   "Return functions which call FUNCTION, by searching SPACES for code objects"
 468   (let ((referrers '()))
 469     (map-caller-code-components
 470      function
 471      spaces
 472      (lambda (code)
 473        (let ((entry (sb-kernel:%code-entry-points  code)))
 474          (cond ((not entry)
 475                 (push (princ-to-string code) referrers))
 476                (t
 477                 (loop for e = entry then (sb-kernel::%simple-fun-next e)
 478                       while e
 479                       do (pushnew e referrers)))))))
 480     referrers))
 481
 482 (declaim (inline map-code-constants))
 483 (defun map-code-constants (code fn)
 484   "Call FN for each constant in CODE's constant pool."
 485   (check-type code sb-kernel:code-component)
 486   (loop for i from sb-vm:code-constants-offset below
 487         (sb-kernel:get-header-data code)
 488         do (funcall fn (sb-kernel:code-header-ref code i))))
 489
 490 (declaim (inline map-allocated-code-components))
 491 (defun map-allocated-code-components (spaces fn)
 492   "Call FN for each allocated code component in one of SPACES.  FN
 493 receives the object and its size as arguments.  SPACES should be a
 494 list of the symbols :dynamic, :static, or :read-only."
 495   (dolist (space spaces)
 496     (sb-vm::map-allocated-objects
 497      (lambda (obj header size)
 498        (when (= sb-vm:code-header-widetag header)
 499          (funcall fn obj size)))
 500      space)))
 501
 502 (declaim (inline map-caller-code-components))
 503 (defun map-caller-code-components (function spaces fn)
 504   "Call FN for each code component with a fdefn for FUNCTION in its
 505 constant pool."
 506   (let ((function (coerce function 'function)))
 507     (map-allocated-code-components
 508      spaces
 509      (lambda (obj size)
 510        (declare (ignore size))
 511        (map-code-constants
 512         obj
 513         (lambda (constant)
 514           (when (and (sb-kernel:fdefn-p constant)
 515                      (eq (sb-kernel:fdefn-fun constant)
 516                          function))
 517             (funcall fn obj))))))))
 518
 519 ;;; XREF facility
 520
 521 (defun get-simple-fun (functoid)
 522   (etypecase functoid
 523     (sb-kernel::fdefn
 524      (get-simple-fun (sb-vm::fdefn-fun functoid)))
 525     ((or null sb-impl::funcallable-instance)
 526      nil)
 527     (function
 528      (sb-kernel::%closure-fun functoid))))
 529
 530 (defun collect-xref (kind-index wanted-name)
 531   (let ((ret nil))
 532     (dolist (env sb-c::*info-environment* ret)
 533       ;; Loop through the infodb ...
 534       (sb-c::do-info (env :class class :type type :name info-name
 535                           :value value)
 536         ;; ... looking for function or macro definitions
 537         (when (and (eql class :function)
 538                    (or (eql type :macro-function)
 539                        (eql type :definition)))
 540           ;; Get a simple-fun for the definition, and an xref array
 541           ;; from the table if available.
 542           (let* ((simple-fun (get-simple-fun value))
 543                  (xrefs (when simple-fun
 544                           (sb-vm::%simple-fun-xrefs simple-fun)))
 545                  (array (when xrefs
 546                           (aref xrefs kind-index))))
 547             ;; Loop through the name/path xref entries in the table
 548             (loop for i from 0 below (length array) by 2
 549                   for xref-name = (aref array i)
 550                   for xref-path = (aref array (1+ i))
 551                   do (when (eql xref-name wanted-name)
 552                        (let ((source-location
 553                               (find-function-definition-source simple-fun)))
 554                          ;; Use the more accurate source path from
 555                          ;; the xref entry.
 556                          (setf (definition-source-form-path source-location)
 557                                xref-path)
 558                          (push (cons info-name source-location)
 559                                ret))))))))))
 560
 561 (defun who-calls (function-name)
 562   "Use the xref facility to search for source locations where the
 563 global function named FUNCTION-NAME is called. Returns a list of
 564 function name, definition-source pairs."
 565   (collect-xref #.(position :calls sb-c::*xref-kinds*) function-name))
 566
 567 (defun who-binds (symbol)
 568   "Use the xref facility to search for source locations where the
 569 special variable SYMBOL is rebound. Returns a list of function name,
 570 definition-source pairs."
 571   (collect-xref #.(position :binds sb-c::*xref-kinds*) symbol))
 572
 573 (defun who-references (symbol)
 574   "Use the xref facility to search for source locations where the
 575 special variable or constant SYMBOL is read. Returns a list of function
 576 name, definition-source pairs."
 577   (collect-xref #.(position :references sb-c::*xref-kinds*) symbol))
 578
 579 (defun who-sets (symbol)
 580   "Use the xref facility to search for source locations where the
 581 special variable SYMBOL is written to. Returns a list of function name,
 582 definition-source pairs."
 583   (collect-xref #.(position :sets sb-c::*xref-kinds*) symbol))
 584
 585 (defun who-macroexpands (macro-name)
 586   "Use the xref facility to search for source locations where the
 587 macro MACRO-NAME is expanded. Returns a list of function name,
 588 definition-source pairs."
 589   (collect-xref #.(position :macroexpands sb-c::*xref-kinds*) macro-name))
 590
 591 (provide 'sb-introspect)