tests/run-tests.lisp

   1 #+#.(cl:if (cl:find-package "ASDF") '(or) '(and))
   2 (load (merge-pathnames "../contrib/asdf/asdf.fasl"))
   3
   4 #+#.(cl:if (cl:find-package "SB-POSIX") '(or) '(and))
   5 (let ((asdf:*central-registry*
   6        (cons "../contrib/systems/" asdf:*central-registry*)))
   7   (asdf:oos 'asdf:load-op 'sb-posix))
   8
   9 (load "test-util.lisp")
  10
  11 (defpackage :run-tests
  12     (:use :cl :test-util :sb-ext))
  13
  14 (load "assertoid.lisp")
  15
  16 (in-package run-tests)
  17
  18 (defvar *all-failures* nil)
  19 (defvar *break-on-error* nil)
  20 (defvar *accept-files* nil)
  21
  22 (defun run-all ()
  23   (dolist (arg (cdr *posix-argv*))
  24     (cond ((string= arg "--break-on-failure")
  25            (setf *break-on-error* t)
  26            (setf test-util:*break-on-failure* t))
  27           ((string= arg "--break-on-expected-failure")
  28            (setf test-util:*break-on-expected-failure* t))
  29           (t
  30            (push (truename (parse-namestring arg)) *accept-files*))))
  31   (pure-runner (pure-load-files) #'load-test)
  32   (pure-runner (pure-cload-files) #'cload-test)
  33   (impure-runner (impure-load-files) #'load-test)
  34   (impure-runner (impure-cload-files) #'cload-test)
  35   (impure-runner (sh-files) #'sh-test)
  36   (report)
  37   (sb-ext:quit :unix-status (if (unexpected-failures)
  38                                 1
  39                                 104)))
  40
  41 (defun report ()
  42   (terpri)
  43   (format t "Finished running tests.~%")
  44   (cond (*all-failures*
  45          (format t "Status:~%")
  46          (dolist (fail (reverse *all-failures*))
  47            (cond ((eq (car fail) :unhandled-error)
  48                   (format t " ~20a ~a~%"
  49                           "Unhandled error"
  50                           (enough-namestring (second fail))))
  51                  ((eq (car fail) :invalid-exit-status)
  52                   (format t " ~20a ~a~%"
  53                           "Invalid exit status:"
  54                           (enough-namestring (second fail))))
  55                  (t
  56                   (format t " ~20a ~a / ~a~%"
  57                           (ecase (first fail)
  58                             (:expected-failure "Expected failure:")
  59                             (:unexpected-failure "Failure:")
  60                             (:unexpected-success "Unexcepted success:"))
  61                           (enough-namestring (second fail))
  62                           (third fail))))))
  63         (t
  64          (format t "All tests succeeded~%"))))
  65
  66 (defun pure-runner (files test-fun)
  67   (format t "// Running pure tests (~a)~%" test-fun)
  68   (let ((*package* (find-package :cl-user))
  69         (*failures* nil))
  70     (setup-cl-user)
  71     (dolist (file files)
  72       (when (accept-test-file file)
  73         (format t "// Running ~a~%" file)
  74         (handler-case
  75             (funcall test-fun file)
  76           (error (error)
  77                  (push (list :unhandled-error file)
  78                        *all-failures*)
  79                  (when *break-on-error*
  80                    (test-util:really-invoke-debugger error))))))
  81     (append-failures)))
  82
  83 (defun impure-runner (files test-fun)
  84   (format t "// Running impure tests (~a)~%" test-fun)
  85   (let ((*package* (find-package :cl-user)))
  86     (setup-cl-user)
  87     (dolist (file files)
  88       (when (accept-test-file file)
  89         (force-output)
  90         (let ((pid (sb-posix:fork)))
  91           (cond ((= pid 0)
  92                  (format t "// Running ~a~%" file)
  93                  (handler-case
  94                      (funcall test-fun file)
  95                    (error (error)
  96                           (push (list :unhandled-error file) *failures*)
  97                           (when *break-on-error*
  98                             (test-util:really-invoke-debugger error))))
  99                  (report-test-status)
 100                  (sb-ext:quit :unix-status 104))
 101                 (t
 102                  (let ((status (make-array 1 :element-type '(signed-byte 32))))
 103                    (sb-posix:waitpid pid 0 status)
 104                    (if (and (sb-posix:wifexited (aref status 0))
 105                             (= (sb-posix:wexitstatus (aref status 0))
 106                                104))
 107                        (with-open-file (stream "test-status.lisp-expr"
 108                                                :direction :input
 109                                                :if-does-not-exist :error)
 110                          (append-failures (read stream)))
 111                        (push (list :invalid-exit-status file)
 112                              *all-failures*))))))))))
 113
 114 (defun append-failures (&optional (failures *failures*))
 115   (setf *all-failures* (append failures *all-failures*)))
 116
 117 (defun unexpected-failures ()
 118   (remove-if (lambda (x) (eq (car x) :expected-failure)) *all-failures*))
 119
 120 (defun setup-cl-user ()
 121   (use-package :test-util)
 122   (use-package :assertoid))
 123
 124 (defun load-test (file)
 125   (load file))
 126
 127 (defun cload-test (file)
 128   (let ((compile-name (compile-file-pathname file)))
 129     (unwind-protect
 130          (progn
 131            (compile-file file)
 132            (load compile-name))
 133       (ignore-errors
 134         (delete-file compile-name)))))
 135
 136 (defun sh-test (file)
 137   ;; What? No SB-POSIX:EXECV?
 138   (let ((process (sb-ext:run-program "/bin/sh"
 139                                      (list (namestring file))
 140                                      :output *error-output*)))
 141     (sb-ext:quit :unix-status (process-exit-code process))))
 142
 143 (defun accept-test-file (file)
 144   (if *accept-files*
 145       (find (truename file) *accept-files* :test #'equalp)
 146       t))
 147
 148 (defun pure-load-files ()
 149   (directory "*.pure.lisp"))
 150
 151 (defun pure-cload-files ()
 152   (directory "*.pure-cload.lisp"))
 153
 154 (defun impure-load-files ()
 155   (directory "*.impure.lisp"))
 156
 157 (defun impure-cload-files ()
 158   (directory "*.impure-cload.lisp"))
 159
 160 (defun sh-files ()
 161   (directory "*.test.sh"))