src/code/run-program.lisp

   1 ;;;; RUN-PROGRAM and friends, a facility for running Unix programs
   2 ;;;; from inside SBCL
   3
   4 ;;;; This software is part of the SBCL system. See the README file for
   5 ;;;; more information.
   6 ;;;;
   7 ;;;; This software is derived from the CMU CL system, which was
   8 ;;;; written at Carnegie Mellon University and released into the
   9 ;;;; public domain. The software is in the public domain and is
  10 ;;;; provided with absolutely no warranty. See the COPYING and CREDITS
  11 ;;;; files for more information.
  12
  13 (in-package "SB-IMPL")
  14 \f
  15 ;;;; hacking the Unix environment
  16 ;;;;
  17 ;;;; In the original CMU CL code that LOAD-FOREIGN is derived from, the
  18 ;;;; Unix environment (as in "man environ") was represented as an
  19 ;;;; alist from keywords to strings, so that e.g. the Unix environment
  20 ;;;;   "SHELL=/bin/bash" "HOME=/root" "PAGER=less"
  21 ;;;; was represented as
  22 ;;;;   ((:SHELL . "/bin/bash") (:HOME . "/root") (:PAGER "less"))
  23 ;;;; This had a few problems in principle: the mapping into
  24 ;;;; keyword symbols smashed the case of environment
  25 ;;;; variables, and the whole mapping depended on the presence of
  26 ;;;; #\= characters in the environment strings. In practice these
  27 ;;;; problems weren't hugely important, since conventionally environment
  28 ;;;; variables are uppercase strings followed by #\= followed by
  29 ;;;; arbitrary data. However, since it's so manifestly not The Right
  30 ;;;; Thing to make code which breaks unnecessarily on input which
  31 ;;;; doesn't follow what is, after all, only a tradition, we've switched
  32 ;;;; formats in SBCL, so that the fundamental environment list
  33 ;;;; is just a list of strings, with a one-to-one-correspondence
  34 ;;;; to the C-level representation. I.e., in the example above,
  35 ;;;; the SBCL representation is
  36 ;;;;   '("SHELL=/bin/bash" "HOME=/root" "PAGER=less")
  37 ;;;; CMU CL's implementation is currently supported to help with porting.
  38 ;;;;
  39 ;;;; It's not obvious that this code belongs here (instead of e.g. in
  40 ;;;; unix.lisp), since it has only a weak logical connection with
  41 ;;;; RUN-PROGRAM. However, physically it's convenient to put it here.
  42 ;;;; It's not needed at cold init, so we *can* put it in this
  43 ;;;; warm-loaded file. And by putting it in this warm-loaded file, we
  44 ;;;; make it easy for it to get to the C-level 'environ' variable.
  45 ;;;; which (at least in sbcl-0.6.10 on Red Hat Linux 6.2) is not
  46 ;;;; visible at GENESIS time.
  47
  48 (def-alien-variable "environ" (* c-string))
  49
  50 (defun posix-environ ()
  51   "Return the Unix environment (\"man environ\") as a list of SIMPLE-STRINGs."
  52   (let ((reversed-result nil))
  53     (dotimes (i most-positive-fixnum (error "can't happen"))
  54       (declare (type index i))
  55       (let ((env-item (deref environ i)))
  56         (if env-item
  57             (push env-item reversed-result)
  58             (return (nreverse reversed-result)))))))
  59
  60 ;;; Convert as best we can from a SBCL representation of a Unix
  61 ;;; environment to a CMU CL representation.
  62 ;;;
  63 ;;; * (UNIX-ENVIRONMENT-CMUCL-FROM-SBCL '("Bletch=fub" "Noggin" "YES=No!"))
  64 ;;; WARNING:
  65 ;;;   smashing case of "Bletch=fub" in conversion to CMU-CL-style
  66 ;;;     environment alist
  67 ;;; WARNING:
  68 ;;;   no #\= in "Noggin", eliding it in CMU-CL-style environment alist
  69 ;;; ((:BLETCH . "fub") (:YES . "No!"))
  70 (defun unix-environment-cmucl-from-sbcl (sbcl)
  71   (mapcan
  72    (lambda (string)
  73      (declare (type simple-string string))
  74      (let ((=-pos (position #\= string :test #'equal)))
  75        (if =-pos
  76            (list
  77             (let* ((key-as-string (subseq string 0 =-pos))
  78                    (key-as-upcase-string (string-upcase key-as-string))
  79                    (key (keywordicate key-as-upcase-string))
  80                    (val (subseq string (1+ =-pos))))
  81               (unless (string= key-as-string key-as-upcase-string)
  82                 (warn "smashing case of ~S in conversion to CMU-CL-style ~
  83                       environment alist"
  84                       string))
  85               (cons key val)))
  86            (warn "no #\\= in ~S, eliding it in CMU-CL-style environment alist"
  87                  string))))
  88    sbcl))
  89
  90 ;;; Convert from a CMU CL representation of a Unix environment to a
  91 ;;; SBCL representation.
  92 (defun unix-environment-sbcl-from-cmucl (cmucl)
  93   (mapcar
  94    (lambda (cons)
  95      (destructuring-bind (key . val) cons
  96        (declare (type keyword key) (type simple-string val))
  97        (concatenate 'simple-string (symbol-name key) "=" val)))
  98    cmucl))
  99 \f
 100 ;;;; Import wait3(2) from Unix.
 101
 102 (sb-alien:def-alien-routine ("wait3" c-wait3) sb-c-call:int
 103   (status sb-c-call:int :out)
 104   (options sb-c-call:int)
 105   (rusage sb-c-call:int))
 106
 107 (defconstant wait-wnohang #-svr4 1 #+svr4 #o100)
 108 (defconstant wait-wuntraced #-svr4 2 #+svr4 4)
 109 (defconstant wait-wstopped #-svr4 #o177 #+svr4 wait-wuntraced)
 110
 111 (defun wait3 (&optional do-not-hang check-for-stopped)
 112   "Return any available status information on child process. "
 113   (multiple-value-bind (pid status)
 114       (c-wait3 (logior (if do-not-hang
 115                            wait-wnohang
 116                            0)
 117                        (if check-for-stopped
 118                            wait-wuntraced
 119                            0))
 120                0)
 121     (cond ((or (minusp pid)
 122                (zerop pid))
 123            nil)
 124           ((eql (ldb (byte 8 0) status)
 125                 wait-wstopped)
 126            (values pid
 127                    :stopped
 128                    (ldb (byte 8 8) status)))
 129           ((zerop (ldb (byte 7 0) status))
 130            (values pid
 131                    :exited
 132                    (ldb (byte 8 8) status)))
 133           (t
 134            (let ((signal (ldb (byte 7 0) status)))
 135              (values pid
 136                      (if (or (eql signal sb-unix:sigstop)
 137                              (eql signal sb-unix:sigtstp)
 138                              (eql signal sb-unix:sigttin)
 139                              (eql signal sb-unix:sigttou))
 140                          :stopped
 141                          :signaled)
 142                      signal
 143                      (not (zerop (ldb (byte 1 7) status)))))))))
 144 \f
 145 ;;;; process control stuff
 146
 147 (defvar *active-processes* nil
 148   "List of process structures for all active processes.")
 149
 150 (defstruct (process)
 151   pid                 ; PID of child process
 152   %status             ; either :RUNNING, :STOPPED, :EXITED, or :SIGNALED
 153   exit-code           ; either exit code or signal
 154   core-dumped         ; T if a core image was dumped
 155   pty                 ; stream to child's pty, or NIL
 156   input               ; stream to child's input, or NIL
 157   output              ; stream from child's output, or NIL
 158   error               ; stream from child's error output, or NIL
 159   status-hook         ; closure to call when PROC changes status
 160   plist               ; a place for clients to stash things
 161   cookie)             ; list of the number of pipes from the subproc
 162
 163 (defmethod print-object ((process process) stream)
 164   (print-unreadable-object (process stream :type t)
 165     (format stream
 166             "~D ~S"
 167             (process-pid process)
 168             (process-status process)))
 169   process)
 170
 171 (defun process-status (proc)
 172   "Return the current status of process.  The result is one of :RUNNING,
 173    :STOPPED, :EXITED, or :SIGNALED."
 174   (get-processes-status-changes)
 175   (process-%status proc))
 176
 177 (defun process-wait (proc &optional check-for-stopped)
 178   "Wait for PROC to quit running for some reason.  Returns PROC."
 179   (loop
 180       (case (process-status proc)
 181         (:running)
 182         (:stopped
 183          (when check-for-stopped
 184            (return)))
 185         (t
 186          (when (zerop (car (process-cookie proc)))
 187            (return))))
 188       (sb-sys:serve-all-events 1))
 189   proc)
 190
 191 #-hpux
 192 ;;; Find the current foreground process group id.
 193 (defun find-current-foreground-process (proc)
 194   (sb-alien:with-alien ((result sb-c-call:int))
 195     (multiple-value-bind
 196           (wonp error)
 197         (sb-unix:unix-ioctl (sb-sys:fd-stream-fd (process-pty proc))
 198                             sb-unix:TIOCGPGRP
 199                             (sb-alien:alien-sap (sb-alien:addr result)))
 200       (unless wonp
 201         (error "TIOCPGRP ioctl failed: ~S"
 202                (sb-unix:get-unix-error-msg error)))
 203       result))
 204   (process-pid proc))
 205
 206 (defun process-kill (proc signal &optional (whom :pid))
 207   "Hand SIGNAL to PROC. If WHOM is :PID, use the kill Unix system call. If
 208    WHOM is :PROCESS-GROUP, use the killpg Unix system call. If WHOM is
 209    :PTY-PROCESS-GROUP deliver the signal to whichever process group is
 210    currently in the foreground."
 211   (let ((pid (ecase whom
 212                ((:pid :process-group)
 213                 (process-pid proc))
 214                (:pty-process-group
 215                 #-hpux
 216                 (find-current-foreground-process proc)))))
 217     (multiple-value-bind
 218           (okay errno)
 219         (case whom
 220           #+hpux
 221           (:pty-process-group
 222            (sb-unix:unix-ioctl (sb-sys:fd-stream-fd (process-pty proc))
 223                                sb-unix:TIOCSIGSEND
 224                                (sb-sys:int-sap
 225                                 (sb-unix:unix-signal-number signal))))
 226           ((:process-group #-hpux :pty-process-group)
 227            (sb-unix:unix-killpg pid signal))
 228           (t
 229            (sb-unix:unix-kill pid signal)))
 230       (cond ((not okay)
 231              (values nil errno))
 232             ((and (eql pid (process-pid proc))
 233                   (= (sb-unix:unix-signal-number signal) sb-unix:sigcont))
 234              (setf (process-%status proc) :running)
 235              (setf (process-exit-code proc) nil)
 236              (when (process-status-hook proc)
 237                (funcall (process-status-hook proc) proc))
 238              t)
 239             (t
 240              t)))))
 241
 242 (defun process-alive-p (proc)
 243   "Return T if the process is still alive, NIL otherwise."
 244   (let ((status (process-status proc)))
 245     (if (or (eq status :running)
 246             (eq status :stopped))
 247         t
 248         nil)))
 249
 250 (defun process-close (proc)
 251   "Close all streams connected to PROC and stop maintaining the status slot."
 252   (macrolet ((frob (stream abort)
 253                `(when ,stream (close ,stream :abort ,abort))))
 254     (frob (process-pty    proc)   t) ; Don't FLUSH-OUTPUT to dead process, ..
 255     (frob (process-input  proc)   t) ; .. 'cause it will generate SIGPIPE.
 256     (frob (process-output proc) nil)
 257     (frob (process-error  proc) nil))
 258   (sb-sys:without-interrupts
 259    (setf *active-processes* (delete proc *active-processes*)))
 260   proc)
 261
 262 ;;; the handler for sigchld signals that RUN-PROGRAM establishes
 263 (defun sigchld-handler (ignore1 ignore2 ignore3)
 264   (declare (ignore ignore1 ignore2 ignore3))
 265   (get-processes-status-changes))
 266
 267 (defun get-processes-status-changes ()
 268   (loop
 269       (multiple-value-bind (pid what code core)
 270           (wait3 t t)
 271         (unless pid
 272           (return))
 273         (let ((proc (find pid *active-processes* :key #'process-pid)))
 274           (when proc
 275             (setf (process-%status proc) what)
 276             (setf (process-exit-code proc) code)
 277             (setf (process-core-dumped proc) core)
 278             (when (process-status-hook proc)
 279               (funcall (process-status-hook proc) proc))
 280             (when (or (eq what :exited)
 281                       (eq what :signaled))
 282               (sb-sys:without-interrupts
 283                (setf *active-processes*
 284                      (delete proc *active-processes*)))))))))
 285 \f
 286 ;;;; RUN-PROGRAM and close friends
 287
 288 (defvar *close-on-error* nil
 289   "List of file descriptors to close when RUN-PROGRAM exits due to an error.")
 290 (defvar *close-in-parent* nil
 291   "List of file descriptors to close when RUN-PROGRAM returns in the parent.")
 292 (defvar *handlers-installed* nil
 293   "List of handlers installed by RUN-PROGRAM.")
 294
 295 #+FreeBSD
 296 (def-alien-type nil
 297   (struct sgttyb
 298           (sg-ispeed sb-c-call:char)    ; input speed
 299           (sg-ospeed sb-c-call:char)    ; output speed
 300           (sg-erase sb-c-call:char)     ; erase character
 301           (sg-kill sb-c-call:char)      ; kill character
 302           (sg-flags sb-c-call:short)))  ; mode flags
 303 #+OpenBSD
 304 (def-alien-type nil
 305   (struct sgttyb
 306           (sg-four sb-c-call:int)
 307           (sg-chars (array sb-c-call:char 4))
 308           (sg-flags sb-c-call:int)))
 309
 310 ;;; Find a pty that is not in use. Return three values: the file
 311 ;;; descriptor for the master side of the pty, the file descriptor for
 312 ;;; the slave side of the pty, and the name of the tty device for the
 313 ;;; slave side.
 314 (defun find-a-pty ()
 315   (dolist (char '(#\p #\q))
 316     (dotimes (digit 16)
 317       (let* ((master-name (format nil "/dev/pty~C~X" char digit))
 318              (master-fd (sb-unix:unix-open master-name
 319                                            sb-unix:o_rdwr
 320                                            #o666)))
 321         (when master-fd
 322           (let* ((slave-name (format nil "/dev/tty~C~X" char digit))
 323                  (slave-fd (sb-unix:unix-open slave-name
 324                                               sb-unix:o_rdwr
 325                                               #o666)))
 326             (when slave-fd
 327               ;; comment from classic CMU CL:
 328               ;;   Maybe put a vhangup here?
 329               ;;
 330               ;; FIXME: It seems as though this logic should be in
 331               ;; OPEN-PTY, not FIND-A-PTY (both from the comments
 332               ;; documenting DEFUN FIND-A-PTY, and from the
 333               ;; connotations of the function names).
 334               ;;
 335               ;; FIXME: It would be nice to have a note, and/or a pointer
 336               ;; to some reference material somewhere, explaining
 337               ;; why we need this on *BSD and not on Linux.
 338               #+bsd
 339               (sb-alien:with-alien ((stuff (sb-alien:struct sgttyb)))
 340                 (let ((sap (sb-alien:alien-sap stuff)))
 341                   (sb-unix:unix-ioctl slave-fd sb-unix:TIOCGETP sap)
 342                   (setf (sb-alien:slot stuff 'sg-flags)
 343                         ;; This is EVENP|ODDP, the same numeric code
 344                         ;; both on FreeBSD and on OpenBSD. -- WHN 20000929
 345                         #o300) ; EVENP|ODDP
 346                   (sb-unix:unix-ioctl slave-fd sb-unix:TIOCSETP sap)
 347                   (sb-unix:unix-ioctl master-fd sb-unix:TIOCGETP sap)
 348                   (setf (sb-alien:slot stuff 'sg-flags)
 349                         (logand (sb-alien:slot stuff 'sg-flags)
 350                                 ;; This is ~ECHO, the same numeric
 351                                 ;; code both on FreeBSD and on OpenBSD.
 352                                 ;; -- WHN 20000929
 353                                 (lognot 8))) ; ~ECHO
 354                   (sb-unix:unix-ioctl master-fd sb-unix:TIOCSETP sap)))
 355               (return-from find-a-pty
 356                 (values master-fd
 357                         slave-fd
 358                         slave-name)))
 359             (sb-unix:unix-close master-fd))))))
 360   (error "could not find a pty"))
 361
 362 (defun open-pty (pty cookie)
 363   (when pty
 364     (multiple-value-bind
 365           (master slave name)
 366         (find-a-pty)
 367       (push master *close-on-error*)
 368       (push slave *close-in-parent*)
 369       (when (streamp pty)
 370         (multiple-value-bind (new-fd errno) (sb-unix:unix-dup master)
 371           (unless new-fd
 372             (error "could not SB-UNIX:UNIX-DUP ~D: ~S"
 373                    master (sb-unix:get-unix-error-msg errno)))
 374           (push new-fd *close-on-error*)
 375           (copy-descriptor-to-stream new-fd pty cookie)))
 376       (values name
 377               (sb-sys:make-fd-stream master :input t :output t)))))
 378
 379 (defmacro round-bytes-to-words (n)
 380   `(logand (the fixnum (+ (the fixnum ,n) 3)) (lognot 3)))
 381
 382 (defun string-list-to-c-strvec (string-list)
 383   ;; Make a pass over STRING-LIST to calculate the amount of memory
 384   ;; needed to hold the strvec.
 385   (let ((string-bytes 0)
 386         ;; We need an extra for the null, and an extra 'cause exect
 387         ;; clobbers argv[-1].
 388         (vec-bytes (* #-alpha 4 #+alpha 8 (+ (length string-list) 2))))
 389     (declare (fixnum string-bytes vec-bytes))
 390     (dolist (s string-list)
 391       (check-type s simple-string)
 392       (incf string-bytes (round-bytes-to-words (1+ (length s)))))
 393     ;; Now allocate the memory and fill it in.
 394     (let* ((total-bytes (+ string-bytes vec-bytes))
 395            (vec-sap (sb-sys:allocate-system-memory total-bytes))
 396            (string-sap (sap+ vec-sap vec-bytes))
 397            (i #-alpha 4 #+alpha 8))
 398       (declare (type (and unsigned-byte fixnum) total-bytes i)
 399                (type sb-sys:system-area-pointer vec-sap string-sap))
 400       (dolist (s string-list)
 401         (declare (simple-string s))
 402         (let ((n (length s)))
 403           ;; Blast the string into place.
 404           (sb-kernel:copy-to-system-area (the simple-string s)
 405                                          (* sb-vm:vector-data-offset
 406                                             sb-vm:word-bits)
 407                                          string-sap 0
 408                                          (* (1+ n) sb-vm:byte-bits))
 409           ;; Blast the pointer to the string into place.
 410           (setf (sap-ref-sap vec-sap i) string-sap)
 411           (setf string-sap (sap+ string-sap (round-bytes-to-words (1+ n))))
 412           (incf i #-alpha 4 #+alpha 8)))
 413       ;; Blast in the last null pointer.
 414       (setf (sap-ref-sap vec-sap i) (int-sap 0))
 415       (values vec-sap (sap+ vec-sap #-alpha 4 #+alpha 8) total-bytes))))
 416
 417 (defmacro with-c-strvec ((var str-list) &body body)
 418   (let ((sap (gensym "SAP-"))
 419         (size (gensym "SIZE-")))
 420     `(multiple-value-bind
 421       (,sap ,var ,size)
 422       (string-list-to-c-strvec ,str-list)
 423       (unwind-protect
 424            (progn
 425              ,@body)
 426         (sb-sys:deallocate-system-memory ,sap ,size)))))
 427
 428 (sb-alien:def-alien-routine spawn sb-c-call:int
 429   (program sb-c-call:c-string)
 430   (argv (* sb-c-call:c-string))
 431   (envp (* sb-c-call:c-string))
 432   (pty-name sb-c-call:c-string)
 433   (stdin sb-c-call:int)
 434   (stdout sb-c-call:int)
 435   (stderr sb-c-call:int))
 436
 437 ;;; FIXME: There shouldn't be two semiredundant versions of the
 438 ;;; documentation. Since this is a public extension function, the
 439 ;;; documentation should be in the doc string. So all information from
 440 ;;; this comment should be merged into the doc string, and then this
 441 ;;; comment can go away.
 442 ;;;
 443 ;;; RUN-PROGRAM uses fork() and execve() to run a different program.
 444 ;;; Strange stuff happens to keep the Unix state of the world
 445 ;;; coherent.
 446 ;;;
 447 ;;; The child process needs to get its input from somewhere, and send
 448 ;;; its output (both standard and error) to somewhere. We have to do
 449 ;;; different things depending on where these somewheres really are.
 450 ;;;
 451 ;;; For input, there are five options:
 452 ;;;  -- T: Just leave fd 0 alone. Pretty simple.
 453 ;;;  -- "file": Read from the file. We need to open the file and
 454 ;;;     pull the descriptor out of the stream. The parent should close
 455 ;;;     this stream after the child is up and running to free any
 456 ;;;     storage used in the parent.
 457 ;;;  -- NIL: Same as "file", but use "/dev/null" as the file.
 458 ;;;  -- :STREAM: Use Unix pipe() to create two descriptors. Use
 459 ;;;     SB-SYS:MAKE-FD-STREAM to create the output stream on the
 460 ;;;     writeable descriptor, and pass the readable descriptor to
 461 ;;;     the child. The parent must close the readable descriptor for
 462 ;;;     EOF to be passed up correctly.
 463 ;;;  -- a stream: If it's a fd-stream, just pull the descriptor out
 464 ;;;     of it. Otherwise make a pipe as in :STREAM, and copy
 465 ;;;     everything across.
 466 ;;;
 467 ;;; For output, there are five options:
 468 ;;;  -- T: Leave descriptor 1 alone.
 469 ;;;  -- "file": dump output to the file.
 470 ;;;  -- NIL: dump output to /dev/null.
 471 ;;;  -- :STREAM: return a stream that can be read from.
 472 ;;;  -- a stream: if it's a fd-stream, use the descriptor in it.
 473 ;;;     Otherwise, copy stuff from output to stream.
 474 ;;;
 475 ;;; For error, there are all the same options as output plus:
 476 ;;;  -- :OUTPUT: redirect to the same place as output.
 477 ;;;
 478 ;;; RUN-PROGRAM returns a PROCESS structure for the process if
 479 ;;; the fork worked, and NIL if it did not.
 480 (defun run-program (program args
 481                     &key
 482                     (env nil env-p)
 483                     (environment (if env-p
 484                                      (unix-environment-sbcl-from-cmucl env)
 485                                      (posix-environ))
 486                                  environment-p)
 487                     (wait t)
 488                     pty
 489                     input
 490                     if-input-does-not-exist
 491                     output
 492                     (if-output-exists :error)
 493                     (error :output)
 494                     (if-error-exists :error)
 495                     status-hook)
 496   "RUN-PROGRAM creates a new Unix process running the Unix program found in
 497    the file specified by the PROGRAM argument.  ARGS are the standard
 498    arguments that can be passed to a Unix program. For no arguments, use NIL
 499    (which means that just the name of the program is passed as arg 0).
 500
 501    RUN-PROGRAM will either return NIL or a PROCESS structure.  See the CMU
 502    Common Lisp Users Manual for details about the PROCESS structure.
 503
 504    notes about Unix environments (as in the :ENVIRONMENT and :ENV args):
 505      1. The SBCL implementation of RUN-PROGRAM, like Perl and many other
 506         programs, but unlike the original CMU CL implementation, copies
 507         the Unix environment by default.
 508      2. Running Unix programs from a setuid process, or in any other
 509         situation where the Unix environment is under the control of someone
 510         else, is a mother lode of security problems. If you are contemplating
 511         doing this, read about it first. (The Perl community has a lot of good
 512         documentation about this and other security issues in script-like
 513         programs.)
 514
 515    The keyword arguments have the following meanings:
 516      :ENVIRONMENT
 517         a list of SIMPLE-STRINGs describing the new Unix environment (as
 518         in \"man environ\"). The default is to copy the environment of
 519         the current process.
 520      :ENV
 521         an alternative lossy representation of the new Unix environment,
 522         for compatibility with CMU CL
 523      :WAIT
 524         If non-NIL (default), wait until the created process finishes.  If
 525         NIL, continue running Lisp until the program finishes.
 526      :PTY
 527         Either T, NIL, or a stream.  Unless NIL, the subprocess is established
 528         under a PTY.  If :pty is a stream, all output to this pty is sent to
 529         this stream, otherwise the PROCESS-PTY slot is filled in with a stream
 530         connected to pty that can read output and write input.
 531      :INPUT
 532         Either T, NIL, a pathname, a stream, or :STREAM.  If T, the standard
 533         input for the current process is inherited.  If NIL, /dev/null
 534         is used.  If a pathname, the file so specified is used.  If a stream,
 535         all the input is read from that stream and send to the subprocess.  If
 536         :STREAM, the PROCESS-INPUT slot is filled in with a stream that sends
 537         its output to the process. Defaults to NIL.
 538      :IF-INPUT-DOES-NOT-EXIST (when :INPUT is the name of a file)
 539         can be one of:
 540            :ERROR to generate an error
 541            :CREATE to create an empty file
 542            NIL (the default) to return NIL from RUN-PROGRAM
 543      :OUTPUT
 544         Either T, NIL, a pathname, a stream, or :STREAM.  If T, the standard
 545         output for the current process is inherited.  If NIL, /dev/null
 546         is used.  If a pathname, the file so specified is used.  If a stream,
 547         all the output from the process is written to this stream. If
 548         :STREAM, the PROCESS-OUTPUT slot is filled in with a stream that can
 549         be read to get the output. Defaults to NIL.
 550      :IF-OUTPUT-EXISTS (when :OUTPUT is the name of a file)
 551         can be one of:
 552            :ERROR (the default) to generate an error
 553            :SUPERSEDE to supersede the file with output from the program
 554            :APPEND to append output from the program to the file
 555            NIL to return NIL from RUN-PROGRAM, without doing anything
 556      :ERROR and :IF-ERROR-EXISTS
 557         Same as :OUTPUT and :IF-OUTPUT-EXISTS, except that :ERROR can also be
 558         specified as :OUTPUT in which case all error output is routed to the
 559         same place as normal output.
 560      :STATUS-HOOK
 561         This is a function the system calls whenever the status of the
 562         process changes.  The function takes the process as an argument."
 563
 564   (when (and env-p environment-p)
 565     (error "can't specify :ENV and :ENVIRONMENT simultaneously"))
 566   ;; Make sure that the interrupt handler is installed.
 567   (sb-sys:enable-interrupt sb-unix:sigchld #'sigchld-handler)
 568   ;; Make sure that all the args are okay.
 569   (unless (every #'simple-string-p args)
 570     (error "All arguments to program must be simple strings: ~S" args))
 571   ;; Prepend the program to the argument list.
 572   (push (namestring program) args)
 573   (let (;; Clear various specials used by GET-DESCRIPTOR-FOR to
 574         ;; communicate cleanup info.
 575         *close-on-error*
 576         *close-in-parent*
 577         *handlers-installed*
 578         ;; Establish PROC at this level so that we can return it.
 579         proc)
 580     (unwind-protect
 581          (let (;; FIXME: The old code here used to do
 582                ;;   (MERGE-PATHNAMES PROGRAM "path:"),
 583                ;; which is the right idea (searching through the Unix
 584                ;; PATH). Unfortunately, there is no logical pathname
 585                ;; "path:" defined in sbcl-0.6.10. It would probably be
 586                ;; reasonable to restore Unix PATH searching in SBCL, e.g.
 587                ;; with a function FIND-EXECUTABLE-FILE-IN-POSIX-PATH.
 588                ;; (I don't want to do it with search lists the way
 589                ;; that CMU CL did, because those are a non-ANSI
 590                ;; extension which I'd like to get rid of. -- WHN)
 591                (pfile (unix-namestring program t t))
 592                (cookie (list 0)))
 593            (unless pfile
 594              (error "no such program: ~S" program))
 595            (multiple-value-bind (stdin input-stream)
 596                (get-descriptor-for input cookie :direction :input
 597                                    :if-does-not-exist if-input-does-not-exist)
 598              (multiple-value-bind (stdout output-stream)
 599                  (get-descriptor-for output cookie :direction :output
 600                                      :if-exists if-output-exists)
 601                (multiple-value-bind (stderr error-stream)
 602                    (if (eq error :output)
 603                        (values stdout output-stream)
 604                        (get-descriptor-for error cookie :direction :output
 605                                            :if-exists if-error-exists))
 606                  (multiple-value-bind (pty-name pty-stream)
 607                      (open-pty pty cookie)
 608                    ;; Make sure we are not notified about the child
 609                    ;; death before we have installed the PROCESS
 610                    ;; structure in *ACTIVE-PROCESSES*.
 611                    (sb-sys:without-interrupts
 612                     (with-c-strvec (args-vec args)
 613                       (with-c-strvec (environment-vec environment)
 614                         (let ((child-pid
 615                                (without-gcing
 616                                 (spawn pfile args-vec environment-vec pty-name
 617                                        stdin stdout stderr))))
 618                           (when (< child-pid 0)
 619                             (error "could not fork child process: ~S"
 620                                    (sb-unix:get-unix-error-msg)))
 621                           (setf proc (make-process :pid child-pid
 622                                                    :%status :running
 623                                                    :pty pty-stream
 624                                                    :input input-stream
 625                                                    :output output-stream
 626                                                    :error error-stream
 627                                                    :status-hook status-hook
 628                                                    :cookie cookie))
 629                           (push proc *active-processes*))))))))))
 630       (dolist (fd *close-in-parent*)
 631         (sb-unix:unix-close fd))
 632       (unless proc
 633         (dolist (fd *close-on-error*)
 634           (sb-unix:unix-close fd))
 635         (dolist (handler *handlers-installed*)
 636           (sb-sys:remove-fd-handler handler))))
 637     (when (and wait proc)
 638       (process-wait proc))
 639     proc))
 640
 641 ;;; Install a handler for any input that shows up on the file
 642 ;;; descriptor. The handler reads the data and writes it to the
 643 ;;; stream.
 644 (defun copy-descriptor-to-stream (descriptor stream cookie)
 645   (incf (car cookie))
 646   (let ((string (make-string 256))
 647         handler)
 648     (setf handler
 649           (sb-sys:add-fd-handler
 650            descriptor
 651            :input #'(lambda (fd)
 652                       (declare (ignore fd))
 653                       (loop
 654                           (unless handler
 655                             (return))
 656                           (multiple-value-bind
 657                                 (result readable/errno)
 658                               (sb-unix:unix-select (1+ descriptor)
 659                                                    (ash 1 descriptor)
 660                                                    0 0 0)
 661                             (cond ((null result)
 662                                    (error "could not select on sub-process: ~S"
 663                                           (sb-unix:get-unix-error-msg
 664                                            readable/errno)))
 665                                   ((zerop result)
 666                                    (return))))
 667                         (sb-alien:with-alien ((buf (sb-alien:array
 668                                                     sb-c-call:char
 669                                                     256)))
 670                           (multiple-value-bind
 671                                 (count errno)
 672                               (sb-unix:unix-read descriptor
 673                                                  (alien-sap buf)
 674                                                  256)
 675                             (cond ((or (and (null count)
 676                                             (eql errno sb-unix:eio))
 677                                        (eql count 0))
 678                                    (sb-sys:remove-fd-handler handler)
 679                                    (setf handler nil)
 680                                    (decf (car cookie))
 681                                    (sb-unix:unix-close descriptor)
 682                                    (return))
 683                                   ((null count)
 684                                    (sb-sys:remove-fd-handler handler)
 685                                    (setf handler nil)
 686                                    (decf (car cookie))
 687                                    (error "could not read input from sub-process: ~S"
 688                                           (sb-unix:get-unix-error-msg errno)))
 689                                   (t
 690                                    (sb-kernel:copy-from-system-area
 691                                     (alien-sap buf) 0
 692                                     string (* sb-vm:vector-data-offset
 693                                               sb-vm:word-bits)
 694                                     (* count sb-vm:byte-bits))
 695                                    (write-string string stream
 696                                                  :end count)))))))))))
 697
 698 ;;; Find a file descriptor to use for object given the direction.
 699 ;;; Returns the descriptor. If object is :STREAM, returns the created
 700 ;;; stream as the second value.
 701 (defun get-descriptor-for (object
 702                            cookie
 703                            &rest keys
 704                            &key direction
 705                            &allow-other-keys)
 706   (cond ((eq object t)
 707          ;; No new descriptor is needed.
 708          (values -1 nil))
 709         ((eq object nil)
 710          ;; Use /dev/null.
 711          (multiple-value-bind
 712                (fd errno)
 713              (sb-unix:unix-open "/dev/null"
 714                                 (case direction
 715                                   (:input sb-unix:o_rdonly)
 716                                   (:output sb-unix:o_wronly)
 717                                   (t sb-unix:o_rdwr))
 718                                 #o666)
 719            (unless fd
 720              (error "could not open \"/dev/null\": ~S"
 721                     (sb-unix:get-unix-error-msg errno)))
 722            (push fd *close-in-parent*)
 723            (values fd nil)))
 724         ((eq object :stream)
 725          (multiple-value-bind
 726                (read-fd write-fd)
 727              (sb-unix:unix-pipe)
 728            (unless read-fd
 729              (error "could not create pipe: ~S"
 730                     (sb-unix:get-unix-error-msg write-fd)))
 731            (case direction
 732              (:input
 733               (push read-fd *close-in-parent*)
 734               (push write-fd *close-on-error*)
 735               (let ((stream (sb-sys:make-fd-stream write-fd :output t)))
 736                 (values read-fd stream)))
 737              (:output
 738               (push read-fd *close-on-error*)
 739               (push write-fd *close-in-parent*)
 740               (let ((stream (sb-sys:make-fd-stream read-fd :input t)))
 741                 (values write-fd stream)))
 742              (t
 743               (sb-unix:unix-close read-fd)
 744               (sb-unix:unix-close write-fd)
 745               (error "Direction must be either :INPUT or :OUTPUT, not ~S."
 746                      direction)))))
 747         ((or (pathnamep object) (stringp object))
 748          (with-open-stream (file (apply #'open object keys))
 749            (multiple-value-bind
 750                  (fd errno)
 751                (sb-unix:unix-dup (sb-sys:fd-stream-fd file))
 752              (cond (fd
 753                     (push fd *close-in-parent*)
 754                     (values fd nil))
 755                    (t
 756                     (error "could not duplicate file descriptor: ~S"
 757                            (sb-unix:get-unix-error-msg errno)))))))
 758         ((sb-sys:fd-stream-p object)
 759          (values (sb-sys:fd-stream-fd object) nil))
 760         ((streamp object)
 761          (ecase direction
 762            (:input
 763             ;; FIXME: We could use a better way of setting up
 764             ;; temporary files, both here and in LOAD-FOREIGN.
 765             (dotimes (count
 766                        256
 767                       (error "could not open a temporary file in /tmp"))
 768               (let* ((name (format nil "/tmp/.run-program-~D" count))
 769                      (fd (sb-unix:unix-open name
 770                                             (logior sb-unix:o_rdwr
 771                                                     sb-unix:o_creat
 772                                                     sb-unix:o_excl)
 773                                             #o666)))
 774                 (sb-unix:unix-unlink name)
 775                 (when fd
 776                   (let ((newline (string #\Newline)))
 777                     (loop
 778                         (multiple-value-bind
 779                               (line no-cr)
 780                             (read-line object nil nil)
 781                           (unless line
 782                             (return))
 783                           (sb-unix:unix-write fd line 0 (length line))
 784                           (if no-cr
 785                               (return)
 786                               (sb-unix:unix-write fd newline 0 1)))))
 787                   (sb-unix:unix-lseek fd 0 sb-unix:l_set)
 788                   (push fd *close-in-parent*)
 789                   (return (values fd nil))))))
 790            (:output
 791             (multiple-value-bind (read-fd write-fd)
 792                 (sb-unix:unix-pipe)
 793               (unless read-fd
 794                 (error "could not create pipe: ~S"
 795                        (sb-unix:get-unix-error-msg write-fd)))
 796               (copy-descriptor-to-stream read-fd object cookie)
 797               (push read-fd *close-on-error*)
 798               (push write-fd *close-in-parent*)
 799               (values write-fd nil)))))
 800         (t
 801          (error "invalid option to RUN-PROGRAM: ~S" object))))