0.pre7.59:
[sbcl.git] / src / code / run-program.lisp
index 7db3ff5..0e73a96 100644 (file)
 ;;;; provided with absolutely no warranty. See the COPYING and CREDITS
 ;;;; files for more information.
 
-(in-package "SB-EXT")
+(in-package "SB-IMPL") ;(SB-IMPL, not SB!IMPL, since we're built in warm load.)
+\f
+;;;; hacking the Unix environment
+;;;;
+;;;; In the original CMU CL code that LOAD-FOREIGN is derived from, the
+;;;; Unix environment (as in "man environ") was represented as an
+;;;; alist from keywords to strings, so that e.g. the Unix environment
+;;;;   "SHELL=/bin/bash" "HOME=/root" "PAGER=less"
+;;;; was represented as
+;;;;   ((:SHELL . "/bin/bash") (:HOME . "/root") (:PAGER "less"))
+;;;; This had a few problems in principle: the mapping into
+;;;; keyword symbols smashed the case of environment
+;;;; variables, and the whole mapping depended on the presence of
+;;;; #\= characters in the environment strings. In practice these
+;;;; problems weren't hugely important, since conventionally environment
+;;;; variables are uppercase strings followed by #\= followed by
+;;;; arbitrary data. However, since it's so manifestly not The Right
+;;;; Thing to make code which breaks unnecessarily on input which
+;;;; doesn't follow what is, after all, only a tradition, we've switched
+;;;; formats in SBCL, so that the fundamental environment list
+;;;; is just a list of strings, with a one-to-one-correspondence
+;;;; to the C-level representation. I.e., in the example above,
+;;;; the SBCL representation is
+;;;;   '("SHELL=/bin/bash" "HOME=/root" "PAGER=less")
+;;;; CMU CL's implementation is currently supported to help with porting.
+;;;;
+;;;; It's not obvious that this code belongs here (instead of e.g. in
+;;;; unix.lisp), since it has only a weak logical connection with
+;;;; RUN-PROGRAM. However, physically it's convenient to put it here.
+;;;; It's not needed at cold init, so we *can* put it in this
+;;;; warm-loaded file. And by putting it in this warm-loaded file, we
+;;;; make it easy for it to get to the C-level 'environ' variable.
+;;;; which (at least in sbcl-0.6.10 on Red Hat Linux 6.2) is not
+;;;; visible at GENESIS time.
+
+(def-alien-variable "environ" (* c-string))
+(push (lambda ()
+       ;; We redo this here to protect ourselves from this scenario:
+       ;;   * Build under one version of shared lib, save a core.
+       ;;   * Load core under another version of shared lib. ("Now
+       ;;     where was environ again?" SIGSEGV, etc.)
+       ;; Obviously it's a KLUDGE to do this hack for every alien
+       ;; variable, but as it happens, as of sbcl-0.7.0 this is the
+       ;; only alien variable used to implement SBCL, so it's not
+       ;; worth coming up with a general solution. (A general
+       ;; solution would be nice for users who want to have their
+       ;; alien code be preserved across a save/load cycle, but this
+       ;; problem with alien variables is only one of several
+       ;; problems which'd need to be solved before that can happen.)
+        (def-alien-variable "environ" (* c-string)))
+      *after-save-initializations*)
+
+(defun posix-environ ()
+  "Return the Unix environment (\"man environ\") as a list of SIMPLE-STRINGs."
+  (c-strings->string-list environ))
+
+;;; Convert as best we can from a SBCL representation of a Unix
+;;; environment to a CMU CL representation.
+;;;
+;;; * (UNIX-ENVIRONMENT-CMUCL-FROM-SBCL '("Bletch=fub" "Noggin" "YES=No!"))
+;;; WARNING:
+;;;   smashing case of "Bletch=fub" in conversion to CMU-CL-style
+;;;     environment alist
+;;; WARNING:
+;;;   no #\= in "Noggin", eliding it in CMU-CL-style environment alist
+;;; ((:BLETCH . "fub") (:YES . "No!"))
+(defun unix-environment-cmucl-from-sbcl (sbcl)
+  (mapcan
+   (lambda (string)
+     (declare (type simple-string string))
+     (let ((=-pos (position #\= string :test #'equal)))
+       (if =-pos
+          (list
+           (let* ((key-as-string (subseq string 0 =-pos))
+                  (key-as-upcase-string (string-upcase key-as-string))
+                  (key (keywordicate key-as-upcase-string))
+                  (val (subseq string (1+ =-pos))))
+             (unless (string= key-as-string key-as-upcase-string)
+               (warn "smashing case of ~S in conversion to CMU-CL-style ~
+                      environment alist"
+                     string))
+             (cons key val)))
+          (warn "no #\\= in ~S, eliding it in CMU-CL-style environment alist"
+                string))))
+   sbcl))
+
+;;; Convert from a CMU CL representation of a Unix environment to a
+;;; SBCL representation.
+(defun unix-environment-sbcl-from-cmucl (cmucl)
+  (mapcar
+   (lambda (cons)
+     (destructuring-bind (key . val) cons
+       (declare (type keyword key) (type simple-string val))
+       (concatenate 'simple-string (symbol-name key) "=" val)))
+   cmucl))
 \f
 ;;;; Import wait3(2) from Unix.
 
          (t
           (let ((signal (ldb (byte 7 0) status)))
             (values pid
-                    (if (or (eql signal sb-unix:sigstop)
-                            (eql signal sb-unix:sigtstp)
-                            (eql signal sb-unix:sigttin)
-                            (eql signal sb-unix:sigttou))
+                    (if (position signal
+                                  #.(vector
+                                     (sb-unix:unix-signal-number :sigstop)
+                                     (sb-unix:unix-signal-number :sigtstp)
+                                     (sb-unix:unix-signal-number :sigttin)
+                                     (sb-unix:unix-signal-number :sigttou)))
                         :stopped
                         :signaled)
                     signal
 (defvar *active-processes* nil
   "List of process structures for all active processes.")
 
-(defstruct (process)
+(defstruct (process (:copier nil))
   pid                ; PID of child process
   %status             ; either :RUNNING, :STOPPED, :EXITED, or :SIGNALED
   exit-code          ; either exit code or signal
                            sb-unix:TIOCGPGRP
                            (sb-alien:alien-sap (sb-alien:addr result)))
       (unless wonp
-       (error "TIOCPGRP ioctl failed: ~S"
-              (sb-unix:get-unix-error-msg error)))
+       (error "TIOCPGRP ioctl failed: ~S" (strerror error)))
       result))
   (process-pid proc))
 
       (cond ((not okay)
             (values nil errno))
            ((and (eql pid (process-pid proc))
-                 (= (sb-unix:unix-signal-number signal) sb-unix:sigcont))
+                 (= (sb-unix:unix-signal-number signal)
+                    (sb-unix:unix-signal-number :sigcont)))
             (setf (process-%status proc) :running)
             (setf (process-exit-code proc) nil)
             (when (process-status-hook proc)
    (setf *active-processes* (delete proc *active-processes*)))
   proc)
 
-;;; the handler for sigchld signals that RUN-PROGRAM establishes
+;;; the handler for SIGCHLD signals that RUN-PROGRAM establishes
 (defun sigchld-handler (ignore1 ignore2 ignore3)
   (declare (ignore ignore1 ignore2 ignore3))
   (get-processes-status-changes))
            (setf (process-core-dumped proc) core)
            (when (process-status-hook proc)
              (funcall (process-status-hook proc) proc))
-           (when (or (eq what :exited)
-                     (eq what :signaled))
+           (when (position what #(:exited :signaled))
              (sb-sys:without-interrupts
               (setf *active-processes*
                     (delete proc *active-processes*)))))))))
 \f
 ;;;; RUN-PROGRAM and close friends
 
-(defvar *close-on-error* nil
-  "List of file descriptors to close when RUN-PROGRAM exits due to an error.")
-(defvar *close-in-parent* nil
-  "List of file descriptors to close when RUN-PROGRAM returns in the parent.")
-(defvar *handlers-installed* nil
-  "List of handlers installed by RUN-PROGRAM.")
+;;; list of file descriptors to close when RUN-PROGRAM exits due to an error
+(defvar *close-on-error* nil)
+
+;;; list of file descriptors to close when RUN-PROGRAM returns in the parent
+(defvar *close-in-parent* nil)
+
+;;; list of handlers installed by RUN-PROGRAM
+(defvar *handlers-installed* nil)
 
 #+FreeBSD
 (def-alien-type nil
          (sg-chars (array sb-c-call:char 4))
          (sg-flags sb-c-call:int)))
 
-;;; Find a pty that is not in use. Return three values: the file
-;;; descriptor for the master side of the pty, the file descriptor for
-;;; the slave side of the pty, and the name of the tty device for the
-;;; slave side.
+;;; Find an unused pty. Return three values: the file descriptor for
+;;; the master side of the pty, the file descriptor for the slave side
+;;; of the pty, and the name of the tty device for the slave side.
 (defun find-a-pty ()
   (dolist (char '(#\p #\q))
     (dotimes (digit 16)
       (when (streamp pty)
        (multiple-value-bind (new-fd errno) (sb-unix:unix-dup master)
          (unless new-fd
-           (error "could not SB-UNIX:UNIX-DUP ~D: ~S"
-                  master (sb-unix:get-unix-error-msg errno)))
+           (error "couldn't SB-UNIX:UNIX-DUP ~D: ~A" master (strerror errno)))
          (push new-fd *close-on-error*)
          (copy-descriptor-to-stream new-fd pty cookie)))
       (values name
        (vec-bytes (* #-alpha 4 #+alpha 8 (+ (length string-list) 2))))
     (declare (fixnum string-bytes vec-bytes))
     (dolist (s string-list)
-      (check-type s simple-string)
+      (enforce-type s simple-string)
       (incf string-bytes (round-bytes-to-words (1+ (length s)))))
     ;; Now allocate the memory and fill it in.
     (let* ((total-bytes (+ string-bytes vec-bytes))
          ;; Blast the string into place.
          (sb-kernel:copy-to-system-area (the simple-string s)
                                         (* sb-vm:vector-data-offset
-                                           sb-vm:word-bits)
+                                           sb-vm:n-word-bits)
                                         string-sap 0
                                         (* (1+ n) sb-vm:byte-bits))
          ;; Blast the pointer to the string into place.
   (stdout sb-c-call:int)
   (stderr sb-c-call:int))
 
+;;; Is UNIX-FILENAME the name of a file that we can execute?
+(defun unix-filename-is-executable-p (unix-filename)
+  (declare (type simple-string unix-filename))
+  (values (and (eq (sb-unix:unix-file-kind unix-filename) :file)
+              (sb-unix:unix-access unix-filename sb-unix:x_ok))))
+
+;;; FIXME: There shouldn't be two semiredundant versions of the
+;;; documentation. Since this is a public extension function, the
+;;; documentation should be in the doc string. So all information from
+;;; this comment should be merged into the doc string, and then this
+;;; comment can go away.
+;;;
 ;;; RUN-PROGRAM uses fork() and execve() to run a different program.
 ;;; Strange stuff happens to keep the Unix state of the world
 ;;; coherent.
 ;;; RUN-PROGRAM returns a PROCESS structure for the process if
 ;;; the fork worked, and NIL if it did not.
 (defun run-program (program args
-                   &key env (wait t) pty input
-                   if-input-does-not-exist output (if-output-exists :error)
-                   (error :output) (if-error-exists :error) status-hook)
-  "RUN-PROGRAM creates a new process and runs the unix progam in the
-   file specified by the simple-string program.  Args are the standard
-   arguments that can be passed to a Unix program, for no arguments
-   use NIL (which means just the name of the program is passed as arg 0).
+                   &key
+                   (env nil env-p)
+                   (environment (if env-p
+                                    (unix-environment-sbcl-from-cmucl env)
+                                    (posix-environ))
+                                environment-p)
+                   (wait t)
+                   pty
+                   input
+                   if-input-does-not-exist
+                   output
+                   (if-output-exists :error)
+                   (error :output)
+                   (if-error-exists :error)
+                   status-hook)
+  "RUN-PROGRAM creates a new Unix process running the Unix program found in
+   the file specified by the PROGRAM argument.  ARGS are the standard
+   arguments that can be passed to a Unix program. For no arguments, use NIL
+   (which means that just the name of the program is passed as arg 0).
 
    RUN-PROGRAM will either return NIL or a PROCESS structure.  See the CMU
    Common Lisp Users Manual for details about the PROCESS structure.
 
-   The keyword arguments have the following meanings:
+   notes about Unix environments (as in the :ENVIRONMENT and :ENV args):
+     1. The SBCL implementation of RUN-PROGRAM, like Perl and many other
+        programs, but unlike the original CMU CL implementation, copies
+        the Unix environment by default.
+     2. Running Unix programs from a setuid process, or in any other
+        situation where the Unix environment is under the control of someone
+        else, is a mother lode of security problems. If you are contemplating
+        doing this, read about it first. (The Perl community has a lot of good
+        documentation about this and other security issues in script-like
+        programs.)
+
+   The &KEY arguments have the following meanings:
+     :ENVIRONMENT
+        a list of SIMPLE-STRINGs describing the new Unix environment (as
+        in \"man environ\"). The default is to copy the environment of
+        the current process.
      :ENV
-        An A-LIST mapping keyword environment variables to simple-string
-       values.
+        an alternative lossy representation of the new Unix environment,
+        for compatibility with CMU CL
      :WAIT
         If non-NIL (default), wait until the created process finishes.  If
         NIL, continue running Lisp until the program finishes.
         This is a function the system calls whenever the status of the
         process changes.  The function takes the process as an argument."
 
+  (when (and env-p environment-p)
+    (error "can't specify :ENV and :ENVIRONMENT simultaneously"))
   ;; Make sure that the interrupt handler is installed.
-  (sb-sys:enable-interrupt sb-unix:sigchld #'sigchld-handler)
-  ;; Make sure that all the args are okay.
-  (unless (every #'simple-string-p args)
-    (error "All arguments to program must be simple strings: ~S" args))
+  (sb-sys:enable-interrupt :sigchld #'sigchld-handler)
   ;; Prepend the program to the argument list.
   (push (namestring program) args)
-  ;; Clear various specials used by GET-DESCRIPTOR-FOR to communicate
-  ;; cleanup info.  Also, establish proc at this level so we can
-  ;; return it.
-  (let (*close-on-error* *close-in-parent* *handlers-installed* proc)
+  (let (;; Clear various specials used by GET-DESCRIPTOR-FOR to
+       ;; communicate cleanup info.
+       *close-on-error*
+       *close-in-parent*
+       *handlers-installed*
+       ;; Establish PROC at this level so that we can return it.
+       proc
+       ;; It's friendly to allow the caller to pass any string
+       ;; designator, but internally we'd like SIMPLE-STRINGs.
+       (simple-args (mapcar (lambda (x) (coerce x 'simple-string)) args)))
     (unwind-protect
-        (let ((pfile (unix-namestring (merge-pathnames program "path:") t t))
+        (let (;; FIXME: The old code here used to do
+              ;;   (MERGE-PATHNAMES PROGRAM "path:"),
+              ;; which is the right idea (searching through the Unix
+              ;; PATH). Unfortunately, there is no logical pathname
+              ;; "path:" defined in sbcl-0.6.10. It would probably be 
+              ;; reasonable to restore Unix PATH searching in SBCL, e.g.
+              ;; with a function FIND-EXECUTABLE-FILE-IN-POSIX-PATH.
+              ;; CMU CL did it with a "PATH:" search list, but CMU CL
+              ;; search lists are a non-ANSI extension that SBCL
+              ;; doesn't support. -- WHN)
+              (pfile (unix-namestring program t))
               (cookie (list 0)))
           (unless pfile
             (error "no such program: ~S" program))
-          (multiple-value-bind
-                (stdin input-stream)
-              (get-descriptor-for input cookie :direction :input
+          (unless (unix-filename-is-executable-p pfile)
+            (error "not executable: ~S" program))
+          (multiple-value-bind (stdin input-stream)
+              (get-descriptor-for input cookie
+                                  :direction :input
                                   :if-does-not-exist if-input-does-not-exist)
-            (multiple-value-bind
-                  (stdout output-stream)
-                (get-descriptor-for output cookie :direction :output
+            (multiple-value-bind (stdout output-stream)
+                (get-descriptor-for output cookie
+                                    :direction :output
                                     :if-exists if-output-exists)
-              (multiple-value-bind
-                    (stderr error-stream)
+              (multiple-value-bind (stderr error-stream)
                   (if (eq error :output)
                       (values stdout output-stream)
-                      (get-descriptor-for error cookie :direction :output
+                      (get-descriptor-for error cookie
+                                          :direction :output
                                           :if-exists if-error-exists))
                 (multiple-value-bind (pty-name pty-stream)
                     (open-pty pty cookie)
                   ;; death before we have installed the PROCESS
                   ;; structure in *ACTIVE-PROCESSES*.
                   (sb-sys:without-interrupts
-                   (with-c-strvec (argv args)
-                     (with-c-strvec
-                         (envp (mapcar #'(lambda (entry)
-                                           (concatenate
-                                            'string
-                                            (symbol-name (car entry))
-                                            "="
-                                            (cdr entry)))
-                                       env))
+                   (with-c-strvec (args-vec simple-args)
+                     (with-c-strvec (environment-vec environment)
                        (let ((child-pid
                               (without-gcing
-                               (spawn pfile argv envp pty-name
+                               (spawn pfile args-vec environment-vec pty-name
                                       stdin stdout stderr))))
                          (when (< child-pid 0)
-                           (error "could not fork child process: ~S"
-                                  (sb-unix:get-unix-error-msg)))
+                           (error "couldn't fork child process: ~A"
+                                  (strerror)))
                          (setf proc (make-process :pid child-pid
                                                   :%status :running
                                                   :pty pty-stream
                                                   (ash 1 descriptor)
                                                   0 0 0)
                            (cond ((null result)
-                                  (error "could not select on sub-process: ~S"
-                                         (sb-unix:get-unix-error-msg
-                                          readable/errno)))
+                                  (error "~@<couldn't select on sub-process: ~
+                                           ~2I~_~A~:>"
+                                         (strerror readable/errno)))
                                  ((zerop result)
                                   (return))))
                        (sb-alien:with-alien ((buf (sb-alien:array
                                   (sb-sys:remove-fd-handler handler)
                                   (setf handler nil)
                                   (decf (car cookie))
-                                  (error "could not read input from sub-process: ~S"
-                                         (sb-unix:get-unix-error-msg errno)))
+                                  (error
+                                   "~@<couldn't read input from sub-process: ~
+                                     ~2I~_~A~:>"
+                                   (strerror errno)))
                                  (t
                                   (sb-kernel:copy-from-system-area
                                    (alien-sap buf) 0
                                    string (* sb-vm:vector-data-offset
-                                             sb-vm:word-bits)
+                                             sb-vm:n-word-bits)
                                    (* count sb-vm:byte-bits))
                                   (write-string string stream
                                                 :end count)))))))))))
                                  (t sb-unix:o_rdwr))
                                #o666)
           (unless fd
-            (error "could not open \"/dev/null\": ~S"
-                   (sb-unix:get-unix-error-msg errno)))
+            (error "~@<couldn't open \"/dev/null\": ~2I~_~A~:>"
+                   (strerror errno)))
           (push fd *close-in-parent*)
           (values fd nil)))
        ((eq object :stream)
-        (multiple-value-bind
-              (read-fd write-fd)
-            (sb-unix:unix-pipe)
+        (multiple-value-bind (read-fd write-fd) (sb-unix:unix-pipe)
           (unless read-fd
-            (error "could not create pipe: ~S"
-                   (sb-unix:get-unix-error-msg write-fd)))
+            (error "couldn't create pipe: ~A" (strerror write-fd)))
           (case direction
             (:input
              (push read-fd *close-in-parent*)
                    (push fd *close-in-parent*)
                    (values fd nil))
                   (t
-                   (error "could not duplicate file descriptor: ~S"
-                          (sb-unix:get-unix-error-msg errno)))))))
+                   (error "couldn't duplicate file descriptor: ~A"
+                          (strerror errno)))))))
        ((sb-sys:fd-stream-p object)
         (values (sb-sys:fd-stream-fd object) nil))
        ((streamp object)
            (multiple-value-bind (read-fd write-fd)
                (sb-unix:unix-pipe)
              (unless read-fd
-               (error "could not create pipe: ~S"
-                      (sb-unix:get-unix-error-msg write-fd)))
+               (error "couldn't create pipe: ~S" (strerror write-fd)))
              (copy-descriptor-to-stream read-fd object cookie)
              (push read-fd *close-on-error*)
              (push write-fd *close-in-parent*)