]> git.lizzy.rs Git - rust.git/blob - src/libstd/sys/unix/process.rs
Rollup merge of #22374 - richo:warn-fixup, r=huonw
[rust.git] / src / libstd / sys / unix / process.rs
1 // Copyright 2014-2015 The Rust Project Developers. See the COPYRIGHT
2 // file at the top-level directory of this distribution and at
3 // http://rust-lang.org/COPYRIGHT.
4 //
5 // Licensed under the Apache License, Version 2.0 <LICENSE-APACHE or
6 // http://www.apache.org/licenses/LICENSE-2.0> or the MIT license
7 // <LICENSE-MIT or http://opensource.org/licenses/MIT>, at your
8 // option. This file may not be copied, modified, or distributed
9 // except according to those terms.
10
11 use prelude::v1::*;
12 use self::Req::*;
13
14 use collections::HashMap;
15 use collections::hash_map::Hasher;
16 use ffi::CString;
17 use hash::Hash;
18 use old_io::process::{ProcessExit, ExitStatus, ExitSignal};
19 use old_io::{self, IoResult, IoError, EndOfFile};
20 use libc::{self, pid_t, c_void, c_int};
21 use mem;
22 use os;
23 use old_path::BytesContainer;
24 use ptr;
25 use sync::mpsc::{channel, Sender, Receiver};
26 use sys::fs::FileDesc;
27 use sys::{self, retry, c, wouldblock, set_nonblocking, ms_to_timeval};
28 use sys_common::helper_thread::Helper;
29 use sys_common::{AsInner, mkerr_libc, timeout};
30
31 pub use sys_common::ProcessConfig;
32
33 helper_init! { static HELPER: Helper<Req> }
34
35 /// Unix-specific extensions to the Command builder
36 pub struct CommandExt {
37     uid: Option<u32>,
38     gid: Option<u32>,
39 }
40
41 /// The unique id of the process (this should never be negative).
42 pub struct Process {
43     pub pid: pid_t
44 }
45
46 enum Req {
47     NewChild(libc::pid_t, Sender<ProcessExit>, u64),
48 }
49
50 const CLOEXEC_MSG_FOOTER: &'static [u8] = b"NOEX";
51
52 impl Process {
53     pub fn id(&self) -> pid_t {
54         self.pid
55     }
56
57     pub unsafe fn kill(&self, signal: int) -> IoResult<()> {
58         Process::killpid(self.pid, signal)
59     }
60
61     pub unsafe fn killpid(pid: pid_t, signal: int) -> IoResult<()> {
62         let r = libc::funcs::posix88::signal::kill(pid, signal as c_int);
63         mkerr_libc(r)
64     }
65
66     pub fn spawn<K, V, C, P>(cfg: &C, in_fd: Option<P>,
67                               out_fd: Option<P>, err_fd: Option<P>)
68                               -> IoResult<Process>
69         where C: ProcessConfig<K, V>, P: AsInner<FileDesc>,
70               K: BytesContainer + Eq + Hash<Hasher>, V: BytesContainer
71     {
72         use libc::funcs::posix88::unistd::{fork, dup2, close, chdir, execvp};
73         use libc::funcs::bsd44::getdtablesize;
74
75         mod rustrt {
76             extern {
77                 pub fn rust_unset_sigprocmask();
78             }
79         }
80
81         unsafe fn set_cloexec(fd: c_int) {
82             let ret = c::ioctl(fd, c::FIOCLEX);
83             assert_eq!(ret, 0);
84         }
85
86         let dirp = cfg.cwd().map(|c| c.as_ptr()).unwrap_or(ptr::null());
87
88         // temporary until unboxed closures land
89         let cfg = unsafe {
90             mem::transmute::<&ProcessConfig<K,V>,&'static ProcessConfig<K,V>>(cfg)
91         };
92
93         with_envp(cfg.env(), move|envp: *const c_void| {
94             with_argv(cfg.program(), cfg.args(), move|argv: *const *const libc::c_char| unsafe {
95                 let (input, mut output) = try!(sys::os::pipe());
96
97                 // We may use this in the child, so perform allocations before the
98                 // fork
99                 let devnull = b"/dev/null\0";
100
101                 set_cloexec(output.fd());
102
103                 let pid = fork();
104                 if pid < 0 {
105                     return Err(super::last_error())
106                 } else if pid > 0 {
107                     #[inline]
108                     fn combine(arr: &[u8]) -> i32 {
109                         let a = arr[0] as u32;
110                         let b = arr[1] as u32;
111                         let c = arr[2] as u32;
112                         let d = arr[3] as u32;
113
114                         ((a << 24) | (b << 16) | (c << 8) | (d << 0)) as i32
115                     }
116
117                     let p = Process{ pid: pid };
118                     drop(output);
119                     let mut bytes = [0; 8];
120                     return match input.read(&mut bytes) {
121                         Ok(8) => {
122                             assert!(combine(CLOEXEC_MSG_FOOTER) == combine(&bytes[4.. 8]),
123                                 "Validation on the CLOEXEC pipe failed: {:?}", bytes);
124                             let errno = combine(&bytes[0.. 4]);
125                             assert!(p.wait(0).is_ok(), "wait(0) should either return Ok or panic");
126                             Err(super::decode_error(errno))
127                         }
128                         Err(ref e) if e.kind == EndOfFile => Ok(p),
129                         Err(e) => {
130                             assert!(p.wait(0).is_ok(), "wait(0) should either return Ok or panic");
131                             panic!("the CLOEXEC pipe failed: {:?}", e)
132                         },
133                         Ok(..) => { // pipe I/O up to PIPE_BUF bytes should be atomic
134                             assert!(p.wait(0).is_ok(), "wait(0) should either return Ok or panic");
135                             panic!("short read on the CLOEXEC pipe")
136                         }
137                     };
138                 }
139
140                 // And at this point we've reached a special time in the life of the
141                 // child. The child must now be considered hamstrung and unable to
142                 // do anything other than syscalls really. Consider the following
143                 // scenario:
144                 //
145                 //      1. Thread A of process 1 grabs the malloc() mutex
146                 //      2. Thread B of process 1 forks(), creating thread C
147                 //      3. Thread C of process 2 then attempts to malloc()
148                 //      4. The memory of process 2 is the same as the memory of
149                 //         process 1, so the mutex is locked.
150                 //
151                 // This situation looks a lot like deadlock, right? It turns out
152                 // that this is what pthread_atfork() takes care of, which is
153                 // presumably implemented across platforms. The first thing that
154                 // threads to *before* forking is to do things like grab the malloc
155                 // mutex, and then after the fork they unlock it.
156                 //
157                 // Despite this information, libnative's spawn has been witnessed to
158                 // deadlock on both OSX and FreeBSD. I'm not entirely sure why, but
159                 // all collected backtraces point at malloc/free traffic in the
160                 // child spawned process.
161                 //
162                 // For this reason, the block of code below should contain 0
163                 // invocations of either malloc of free (or their related friends).
164                 //
165                 // As an example of not having malloc/free traffic, we don't close
166                 // this file descriptor by dropping the FileDesc (which contains an
167                 // allocation). Instead we just close it manually. This will never
168                 // have the drop glue anyway because this code never returns (the
169                 // child will either exec() or invoke libc::exit)
170                 let _ = libc::close(input.fd());
171
172                 fn fail(output: &mut FileDesc) -> ! {
173                     let errno = sys::os::errno() as u32;
174                     let bytes = [
175                         (errno >> 24) as u8,
176                         (errno >> 16) as u8,
177                         (errno >>  8) as u8,
178                         (errno >>  0) as u8,
179                         CLOEXEC_MSG_FOOTER[0], CLOEXEC_MSG_FOOTER[1],
180                         CLOEXEC_MSG_FOOTER[2], CLOEXEC_MSG_FOOTER[3]
181                     ];
182                     // pipe I/O up to PIPE_BUF bytes should be atomic
183                     assert!(output.write(&bytes).is_ok());
184                     unsafe { libc::_exit(1) }
185                 }
186
187                 rustrt::rust_unset_sigprocmask();
188
189                 // If a stdio file descriptor is set to be ignored (via a -1 file
190                 // descriptor), then we don't actually close it, but rather open
191                 // up /dev/null into that file descriptor. Otherwise, the first file
192                 // descriptor opened up in the child would be numbered as one of the
193                 // stdio file descriptors, which is likely to wreak havoc.
194                 let setup = |src: Option<P>, dst: c_int| {
195                     let src = match src {
196                         None => {
197                             let flags = if dst == libc::STDIN_FILENO {
198                                 libc::O_RDONLY
199                             } else {
200                                 libc::O_RDWR
201                             };
202                             libc::open(devnull.as_ptr() as *const _, flags, 0)
203                         }
204                         Some(obj) => {
205                             let fd = obj.as_inner().fd();
206                             // Leak the memory and the file descriptor. We're in the
207                             // child now an all our resources are going to be
208                             // cleaned up very soon
209                             mem::forget(obj);
210                             fd
211                         }
212                     };
213                     src != -1 && retry(|| dup2(src, dst)) != -1
214                 };
215
216                 if !setup(in_fd, libc::STDIN_FILENO) { fail(&mut output) }
217                 if !setup(out_fd, libc::STDOUT_FILENO) { fail(&mut output) }
218                 if !setup(err_fd, libc::STDERR_FILENO) { fail(&mut output) }
219
220                 // close all other fds
221                 for fd in (3..getdtablesize()).rev() {
222                     if fd != output.fd() {
223                         let _ = close(fd as c_int);
224                     }
225                 }
226
227                 match cfg.gid() {
228                     Some(u) => {
229                         if libc::setgid(u as libc::gid_t) != 0 {
230                             fail(&mut output);
231                         }
232                     }
233                     None => {}
234                 }
235                 match cfg.uid() {
236                     Some(u) => {
237                         // When dropping privileges from root, the `setgroups` call
238                         // will remove any extraneous groups. If we don't call this,
239                         // then even though our uid has dropped, we may still have
240                         // groups that enable us to do super-user things. This will
241                         // fail if we aren't root, so don't bother checking the
242                         // return value, this is just done as an optimistic
243                         // privilege dropping function.
244                         extern {
245                             fn setgroups(ngroups: libc::c_int,
246                                          ptr: *const libc::c_void) -> libc::c_int;
247                         }
248                         let _ = setgroups(0, ptr::null());
249
250                         if libc::setuid(u as libc::uid_t) != 0 {
251                             fail(&mut output);
252                         }
253                     }
254                     None => {}
255                 }
256                 if cfg.detach() {
257                     // Don't check the error of setsid because it fails if we're the
258                     // process leader already. We just forked so it shouldn't return
259                     // error, but ignore it anyway.
260                     let _ = libc::setsid();
261                 }
262                 if !dirp.is_null() && chdir(dirp) == -1 {
263                     fail(&mut output);
264                 }
265                 if !envp.is_null() {
266                     *sys::os::environ() = envp as *const _;
267                 }
268                 let _ = execvp(*argv, argv as *mut _);
269                 fail(&mut output);
270             })
271         })
272     }
273
274     pub fn wait(&self, deadline: u64) -> IoResult<ProcessExit> {
275         use cmp;
276         use sync::mpsc::TryRecvError;
277
278         static mut WRITE_FD: libc::c_int = 0;
279
280         let mut status = 0 as c_int;
281         if deadline == 0 {
282             return match retry(|| unsafe { c::waitpid(self.pid, &mut status, 0) }) {
283                 -1 => panic!("unknown waitpid error: {:?}", super::last_error()),
284                 _ => Ok(translate_status(status)),
285             }
286         }
287
288         // On unix, wait() and its friends have no timeout parameters, so there is
289         // no way to time out a thread in wait(). From some googling and some
290         // thinking, it appears that there are a few ways to handle timeouts in
291         // wait(), but the only real reasonable one for a multi-threaded program is
292         // to listen for SIGCHLD.
293         //
294         // With this in mind, the waiting mechanism with a timeout barely uses
295         // waitpid() at all. There are a few times that waitpid() is invoked with
296         // WNOHANG, but otherwise all the necessary blocking is done by waiting for
297         // a SIGCHLD to arrive (and that blocking has a timeout). Note, however,
298         // that waitpid() is still used to actually reap the child.
299         //
300         // Signal handling is super tricky in general, and this is no exception. Due
301         // to the async nature of SIGCHLD, we use the self-pipe trick to transmit
302         // data out of the signal handler to the rest of the application. The first
303         // idea would be to have each thread waiting with a timeout to read this
304         // output file descriptor, but a write() is akin to a signal(), not a
305         // broadcast(), so it would only wake up one thread, and possibly the wrong
306         // thread. Hence a helper thread is used.
307         //
308         // The helper thread here is responsible for farming requests for a
309         // waitpid() with a timeout, and then processing all of the wait requests.
310         // By guaranteeing that only this helper thread is reading half of the
311         // self-pipe, we're sure that we'll never lose a SIGCHLD. This helper thread
312         // is also responsible for select() to wait for incoming messages or
313         // incoming SIGCHLD messages, along with passing an appropriate timeout to
314         // select() to wake things up as necessary.
315         //
316         // The ordering of the following statements is also very purposeful. First,
317         // we must be guaranteed that the helper thread is booted and available to
318         // receive SIGCHLD signals, and then we must also ensure that we do a
319         // nonblocking waitpid() at least once before we go ask the sigchld helper.
320         // This prevents the race where the child exits, we boot the helper, and
321         // then we ask for the child's exit status (never seeing a sigchld).
322         //
323         // The actual communication between the helper thread and this thread is
324         // quite simple, just a channel moving data around.
325
326         unsafe { HELPER.boot(register_sigchld, waitpid_helper) }
327
328         match self.try_wait() {
329             Some(ret) => return Ok(ret),
330             None => {}
331         }
332
333         let (tx, rx) = channel();
334         unsafe { HELPER.send(NewChild(self.pid, tx, deadline)); }
335         return match rx.recv() {
336             Ok(e) => Ok(e),
337             Err(..) => Err(timeout("wait timed out")),
338         };
339
340         // Register a new SIGCHLD handler, returning the reading half of the
341         // self-pipe plus the old handler registered (return value of sigaction).
342         //
343         // Be sure to set up the self-pipe first because as soon as we register a
344         // handler we're going to start receiving signals.
345         fn register_sigchld() -> (libc::c_int, c::sigaction) {
346             unsafe {
347                 let mut pipes = [0; 2];
348                 assert_eq!(libc::pipe(pipes.as_mut_ptr()), 0);
349                 set_nonblocking(pipes[0], true).ok().unwrap();
350                 set_nonblocking(pipes[1], true).ok().unwrap();
351                 WRITE_FD = pipes[1];
352
353                 let mut old: c::sigaction = mem::zeroed();
354                 let mut new: c::sigaction = mem::zeroed();
355                 new.sa_handler = sigchld_handler;
356                 new.sa_flags = c::SA_NOCLDSTOP;
357                 assert_eq!(c::sigaction(c::SIGCHLD, &new, &mut old), 0);
358                 (pipes[0], old)
359             }
360         }
361
362         // Helper thread for processing SIGCHLD messages
363         fn waitpid_helper(input: libc::c_int,
364                           messages: Receiver<Req>,
365                           (read_fd, old): (libc::c_int, c::sigaction)) {
366             set_nonblocking(input, true).ok().unwrap();
367             let mut set: c::fd_set = unsafe { mem::zeroed() };
368             let mut tv: libc::timeval;
369             let mut active = Vec::<(libc::pid_t, Sender<ProcessExit>, u64)>::new();
370             let max = cmp::max(input, read_fd) + 1;
371
372             'outer: loop {
373                 // Figure out the timeout of our syscall-to-happen. If we're waiting
374                 // for some processes, then they'll have a timeout, otherwise we
375                 // wait indefinitely for a message to arrive.
376                 //
377                 // FIXME: sure would be nice to not have to scan the entire array
378                 let min = active.iter().map(|a| a.2).enumerate().min_by(|p| {
379                     p.1
380                 });
381                 let (p, idx) = match min {
382                     Some((idx, deadline)) => {
383                         let now = sys::timer::now();
384                         let ms = if now < deadline {deadline - now} else {0};
385                         tv = ms_to_timeval(ms);
386                         (&mut tv as *mut _, idx)
387                     }
388                     None => (ptr::null_mut(), -1),
389                 };
390
391                 // Wait for something to happen
392                 c::fd_set(&mut set, input);
393                 c::fd_set(&mut set, read_fd);
394                 match unsafe { c::select(max, &mut set, ptr::null_mut(),
395                                          ptr::null_mut(), p) } {
396                     // interrupted, retry
397                     -1 if os::errno() == libc::EINTR as uint => continue,
398
399                     // We read something, break out and process
400                     1 | 2 => {}
401
402                     // Timeout, the pending request is removed
403                     0 => {
404                         drop(active.remove(idx));
405                         continue
406                     }
407
408                     n => panic!("error in select {:?} ({:?})", os::errno(), n),
409                 }
410
411                 // Process any pending messages
412                 if drain(input) {
413                     loop {
414                         match messages.try_recv() {
415                             Ok(NewChild(pid, tx, deadline)) => {
416                                 active.push((pid, tx, deadline));
417                             }
418                             Err(TryRecvError::Disconnected) => {
419                                 assert!(active.len() == 0);
420                                 break 'outer;
421                             }
422                             Err(TryRecvError::Empty) => break,
423                         }
424                     }
425                 }
426
427                 // If a child exited (somehow received SIGCHLD), then poll all
428                 // children to see if any of them exited.
429                 //
430                 // We also attempt to be responsible netizens when dealing with
431                 // SIGCHLD by invoking any previous SIGCHLD handler instead of just
432                 // ignoring any previous SIGCHLD handler. Note that we don't provide
433                 // a 1:1 mapping of our handler invocations to the previous handler
434                 // invocations because we drain the `read_fd` entirely. This is
435                 // probably OK because the kernel is already allowed to coalesce
436                 // simultaneous signals, we're just doing some extra coalescing.
437                 //
438                 // Another point of note is that this likely runs the signal handler
439                 // on a different thread than the one that received the signal. I
440                 // *think* this is ok at this time.
441                 //
442                 // The main reason for doing this is to allow stdtest to run native
443                 // tests as well. Both libgreen and libnative are running around
444                 // with process timeouts, but libgreen should get there first
445                 // (currently libuv doesn't handle old signal handlers).
446                 if drain(read_fd) {
447                     let i: uint = unsafe { mem::transmute(old.sa_handler) };
448                     if i != 0 {
449                         assert!(old.sa_flags & c::SA_SIGINFO == 0);
450                         (old.sa_handler)(c::SIGCHLD);
451                     }
452
453                     // FIXME: sure would be nice to not have to scan the entire
454                     //        array...
455                     active.retain(|&(pid, ref tx, _)| {
456                         let pr = Process { pid: pid };
457                         match pr.try_wait() {
458                             Some(msg) => { tx.send(msg).unwrap(); false }
459                             None => true,
460                         }
461                     });
462                 }
463             }
464
465             // Once this helper thread is done, we re-register the old sigchld
466             // handler and close our intermediate file descriptors.
467             unsafe {
468                 assert_eq!(c::sigaction(c::SIGCHLD, &old, ptr::null_mut()), 0);
469                 let _ = libc::close(read_fd);
470                 let _ = libc::close(WRITE_FD);
471                 WRITE_FD = -1;
472             }
473         }
474
475         // Drain all pending data from the file descriptor, returning if any data
476         // could be drained. This requires that the file descriptor is in
477         // nonblocking mode.
478         fn drain(fd: libc::c_int) -> bool {
479             let mut ret = false;
480             loop {
481                 let mut buf = [0u8; 1];
482                 match unsafe {
483                     libc::read(fd, buf.as_mut_ptr() as *mut libc::c_void,
484                                buf.len() as libc::size_t)
485                 } {
486                     n if n > 0 => { ret = true; }
487                     0 => return true,
488                     -1 if wouldblock() => return ret,
489                     n => panic!("bad read {:?} ({:?})", os::last_os_error(), n),
490                 }
491             }
492         }
493
494         // Signal handler for SIGCHLD signals, must be async-signal-safe!
495         //
496         // This function will write to the writing half of the "self pipe" to wake
497         // up the helper thread if it's waiting. Note that this write must be
498         // nonblocking because if it blocks and the reader is the thread we
499         // interrupted, then we'll deadlock.
500         //
501         // When writing, if the write returns EWOULDBLOCK then we choose to ignore
502         // it. At that point we're guaranteed that there's something in the pipe
503         // which will wake up the other end at some point, so we just allow this
504         // signal to be coalesced with the pending signals on the pipe.
505         extern fn sigchld_handler(_signum: libc::c_int) {
506             let msg = 1;
507             match unsafe {
508                 libc::write(WRITE_FD, &msg as *const _ as *const libc::c_void, 1)
509             } {
510                 1 => {}
511                 -1 if wouldblock() => {} // see above comments
512                 n => panic!("bad error on write fd: {:?} {:?}", n, os::errno()),
513             }
514         }
515     }
516
517     pub fn try_wait(&self) -> Option<ProcessExit> {
518         let mut status = 0 as c_int;
519         match retry(|| unsafe {
520             c::waitpid(self.pid, &mut status, c::WNOHANG)
521         }) {
522             n if n == self.pid => Some(translate_status(status)),
523             0 => None,
524             n => panic!("unknown waitpid error `{:?}`: {:?}", n,
525                        super::last_error()),
526         }
527     }
528 }
529
530 fn with_argv<T,F>(prog: &CString, args: &[CString],
531                   cb: F)
532                   -> T
533     where F : FnOnce(*const *const libc::c_char) -> T
534 {
535     let mut ptrs: Vec<*const libc::c_char> = Vec::with_capacity(args.len()+1);
536
537     // Convert the CStrings into an array of pointers. Note: the
538     // lifetime of the various CStrings involved is guaranteed to be
539     // larger than the lifetime of our invocation of cb, but this is
540     // technically unsafe as the callback could leak these pointers
541     // out of our scope.
542     ptrs.push(prog.as_ptr());
543     ptrs.extend(args.iter().map(|tmp| tmp.as_ptr()));
544
545     // Add a terminating null pointer (required by libc).
546     ptrs.push(ptr::null());
547
548     cb(ptrs.as_ptr())
549 }
550
551 fn with_envp<K,V,T,F>(env: Option<&HashMap<K, V>>,
552                       cb: F)
553                       -> T
554     where F : FnOnce(*const c_void) -> T,
555           K : BytesContainer + Eq + Hash<Hasher>,
556           V : BytesContainer
557 {
558     // On posixy systems we can pass a char** for envp, which is a
559     // null-terminated array of "k=v\0" strings. Since we must create
560     // these strings locally, yet expose a raw pointer to them, we
561     // create a temporary vector to own the CStrings that outlives the
562     // call to cb.
563     match env {
564         Some(env) => {
565             let mut tmps = Vec::with_capacity(env.len());
566
567             for pair in env {
568                 let mut kv = Vec::new();
569                 kv.push_all(pair.0.container_as_bytes());
570                 kv.push('=' as u8);
571                 kv.push_all(pair.1.container_as_bytes());
572                 kv.push(0); // terminating null
573                 tmps.push(kv);
574             }
575
576             // As with `with_argv`, this is unsafe, since cb could leak the pointers.
577             let mut ptrs: Vec<*const libc::c_char> =
578                 tmps.iter()
579                     .map(|tmp| tmp.as_ptr() as *const libc::c_char)
580                     .collect();
581             ptrs.push(ptr::null());
582
583             cb(ptrs.as_ptr() as *const c_void)
584         }
585         _ => cb(ptr::null())
586     }
587 }
588
589 fn translate_status(status: c_int) -> ProcessExit {
590     #![allow(non_snake_case)]
591     #[cfg(any(target_os = "linux", target_os = "android"))]
592     mod imp {
593         pub fn WIFEXITED(status: i32) -> bool { (status & 0xff) == 0 }
594         pub fn WEXITSTATUS(status: i32) -> i32 { (status >> 8) & 0xff }
595         pub fn WTERMSIG(status: i32) -> i32 { status & 0x7f }
596     }
597
598     #[cfg(any(target_os = "macos",
599               target_os = "ios",
600               target_os = "freebsd",
601               target_os = "dragonfly",
602               target_os = "openbsd"))]
603     mod imp {
604         pub fn WIFEXITED(status: i32) -> bool { (status & 0x7f) == 0 }
605         pub fn WEXITSTATUS(status: i32) -> i32 { status >> 8 }
606         pub fn WTERMSIG(status: i32) -> i32 { status & 0o177 }
607     }
608
609     if imp::WIFEXITED(status) {
610         ExitStatus(imp::WEXITSTATUS(status) as int)
611     } else {
612         ExitSignal(imp::WTERMSIG(status) as int)
613     }
614 }