]> git.lizzy.rs Git - rust.git/blob - library/test/src/lib.rs
Rollup merge of #103575 - Xiretza:suggestions-style-attr, r=davidtwco
[rust.git] / library / test / src / lib.rs
1 //! Support code for rustc's built in unit-test and micro-benchmarking
2 //! framework.
3 //!
4 //! Almost all user code will only be interested in `Bencher` and
5 //! `black_box`. All other interactions (such as writing tests and
6 //! benchmarks themselves) should be done via the `#[test]` and
7 //! `#[bench]` attributes.
8 //!
9 //! See the [Testing Chapter](../book/ch11-00-testing.html) of the book for more
10 //! details.
11
12 // Currently, not much of this is meant for users. It is intended to
13 // support the simplest interface possible for representing and
14 // running tests while providing a base that other test frameworks may
15 // build off of.
16
17 #![unstable(feature = "test", issue = "50297")]
18 #![doc(test(attr(deny(warnings))))]
19 #![feature(internal_output_capture)]
20 #![feature(is_terminal)]
21 #![feature(staged_api)]
22 #![feature(process_exitcode_internals)]
23 #![feature(panic_can_unwind)]
24 #![feature(test)]
25
26 // Public reexports
27 pub use self::bench::{black_box, Bencher};
28 pub use self::console::run_tests_console;
29 pub use self::options::{ColorConfig, Options, OutputFormat, RunIgnored, ShouldPanic};
30 pub use self::types::TestName::*;
31 pub use self::types::*;
32 pub use self::ColorConfig::*;
33 pub use cli::TestOpts;
34
35 // Module to be used by rustc to compile tests in libtest
36 pub mod test {
37     pub use crate::{
38         assert_test_result,
39         bench::Bencher,
40         cli::{parse_opts, TestOpts},
41         filter_tests,
42         helpers::metrics::{Metric, MetricMap},
43         options::{Concurrent, Options, RunIgnored, RunStrategy, ShouldPanic},
44         run_test, test_main, test_main_static,
45         test_result::{TestResult, TrFailed, TrFailedMsg, TrIgnored, TrOk},
46         time::{TestExecTime, TestTimeOptions},
47         types::{
48             DynTestFn, DynTestName, StaticBenchFn, StaticTestFn, StaticTestName, TestDesc,
49             TestDescAndFn, TestId, TestName, TestType,
50         },
51     };
52 }
53
54 use std::{
55     collections::VecDeque,
56     env, io,
57     io::prelude::Write,
58     mem::ManuallyDrop,
59     panic::{self, catch_unwind, AssertUnwindSafe, PanicInfo},
60     process::{self, Command, Termination},
61     sync::mpsc::{channel, Sender},
62     sync::{Arc, Mutex},
63     thread,
64     time::{Duration, Instant},
65 };
66
67 pub mod bench;
68 mod cli;
69 mod console;
70 mod event;
71 mod formatters;
72 mod helpers;
73 mod options;
74 pub mod stats;
75 mod term;
76 mod test_result;
77 mod time;
78 mod types;
79
80 #[cfg(test)]
81 mod tests;
82
83 use core::any::Any;
84 use event::{CompletedTest, TestEvent};
85 use helpers::concurrency::get_concurrency;
86 use helpers::exit_code::get_exit_code;
87 use helpers::shuffle::{get_shuffle_seed, shuffle_tests};
88 use options::{Concurrent, RunStrategy};
89 use test_result::*;
90 use time::TestExecTime;
91
92 // Process exit code to be used to indicate test failures.
93 const ERROR_EXIT_CODE: i32 = 101;
94
95 const SECONDARY_TEST_INVOKER_VAR: &str = "__RUST_TEST_INVOKE";
96
97 // The default console test runner. It accepts the command line
98 // arguments and a vector of test_descs.
99 pub fn test_main(args: &[String], tests: Vec<TestDescAndFn>, options: Option<Options>) {
100     let mut opts = match cli::parse_opts(args) {
101         Some(Ok(o)) => o,
102         Some(Err(msg)) => {
103             eprintln!("error: {msg}");
104             process::exit(ERROR_EXIT_CODE);
105         }
106         None => return,
107     };
108     if let Some(options) = options {
109         opts.options = options;
110     }
111     if opts.list {
112         if let Err(e) = console::list_tests_console(&opts, tests) {
113             eprintln!("error: io error when listing tests: {e:?}");
114             process::exit(ERROR_EXIT_CODE);
115         }
116     } else {
117         if !opts.nocapture {
118             // If we encounter a non-unwinding panic, flush any captured output from the current test,
119             // and stop  capturing output to ensure that the non-unwinding panic message is visible.
120             // We also acquire the locks for both output streams to prevent output from other threads
121             // from interleaving with the panic message or appearing after it.
122             let builtin_panic_hook = panic::take_hook();
123             let hook = Box::new({
124                 move |info: &'_ PanicInfo<'_>| {
125                     if !info.can_unwind() {
126                         std::mem::forget(std::io::stderr().lock());
127                         let mut stdout = ManuallyDrop::new(std::io::stdout().lock());
128                         if let Some(captured) = io::set_output_capture(None) {
129                             if let Ok(data) = captured.lock() {
130                                 let _ = stdout.write_all(&data);
131                                 let _ = stdout.flush();
132                             }
133                         }
134                     }
135                     builtin_panic_hook(info);
136                 }
137             });
138             panic::set_hook(hook);
139         }
140         match console::run_tests_console(&opts, tests) {
141             Ok(true) => {}
142             Ok(false) => process::exit(ERROR_EXIT_CODE),
143             Err(e) => {
144                 eprintln!("error: io error when listing tests: {e:?}");
145                 process::exit(ERROR_EXIT_CODE);
146             }
147         }
148     }
149 }
150
151 /// A variant optimized for invocation with a static test vector.
152 /// This will panic (intentionally) when fed any dynamic tests.
153 ///
154 /// This is the entry point for the main function generated by `rustc --test`
155 /// when panic=unwind.
156 pub fn test_main_static(tests: &[&TestDescAndFn]) {
157     let args = env::args().collect::<Vec<_>>();
158     let owned_tests: Vec<_> = tests.iter().map(make_owned_test).collect();
159     test_main(&args, owned_tests, None)
160 }
161
162 /// A variant optimized for invocation with a static test vector.
163 /// This will panic (intentionally) when fed any dynamic tests.
164 ///
165 /// Runs tests in panic=abort mode, which involves spawning subprocesses for
166 /// tests.
167 ///
168 /// This is the entry point for the main function generated by `rustc --test`
169 /// when panic=abort.
170 pub fn test_main_static_abort(tests: &[&TestDescAndFn]) {
171     // If we're being run in SpawnedSecondary mode, run the test here. run_test
172     // will then exit the process.
173     if let Ok(name) = env::var(SECONDARY_TEST_INVOKER_VAR) {
174         env::remove_var(SECONDARY_TEST_INVOKER_VAR);
175         let test = tests
176             .iter()
177             .filter(|test| test.desc.name.as_slice() == name)
178             .map(make_owned_test)
179             .next()
180             .unwrap_or_else(|| panic!("couldn't find a test with the provided name '{name}'"));
181         let TestDescAndFn { desc, testfn } = test;
182         let testfn = match testfn {
183             StaticTestFn(f) => f,
184             _ => panic!("only static tests are supported"),
185         };
186         run_test_in_spawned_subprocess(desc, Box::new(testfn));
187     }
188
189     let args = env::args().collect::<Vec<_>>();
190     let owned_tests: Vec<_> = tests.iter().map(make_owned_test).collect();
191     test_main(&args, owned_tests, Some(Options::new().panic_abort(true)))
192 }
193
194 /// Clones static values for putting into a dynamic vector, which test_main()
195 /// needs to hand out ownership of tests to parallel test runners.
196 ///
197 /// This will panic when fed any dynamic tests, because they cannot be cloned.
198 fn make_owned_test(test: &&TestDescAndFn) -> TestDescAndFn {
199     match test.testfn {
200         StaticTestFn(f) => TestDescAndFn { testfn: StaticTestFn(f), desc: test.desc.clone() },
201         StaticBenchFn(f) => TestDescAndFn { testfn: StaticBenchFn(f), desc: test.desc.clone() },
202         _ => panic!("non-static tests passed to test::test_main_static"),
203     }
204 }
205
206 /// Invoked when unit tests terminate. Returns `Result::Err` if the test is
207 /// considered a failure. By default, invokes `report() and checks for a `0`
208 /// result.
209 pub fn assert_test_result<T: Termination>(result: T) -> Result<(), String> {
210     let code = result.report().to_i32();
211     if code == 0 {
212         Ok(())
213     } else {
214         Err(format!(
215             "the test returned a termination value with a non-zero status code \
216              ({}) which indicates a failure",
217             code
218         ))
219     }
220 }
221
222 struct FilteredTests {
223     tests: Vec<(TestId, TestDescAndFn)>,
224     benchs: Vec<(TestId, TestDescAndFn)>,
225     next_id: usize,
226 }
227
228 impl FilteredTests {
229     fn add_bench(&mut self, desc: TestDesc, testfn: TestFn) {
230         let test = TestDescAndFn { desc, testfn };
231         self.benchs.push((TestId(self.next_id), test));
232         self.next_id += 1;
233     }
234     fn add_test(&mut self, desc: TestDesc, testfn: TestFn) {
235         let test = TestDescAndFn { desc, testfn };
236         self.tests.push((TestId(self.next_id), test));
237         self.next_id += 1;
238     }
239     fn add_bench_as_test(
240         &mut self,
241         desc: TestDesc,
242         benchfn: impl Fn(&mut Bencher) -> Result<(), String> + Send + 'static,
243     ) {
244         let testfn = DynTestFn(Box::new(move || {
245             bench::run_once(|b| __rust_begin_short_backtrace(|| benchfn(b)))
246         }));
247         self.add_test(desc, testfn);
248     }
249     fn total_len(&self) -> usize {
250         self.tests.len() + self.benchs.len()
251     }
252 }
253
254 pub fn run_tests<F>(
255     opts: &TestOpts,
256     tests: Vec<TestDescAndFn>,
257     mut notify_about_test_event: F,
258 ) -> io::Result<()>
259 where
260     F: FnMut(TestEvent) -> io::Result<()>,
261 {
262     use std::collections::{self, HashMap};
263     use std::hash::BuildHasherDefault;
264     use std::sync::mpsc::RecvTimeoutError;
265
266     struct RunningTest {
267         join_handle: Option<thread::JoinHandle<()>>,
268     }
269
270     // Use a deterministic hasher
271     type TestMap =
272         HashMap<TestId, RunningTest, BuildHasherDefault<collections::hash_map::DefaultHasher>>;
273
274     struct TimeoutEntry {
275         id: TestId,
276         desc: TestDesc,
277         timeout: Instant,
278     }
279
280     let tests_len = tests.len();
281
282     let mut filtered = FilteredTests { tests: Vec::new(), benchs: Vec::new(), next_id: 0 };
283
284     for test in filter_tests(opts, tests) {
285         let mut desc = test.desc;
286         desc.name = desc.name.with_padding(test.testfn.padding());
287
288         match test.testfn {
289             DynBenchFn(benchfn) => {
290                 if opts.bench_benchmarks {
291                     filtered.add_bench(desc, DynBenchFn(benchfn));
292                 } else {
293                     filtered.add_bench_as_test(desc, benchfn);
294                 }
295             }
296             StaticBenchFn(benchfn) => {
297                 if opts.bench_benchmarks {
298                     filtered.add_bench(desc, StaticBenchFn(benchfn));
299                 } else {
300                     filtered.add_bench_as_test(desc, benchfn);
301                 }
302             }
303             testfn => {
304                 filtered.add_test(desc, testfn);
305             }
306         };
307     }
308
309     let filtered_out = tests_len - filtered.total_len();
310     let event = TestEvent::TeFilteredOut(filtered_out);
311     notify_about_test_event(event)?;
312
313     let shuffle_seed = get_shuffle_seed(opts);
314
315     let event = TestEvent::TeFiltered(filtered.total_len(), shuffle_seed);
316     notify_about_test_event(event)?;
317
318     let concurrency = opts.test_threads.unwrap_or_else(get_concurrency);
319
320     let mut remaining = filtered.tests;
321     if let Some(shuffle_seed) = shuffle_seed {
322         shuffle_tests(shuffle_seed, &mut remaining);
323     }
324     // Store the tests in a VecDeque so we can efficiently remove the first element to run the
325     // tests in the order they were passed (unless shuffled).
326     let mut remaining = VecDeque::from(remaining);
327     let mut pending = 0;
328
329     let (tx, rx) = channel::<CompletedTest>();
330     let run_strategy = if opts.options.panic_abort && !opts.force_run_in_process {
331         RunStrategy::SpawnPrimary
332     } else {
333         RunStrategy::InProcess
334     };
335
336     let mut running_tests: TestMap = HashMap::default();
337     let mut timeout_queue: VecDeque<TimeoutEntry> = VecDeque::new();
338
339     fn get_timed_out_tests(
340         running_tests: &TestMap,
341         timeout_queue: &mut VecDeque<TimeoutEntry>,
342     ) -> Vec<TestDesc> {
343         let now = Instant::now();
344         let mut timed_out = Vec::new();
345         while let Some(timeout_entry) = timeout_queue.front() {
346             if now < timeout_entry.timeout {
347                 break;
348             }
349             let timeout_entry = timeout_queue.pop_front().unwrap();
350             if running_tests.contains_key(&timeout_entry.id) {
351                 timed_out.push(timeout_entry.desc);
352             }
353         }
354         timed_out
355     }
356
357     fn calc_timeout(timeout_queue: &VecDeque<TimeoutEntry>) -> Option<Duration> {
358         timeout_queue.front().map(|&TimeoutEntry { timeout: next_timeout, .. }| {
359             let now = Instant::now();
360             if next_timeout >= now { next_timeout - now } else { Duration::new(0, 0) }
361         })
362     }
363
364     if concurrency == 1 {
365         while !remaining.is_empty() {
366             let (id, test) = remaining.pop_front().unwrap();
367             let event = TestEvent::TeWait(test.desc.clone());
368             notify_about_test_event(event)?;
369             let join_handle =
370                 run_test(opts, !opts.run_tests, id, test, run_strategy, tx.clone(), Concurrent::No);
371             assert!(join_handle.is_none());
372             let completed_test = rx.recv().unwrap();
373
374             let event = TestEvent::TeResult(completed_test);
375             notify_about_test_event(event)?;
376         }
377     } else {
378         while pending > 0 || !remaining.is_empty() {
379             while pending < concurrency && !remaining.is_empty() {
380                 let (id, test) = remaining.pop_front().unwrap();
381                 let timeout = time::get_default_test_timeout();
382                 let desc = test.desc.clone();
383
384                 let event = TestEvent::TeWait(desc.clone());
385                 notify_about_test_event(event)?; //here no pad
386                 let join_handle = run_test(
387                     opts,
388                     !opts.run_tests,
389                     id,
390                     test,
391                     run_strategy,
392                     tx.clone(),
393                     Concurrent::Yes,
394                 );
395                 running_tests.insert(id, RunningTest { join_handle });
396                 timeout_queue.push_back(TimeoutEntry { id, desc, timeout });
397                 pending += 1;
398             }
399
400             let mut res;
401             loop {
402                 if let Some(timeout) = calc_timeout(&timeout_queue) {
403                     res = rx.recv_timeout(timeout);
404                     for test in get_timed_out_tests(&running_tests, &mut timeout_queue) {
405                         let event = TestEvent::TeTimeout(test);
406                         notify_about_test_event(event)?;
407                     }
408
409                     match res {
410                         Err(RecvTimeoutError::Timeout) => {
411                             // Result is not yet ready, continue waiting.
412                         }
413                         _ => {
414                             // We've got a result, stop the loop.
415                             break;
416                         }
417                     }
418                 } else {
419                     res = rx.recv().map_err(|_| RecvTimeoutError::Disconnected);
420                     break;
421                 }
422             }
423
424             let mut completed_test = res.unwrap();
425             let running_test = running_tests.remove(&completed_test.id).unwrap();
426             if let Some(join_handle) = running_test.join_handle {
427                 if let Err(_) = join_handle.join() {
428                     if let TrOk = completed_test.result {
429                         completed_test.result =
430                             TrFailedMsg("panicked after reporting success".to_string());
431                     }
432                 }
433             }
434
435             let event = TestEvent::TeResult(completed_test);
436             notify_about_test_event(event)?;
437             pending -= 1;
438         }
439     }
440
441     if opts.bench_benchmarks {
442         // All benchmarks run at the end, in serial.
443         for (id, b) in filtered.benchs {
444             let event = TestEvent::TeWait(b.desc.clone());
445             notify_about_test_event(event)?;
446             run_test(opts, false, id, b, run_strategy, tx.clone(), Concurrent::No);
447             let completed_test = rx.recv().unwrap();
448
449             let event = TestEvent::TeResult(completed_test);
450             notify_about_test_event(event)?;
451         }
452     }
453     Ok(())
454 }
455
456 pub fn filter_tests(opts: &TestOpts, tests: Vec<TestDescAndFn>) -> Vec<TestDescAndFn> {
457     let mut filtered = tests;
458     let matches_filter = |test: &TestDescAndFn, filter: &str| {
459         let test_name = test.desc.name.as_slice();
460
461         match opts.filter_exact {
462             true => test_name == filter,
463             false => test_name.contains(filter),
464         }
465     };
466
467     // Remove tests that don't match the test filter
468     if !opts.filters.is_empty() {
469         filtered.retain(|test| opts.filters.iter().any(|filter| matches_filter(test, filter)));
470     }
471
472     // Skip tests that match any of the skip filters
473     if !opts.skip.is_empty() {
474         filtered.retain(|test| !opts.skip.iter().any(|sf| matches_filter(test, sf)));
475     }
476
477     // Excludes #[should_panic] tests
478     if opts.exclude_should_panic {
479         filtered.retain(|test| test.desc.should_panic == ShouldPanic::No);
480     }
481
482     // maybe unignore tests
483     match opts.run_ignored {
484         RunIgnored::Yes => {
485             filtered.iter_mut().for_each(|test| test.desc.ignore = false);
486         }
487         RunIgnored::Only => {
488             filtered.retain(|test| test.desc.ignore);
489             filtered.iter_mut().for_each(|test| test.desc.ignore = false);
490         }
491         RunIgnored::No => {}
492     }
493
494     filtered
495 }
496
497 pub fn convert_benchmarks_to_tests(tests: Vec<TestDescAndFn>) -> Vec<TestDescAndFn> {
498     // convert benchmarks to tests, if we're not benchmarking them
499     tests
500         .into_iter()
501         .map(|x| {
502             let testfn = match x.testfn {
503                 DynBenchFn(benchfn) => DynTestFn(Box::new(move || {
504                     bench::run_once(|b| __rust_begin_short_backtrace(|| benchfn(b)))
505                 })),
506                 StaticBenchFn(benchfn) => DynTestFn(Box::new(move || {
507                     bench::run_once(|b| __rust_begin_short_backtrace(|| benchfn(b)))
508                 })),
509                 f => f,
510             };
511             TestDescAndFn { desc: x.desc, testfn }
512         })
513         .collect()
514 }
515
516 pub fn run_test(
517     opts: &TestOpts,
518     force_ignore: bool,
519     id: TestId,
520     test: TestDescAndFn,
521     strategy: RunStrategy,
522     monitor_ch: Sender<CompletedTest>,
523     concurrency: Concurrent,
524 ) -> Option<thread::JoinHandle<()>> {
525     let TestDescAndFn { desc, testfn } = test;
526
527     // Emscripten can catch panics but other wasm targets cannot
528     let ignore_because_no_process_support = desc.should_panic != ShouldPanic::No
529         && cfg!(target_family = "wasm")
530         && !cfg!(target_os = "emscripten");
531
532     if force_ignore || desc.ignore || ignore_because_no_process_support {
533         let message = CompletedTest::new(id, desc, TrIgnored, None, Vec::new());
534         monitor_ch.send(message).unwrap();
535         return None;
536     }
537
538     struct TestRunOpts {
539         pub strategy: RunStrategy,
540         pub nocapture: bool,
541         pub concurrency: Concurrent,
542         pub time: Option<time::TestTimeOptions>,
543     }
544
545     fn run_test_inner(
546         id: TestId,
547         desc: TestDesc,
548         monitor_ch: Sender<CompletedTest>,
549         testfn: Box<dyn FnOnce() -> Result<(), String> + Send>,
550         opts: TestRunOpts,
551     ) -> Option<thread::JoinHandle<()>> {
552         let concurrency = opts.concurrency;
553         let name = desc.name.clone();
554
555         let runtest = move || match opts.strategy {
556             RunStrategy::InProcess => run_test_in_process(
557                 id,
558                 desc,
559                 opts.nocapture,
560                 opts.time.is_some(),
561                 testfn,
562                 monitor_ch,
563                 opts.time,
564             ),
565             RunStrategy::SpawnPrimary => spawn_test_subprocess(
566                 id,
567                 desc,
568                 opts.nocapture,
569                 opts.time.is_some(),
570                 monitor_ch,
571                 opts.time,
572             ),
573         };
574
575         // If the platform is single-threaded we're just going to run
576         // the test synchronously, regardless of the concurrency
577         // level.
578         let supports_threads = !cfg!(target_os = "emscripten") && !cfg!(target_family = "wasm");
579         if concurrency == Concurrent::Yes && supports_threads {
580             let cfg = thread::Builder::new().name(name.as_slice().to_owned());
581             let mut runtest = Arc::new(Mutex::new(Some(runtest)));
582             let runtest2 = runtest.clone();
583             match cfg.spawn(move || runtest2.lock().unwrap().take().unwrap()()) {
584                 Ok(handle) => Some(handle),
585                 Err(e) if e.kind() == io::ErrorKind::WouldBlock => {
586                     // `ErrorKind::WouldBlock` means hitting the thread limit on some
587                     // platforms, so run the test synchronously here instead.
588                     Arc::get_mut(&mut runtest).unwrap().get_mut().unwrap().take().unwrap()();
589                     None
590                 }
591                 Err(e) => panic!("failed to spawn thread to run test: {e}"),
592             }
593         } else {
594             runtest();
595             None
596         }
597     }
598
599     let test_run_opts =
600         TestRunOpts { strategy, nocapture: opts.nocapture, concurrency, time: opts.time_options };
601
602     match testfn {
603         DynBenchFn(benchfn) => {
604             // Benchmarks aren't expected to panic, so we run them all in-process.
605             crate::bench::benchmark(id, desc, monitor_ch, opts.nocapture, benchfn);
606             None
607         }
608         StaticBenchFn(benchfn) => {
609             // Benchmarks aren't expected to panic, so we run them all in-process.
610             crate::bench::benchmark(id, desc, monitor_ch, opts.nocapture, benchfn);
611             None
612         }
613         DynTestFn(f) => {
614             match strategy {
615                 RunStrategy::InProcess => (),
616                 _ => panic!("Cannot run dynamic test fn out-of-process"),
617             };
618             run_test_inner(
619                 id,
620                 desc,
621                 monitor_ch,
622                 Box::new(move || __rust_begin_short_backtrace(f)),
623                 test_run_opts,
624             )
625         }
626         StaticTestFn(f) => run_test_inner(
627             id,
628             desc,
629             monitor_ch,
630             Box::new(move || __rust_begin_short_backtrace(f)),
631             test_run_opts,
632         ),
633     }
634 }
635
636 /// Fixed frame used to clean the backtrace with `RUST_BACKTRACE=1`.
637 #[inline(never)]
638 fn __rust_begin_short_backtrace<T, F: FnOnce() -> T>(f: F) -> T {
639     let result = f();
640
641     // prevent this frame from being tail-call optimised away
642     black_box(result)
643 }
644
645 fn run_test_in_process(
646     id: TestId,
647     desc: TestDesc,
648     nocapture: bool,
649     report_time: bool,
650     testfn: Box<dyn FnOnce() -> Result<(), String> + Send>,
651     monitor_ch: Sender<CompletedTest>,
652     time_opts: Option<time::TestTimeOptions>,
653 ) {
654     // Buffer for capturing standard I/O
655     let data = Arc::new(Mutex::new(Vec::new()));
656
657     if !nocapture {
658         io::set_output_capture(Some(data.clone()));
659     }
660
661     let start = report_time.then(Instant::now);
662     let result = fold_err(catch_unwind(AssertUnwindSafe(testfn)));
663     let exec_time = start.map(|start| {
664         let duration = start.elapsed();
665         TestExecTime(duration)
666     });
667
668     io::set_output_capture(None);
669
670     let test_result = match result {
671         Ok(()) => calc_result(&desc, Ok(()), &time_opts, &exec_time),
672         Err(e) => calc_result(&desc, Err(e.as_ref()), &time_opts, &exec_time),
673     };
674     let stdout = data.lock().unwrap_or_else(|e| e.into_inner()).to_vec();
675     let message = CompletedTest::new(id, desc, test_result, exec_time, stdout);
676     monitor_ch.send(message).unwrap();
677 }
678
679 fn fold_err<T, E>(
680     result: Result<Result<T, E>, Box<dyn Any + Send>>,
681 ) -> Result<T, Box<dyn Any + Send>>
682 where
683     E: Send + 'static,
684 {
685     match result {
686         Ok(Err(e)) => Err(Box::new(e)),
687         Ok(Ok(v)) => Ok(v),
688         Err(e) => Err(e),
689     }
690 }
691
692 fn spawn_test_subprocess(
693     id: TestId,
694     desc: TestDesc,
695     nocapture: bool,
696     report_time: bool,
697     monitor_ch: Sender<CompletedTest>,
698     time_opts: Option<time::TestTimeOptions>,
699 ) {
700     let (result, test_output, exec_time) = (|| {
701         let args = env::args().collect::<Vec<_>>();
702         let current_exe = &args[0];
703
704         let mut command = Command::new(current_exe);
705         command.env(SECONDARY_TEST_INVOKER_VAR, desc.name.as_slice());
706         if nocapture {
707             command.stdout(process::Stdio::inherit());
708             command.stderr(process::Stdio::inherit());
709         }
710
711         let start = report_time.then(Instant::now);
712         let output = match command.output() {
713             Ok(out) => out,
714             Err(e) => {
715                 let err = format!("Failed to spawn {} as child for test: {:?}", args[0], e);
716                 return (TrFailed, err.into_bytes(), None);
717             }
718         };
719         let exec_time = start.map(|start| {
720             let duration = start.elapsed();
721             TestExecTime(duration)
722         });
723
724         let std::process::Output { stdout, stderr, status } = output;
725         let mut test_output = stdout;
726         formatters::write_stderr_delimiter(&mut test_output, &desc.name);
727         test_output.extend_from_slice(&stderr);
728
729         let result = match (|| -> Result<TestResult, String> {
730             let exit_code = get_exit_code(status)?;
731             Ok(get_result_from_exit_code(&desc, exit_code, &time_opts, &exec_time))
732         })() {
733             Ok(r) => r,
734             Err(e) => {
735                 write!(&mut test_output, "Unexpected error: {}", e).unwrap();
736                 TrFailed
737             }
738         };
739
740         (result, test_output, exec_time)
741     })();
742
743     let message = CompletedTest::new(id, desc, result, exec_time, test_output);
744     monitor_ch.send(message).unwrap();
745 }
746
747 fn run_test_in_spawned_subprocess(
748     desc: TestDesc,
749     testfn: Box<dyn FnOnce() -> Result<(), String> + Send>,
750 ) -> ! {
751     let builtin_panic_hook = panic::take_hook();
752     let record_result = Arc::new(move |panic_info: Option<&'_ PanicInfo<'_>>| {
753         let test_result = match panic_info {
754             Some(info) => calc_result(&desc, Err(info.payload()), &None, &None),
755             None => calc_result(&desc, Ok(()), &None, &None),
756         };
757
758         // We don't support serializing TrFailedMsg, so just
759         // print the message out to stderr.
760         if let TrFailedMsg(msg) = &test_result {
761             eprintln!("{msg}");
762         }
763
764         if let Some(info) = panic_info {
765             builtin_panic_hook(info);
766         }
767
768         if let TrOk = test_result {
769             process::exit(test_result::TR_OK);
770         } else {
771             process::exit(test_result::TR_FAILED);
772         }
773     });
774     let record_result2 = record_result.clone();
775     panic::set_hook(Box::new(move |info| record_result2(Some(&info))));
776     if let Err(message) = testfn() {
777         panic!("{}", message);
778     }
779     record_result(None);
780     unreachable!("panic=abort callback should have exited the process")
781 }