]> git.lizzy.rs Git - rust.git/blob - src/bootstrap/step.rs
Fix invalid associated type rendering in rustdoc
[rust.git] / src / bootstrap / step.rs
1 // Copyright 2016 The Rust Project Developers. See the COPYRIGHT
2 // file at the top-level directory of this distribution and at
3 // http://rust-lang.org/COPYRIGHT.
4 //
5 // Licensed under the Apache License, Version 2.0 <LICENSE-APACHE or
6 // http://www.apache.org/licenses/LICENSE-2.0> or the MIT license
7 // <LICENSE-MIT or http://opensource.org/licenses/MIT>, at your
8 // option. This file may not be copied, modified, or distributed
9 // except according to those terms.
10
11 //! Definition of steps of the build system.
12 //!
13 //! This is where some of the real meat of rustbuild is located, in how we
14 //! define targets and the dependencies amongst them. This file can sort of be
15 //! viewed as just defining targets in a makefile which shell out to predefined
16 //! functions elsewhere about how to execute the target.
17 //!
18 //! The primary function here you're likely interested in is the `build_rules`
19 //! function. This will create a `Rules` structure which basically just lists
20 //! everything that rustbuild can do. Each rule has a human-readable name, a
21 //! path associated with it, some dependencies, and then a closure of how to
22 //! actually perform the rule.
23 //!
24 //! All steps below are defined in self-contained units, so adding a new target
25 //! to the build system should just involve adding the meta information here
26 //! along with the actual implementation elsewhere. You can find more comments
27 //! about how to define rules themselves below.
28
29 use std::collections::{BTreeMap, HashSet};
30 use std::mem;
31
32 use check::{self, TestKind};
33 use compile;
34 use dist;
35 use doc;
36 use flags::Subcommand;
37 use install;
38 use native;
39 use {Compiler, Build, Mode};
40
41 pub fn run(build: &Build) {
42     let rules = build_rules(build);
43     let steps = rules.plan();
44     rules.run(&steps);
45 }
46
47 pub fn build_rules<'a>(build: &'a Build) -> Rules {
48     let mut rules = Rules::new(build);
49
50     // This is the first rule that we're going to define for rustbuild, which is
51     // used to compile LLVM itself. All rules are added through the `rules`
52     // structure created above and are configured through a builder-style
53     // interface.
54     //
55     // First up we see the `build` method. This represents a rule that's part of
56     // the top-level `build` subcommand. For example `./x.py build` is what this
57     // is associating with. Note that this is normally only relevant if you flag
58     // a rule as `default`, which we'll talk about later.
59     //
60     // Next up we'll see two arguments to this method:
61     //
62     // * `llvm` - this is the "human readable" name of this target. This name is
63     //            not accessed anywhere outside this file itself (e.g. not in
64     //            the CLI nor elsewhere in rustbuild). The purpose of this is to
65     //            easily define dependencies between rules. That is, other rules
66     //            will depend on this with the name "llvm".
67     // * `src/llvm` - this is the relevant path to the rule that we're working
68     //                with. This path is the engine behind how commands like
69     //                `./x.py build src/llvm` work. This should typically point
70     //                to the relevant component, but if there's not really a
71     //                path to be assigned here you can pass something like
72     //                `path/to/nowhere` to ignore it.
73     //
74     // After we create the rule with the `build` method we can then configure
75     // various aspects of it. For example this LLVM rule uses `.host(true)` to
76     // flag that it's a rule only for host targets. In other words, LLVM isn't
77     // compiled for targets configured through `--target` (e.g. those we're just
78     // building a standard library for).
79     //
80     // Next up the `dep` method will add a dependency to this rule. The closure
81     // is yielded the step that represents executing the `llvm` rule itself
82     // (containing information like stage, host, target, ...) and then it must
83     // return a target that the step depends on. Here LLVM is actually
84     // interesting where a cross-compiled LLVM depends on the host LLVM, but
85     // otherwise it has no dependencies.
86     //
87     // To handle this we do a bit of dynamic dispatch to see what the dependency
88     // is. If we're building a LLVM for the build triple, then we don't actually
89     // have any dependencies! To do that we return a dependency on the `Step::noop()`
90     // target which does nothing.
91     //
92     // If we're build a cross-compiled LLVM, however, we need to assemble the
93     // libraries from the previous compiler. This step has the same name as
94     // ours (llvm) but we want it for a different target, so we use the
95     // builder-style methods on `Step` to configure this target to the build
96     // triple.
97     //
98     // Finally, to finish off this rule, we define how to actually execute it.
99     // That logic is all defined in the `native` module so we just delegate to
100     // the relevant function there. The argument to the closure passed to `run`
101     // is a `Step` (defined below) which encapsulates information like the
102     // stage, target, host, etc.
103     rules.build("llvm", "src/llvm")
104          .host(true)
105          .dep(move |s| {
106              if s.target == build.config.build {
107                  Step::noop()
108              } else {
109                  s.target(&build.config.build)
110              }
111          })
112          .run(move |s| native::llvm(build, s.target));
113
114     // Ok! After that example rule  that's hopefully enough to explain what's
115     // going on here. You can check out the API docs below and also see a bunch
116     // more examples of rules directly below as well.
117
118     // the compiler with no target libraries ready to go
119     rules.build("rustc", "src/rustc")
120          .dep(|s| s.name("create-sysroot").target(s.host))
121          .dep(move |s| {
122              if s.stage == 0 {
123                  Step::noop()
124              } else {
125                  s.name("librustc")
126                   .host(&build.config.build)
127                   .stage(s.stage - 1)
128              }
129          })
130          .run(move |s| compile::assemble_rustc(build, s.stage, s.target));
131
132     // Helper for loading an entire DAG of crates, rooted at `name`
133     let krates = |name: &str| {
134         let mut ret = Vec::new();
135         let mut list = vec![name];
136         let mut visited = HashSet::new();
137         while let Some(krate) = list.pop() {
138             let default = krate == name;
139             let krate = &build.crates[krate];
140             let path = krate.path.strip_prefix(&build.src).unwrap();
141             ret.push((krate, path.to_str().unwrap(), default));
142             for dep in krate.deps.iter() {
143                 if visited.insert(dep) && dep != "build_helper" {
144                     list.push(dep);
145                 }
146             }
147         }
148         return ret
149     };
150
151     // ========================================================================
152     // Crate compilations
153     //
154     // Tools used during the build system but not shipped
155     rules.build("create-sysroot", "path/to/nowhere")
156          .run(move |s| compile::create_sysroot(build, &s.compiler()));
157
158     // These rules are "pseudo rules" that don't actually do any work
159     // themselves, but represent a complete sysroot with the relevant compiler
160     // linked into place.
161     //
162     // That is, depending on "libstd" means that when the rule is completed then
163     // the `stage` sysroot for the compiler `host` will be available with a
164     // standard library built for `target` linked in place. Not all rules need
165     // the compiler itself to be available, just the standard library, so
166     // there's a distinction between the two.
167     rules.build("libstd", "src/libstd")
168          .dep(|s| s.name("rustc").target(s.host))
169          .dep(|s| s.name("libstd-link"));
170     rules.build("libtest", "src/libtest")
171          .dep(|s| s.name("libstd"))
172          .dep(|s| s.name("libtest-link"))
173          .default(true);
174     rules.build("librustc", "src/librustc")
175          .dep(|s| s.name("libtest"))
176          .dep(|s| s.name("librustc-link"))
177          .host(true)
178          .default(true);
179
180     // Helper method to define the rules to link a crate into its place in the
181     // sysroot.
182     //
183     // The logic here is a little subtle as there's a few cases to consider.
184     // Not all combinations of (stage, host, target) actually require something
185     // to be compiled, but rather libraries could get propagated from a
186     // different location. For example:
187     //
188     // * Any crate with a `host` that's not the build triple will not actually
189     //   compile something. A different `host` means that the build triple will
190     //   actually compile the libraries, and then we'll copy them over from the
191     //   build triple to the `host` directory.
192     //
193     // * Some crates aren't even compiled by the build triple, but may be copied
194     //   from previous stages. For example if we're not doing a full bootstrap
195     //   then we may just depend on the stage1 versions of libraries to be
196     //   available to get linked forward.
197     //
198     // * Finally, there are some cases, however, which do indeed comiple crates
199     //   and link them into place afterwards.
200     //
201     // The rule definition below mirrors these three cases. The `dep` method
202     // calculates the correct dependency which either comes from stage1, a
203     // different compiler, or from actually building the crate itself (the `dep`
204     // rule). The `run` rule then mirrors these three cases and links the cases
205     // forward into the compiler sysroot specified from the correct location.
206     fn crate_rule<'a, 'b>(build: &'a Build,
207                           rules: &'b mut Rules<'a>,
208                           krate: &'a str,
209                           dep: &'a str,
210                           link: fn(&Build, &Compiler, &Compiler, &str))
211                           -> RuleBuilder<'a, 'b> {
212         let mut rule = rules.build(&krate, "path/to/nowhere");
213         rule.dep(move |s| {
214                 if build.force_use_stage1(&s.compiler(), s.target) {
215                     s.host(&build.config.build).stage(1)
216                 } else if s.host == build.config.build {
217                     s.name(dep)
218                 } else {
219                     s.host(&build.config.build)
220                 }
221             })
222             .run(move |s| {
223                 if build.force_use_stage1(&s.compiler(), s.target) {
224                     link(build,
225                          &s.stage(1).host(&build.config.build).compiler(),
226                          &s.compiler(),
227                          s.target)
228                 } else if s.host == build.config.build {
229                     link(build, &s.compiler(), &s.compiler(), s.target)
230                 } else {
231                     link(build,
232                          &s.host(&build.config.build).compiler(),
233                          &s.compiler(),
234                          s.target)
235                 }
236             });
237             return rule
238     }
239
240     // Similar to the `libstd`, `libtest`, and `librustc` rules above, except
241     // these rules only represent the libraries being available in the sysroot,
242     // not the compiler itself. This is done as not all rules need a compiler in
243     // the sysroot, but may just need the libraries.
244     //
245     // All of these rules use the helper definition above.
246     crate_rule(build,
247                &mut rules,
248                "libstd-link",
249                "build-crate-std",
250                compile::std_link)
251         .dep(|s| s.name("startup-objects"))
252         .dep(|s| s.name("create-sysroot").target(s.host));
253     crate_rule(build,
254                &mut rules,
255                "libtest-link",
256                "build-crate-test",
257                compile::test_link)
258         .dep(|s| s.name("libstd-link"));
259     crate_rule(build,
260                &mut rules,
261                "librustc-link",
262                "build-crate-rustc-main",
263                compile::rustc_link)
264         .dep(|s| s.name("libtest-link"));
265
266     for (krate, path, _default) in krates("std") {
267         rules.build(&krate.build_step, path)
268              .dep(|s| s.name("startup-objects"))
269              .dep(move |s| s.name("rustc").host(&build.config.build).target(s.host))
270              .run(move |s| compile::std(build, s.target, &s.compiler()));
271     }
272     for (krate, path, _default) in krates("test") {
273         rules.build(&krate.build_step, path)
274              .dep(|s| s.name("libstd-link"))
275              .run(move |s| compile::test(build, s.target, &s.compiler()));
276     }
277     for (krate, path, _default) in krates("rustc-main") {
278         rules.build(&krate.build_step, path)
279              .dep(|s| s.name("libtest-link"))
280              .dep(move |s| s.name("llvm").host(&build.config.build).stage(0))
281              .dep(|s| s.name("may-run-build-script"))
282              .run(move |s| compile::rustc(build, s.target, &s.compiler()));
283     }
284
285     // Crates which have build scripts need to rely on this rule to ensure that
286     // the necessary prerequisites for a build script are linked and located in
287     // place.
288     rules.build("may-run-build-script", "path/to/nowhere")
289          .dep(move |s| {
290              s.name("libstd-link")
291               .host(&build.config.build)
292               .target(&build.config.build)
293          });
294     rules.build("startup-objects", "src/rtstartup")
295          .dep(|s| s.name("create-sysroot").target(s.host))
296          .run(move |s| compile::build_startup_objects(build, &s.compiler(), s.target));
297
298     // ========================================================================
299     // Test targets
300     //
301     // Various unit tests and tests suites we can run
302     {
303         let mut suite = |name, path, mode, dir| {
304             rules.test(name, path)
305                  .dep(|s| s.name("libtest"))
306                  .dep(|s| s.name("tool-compiletest").target(s.host).stage(0))
307                  .dep(|s| s.name("test-helpers"))
308                  .dep(|s| s.name("emulator-copy-libs"))
309                  .default(mode != "pretty") // pretty tests don't run everywhere
310                  .run(move |s| {
311                      check::compiletest(build, &s.compiler(), s.target, mode, dir)
312                  });
313         };
314
315         suite("check-ui", "src/test/ui", "ui", "ui");
316         suite("check-rpass", "src/test/run-pass", "run-pass", "run-pass");
317         suite("check-cfail", "src/test/compile-fail", "compile-fail", "compile-fail");
318         suite("check-pfail", "src/test/parse-fail", "parse-fail", "parse-fail");
319         suite("check-rfail", "src/test/run-fail", "run-fail", "run-fail");
320         suite("check-rpass-valgrind", "src/test/run-pass-valgrind",
321               "run-pass-valgrind", "run-pass-valgrind");
322         suite("check-mir-opt", "src/test/mir-opt", "mir-opt", "mir-opt");
323         if build.config.codegen_tests {
324             suite("check-codegen", "src/test/codegen", "codegen", "codegen");
325         }
326         suite("check-codegen-units", "src/test/codegen-units", "codegen-units",
327               "codegen-units");
328         suite("check-incremental", "src/test/incremental", "incremental",
329               "incremental");
330     }
331
332     if build.config.build.contains("msvc") {
333         // nothing to do for debuginfo tests
334     } else {
335         rules.test("check-debuginfo-lldb", "src/test/debuginfo-lldb")
336              .dep(|s| s.name("libtest"))
337              .dep(|s| s.name("tool-compiletest").target(s.host).stage(0))
338              .dep(|s| s.name("test-helpers"))
339              .dep(|s| s.name("debugger-scripts"))
340              .run(move |s| check::compiletest(build, &s.compiler(), s.target,
341                                          "debuginfo-lldb", "debuginfo"));
342         rules.test("check-debuginfo-gdb", "src/test/debuginfo-gdb")
343              .dep(|s| s.name("libtest"))
344              .dep(|s| s.name("tool-compiletest").target(s.host).stage(0))
345              .dep(|s| s.name("test-helpers"))
346              .dep(|s| s.name("debugger-scripts"))
347              .dep(|s| s.name("emulator-copy-libs"))
348              .run(move |s| check::compiletest(build, &s.compiler(), s.target,
349                                          "debuginfo-gdb", "debuginfo"));
350         let mut rule = rules.test("check-debuginfo", "src/test/debuginfo");
351         rule.default(true);
352         if build.config.build.contains("apple") {
353             rule.dep(|s| s.name("check-debuginfo-lldb"));
354         } else {
355             rule.dep(|s| s.name("check-debuginfo-gdb"));
356         }
357     }
358
359     rules.test("debugger-scripts", "src/etc/lldb_batchmode.py")
360          .run(move |s| dist::debugger_scripts(build, &build.sysroot(&s.compiler()),
361                                          s.target));
362
363     {
364         let mut suite = |name, path, mode, dir| {
365             rules.test(name, path)
366                  .dep(|s| s.name("librustc"))
367                  .dep(|s| s.name("test-helpers"))
368                  .dep(|s| s.name("tool-compiletest").target(s.host).stage(0))
369                  .default(mode != "pretty")
370                  .host(true)
371                  .run(move |s| {
372                      check::compiletest(build, &s.compiler(), s.target, mode, dir)
373                  });
374         };
375
376         suite("check-ui-full", "src/test/ui-fulldeps", "ui", "ui-fulldeps");
377         suite("check-rpass-full", "src/test/run-pass-fulldeps",
378               "run-pass", "run-pass-fulldeps");
379         suite("check-rfail-full", "src/test/run-fail-fulldeps",
380               "run-fail", "run-fail-fulldeps");
381         suite("check-cfail-full", "src/test/compile-fail-fulldeps",
382               "compile-fail", "compile-fail-fulldeps");
383         suite("check-rmake", "src/test/run-make", "run-make", "run-make");
384         suite("check-rustdoc", "src/test/rustdoc", "rustdoc", "rustdoc");
385         suite("check-pretty", "src/test/pretty", "pretty", "pretty");
386         suite("check-pretty-rpass", "src/test/run-pass/pretty", "pretty",
387               "run-pass");
388         suite("check-pretty-rfail", "src/test/run-fail/pretty", "pretty",
389               "run-fail");
390         suite("check-pretty-valgrind", "src/test/run-pass-valgrind/pretty", "pretty",
391               "run-pass-valgrind");
392         suite("check-pretty-rpass-full", "src/test/run-pass-fulldeps/pretty",
393               "pretty", "run-pass-fulldeps");
394         suite("check-pretty-rfail-full", "src/test/run-fail-fulldeps/pretty",
395               "pretty", "run-fail-fulldeps");
396     }
397
398     for (krate, path, _default) in krates("std") {
399         rules.test(&krate.test_step, path)
400              .dep(|s| s.name("libtest"))
401              .dep(|s| s.name("emulator-copy-libs"))
402              .run(move |s| check::krate(build, &s.compiler(), s.target,
403                                         Mode::Libstd, TestKind::Test,
404                                         Some(&krate.name)));
405     }
406     rules.test("check-std-all", "path/to/nowhere")
407          .dep(|s| s.name("libtest"))
408          .dep(|s| s.name("emulator-copy-libs"))
409          .default(true)
410          .run(move |s| check::krate(build, &s.compiler(), s.target,
411                                     Mode::Libstd, TestKind::Test, None));
412
413     // std benchmarks
414     for (krate, path, _default) in krates("std") {
415         rules.bench(&krate.bench_step, path)
416              .dep(|s| s.name("libtest"))
417              .dep(|s| s.name("emulator-copy-libs"))
418              .run(move |s| check::krate(build, &s.compiler(), s.target,
419                                         Mode::Libstd, TestKind::Bench,
420                                         Some(&krate.name)));
421     }
422     rules.bench("bench-std-all", "path/to/nowhere")
423          .dep(|s| s.name("libtest"))
424          .dep(|s| s.name("emulator-copy-libs"))
425          .default(true)
426          .run(move |s| check::krate(build, &s.compiler(), s.target,
427                                     Mode::Libstd, TestKind::Bench, None));
428
429     for (krate, path, _default) in krates("test") {
430         rules.test(&krate.test_step, path)
431              .dep(|s| s.name("libtest"))
432              .dep(|s| s.name("emulator-copy-libs"))
433              .run(move |s| check::krate(build, &s.compiler(), s.target,
434                                         Mode::Libtest, TestKind::Test,
435                                         Some(&krate.name)));
436     }
437     rules.test("check-test-all", "path/to/nowhere")
438          .dep(|s| s.name("libtest"))
439          .dep(|s| s.name("emulator-copy-libs"))
440          .default(true)
441          .run(move |s| check::krate(build, &s.compiler(), s.target,
442                                     Mode::Libtest, TestKind::Test, None));
443     for (krate, path, _default) in krates("rustc-main") {
444         rules.test(&krate.test_step, path)
445              .dep(|s| s.name("librustc"))
446              .dep(|s| s.name("emulator-copy-libs"))
447              .host(true)
448              .run(move |s| check::krate(build, &s.compiler(), s.target,
449                                         Mode::Librustc, TestKind::Test,
450                                         Some(&krate.name)));
451     }
452     rules.test("check-rustc-all", "path/to/nowhere")
453          .dep(|s| s.name("librustc"))
454          .dep(|s| s.name("emulator-copy-libs"))
455          .default(true)
456          .host(true)
457          .run(move |s| check::krate(build, &s.compiler(), s.target,
458                                     Mode::Librustc, TestKind::Test, None));
459
460     rules.test("check-linkchecker", "src/tools/linkchecker")
461          .dep(|s| s.name("tool-linkchecker").stage(0))
462          .dep(|s| s.name("default:doc"))
463          .default(true)
464          .host(true)
465          .run(move |s| check::linkcheck(build, s.target));
466     rules.test("check-cargotest", "src/tools/cargotest")
467          .dep(|s| s.name("tool-cargotest").stage(0))
468          .dep(|s| s.name("librustc"))
469          .host(true)
470          .run(move |s| check::cargotest(build, s.stage, s.target));
471     rules.test("check-tidy", "src/tools/tidy")
472          .dep(|s| s.name("tool-tidy").stage(0))
473          .default(true)
474          .host(true)
475          .only_build(true)
476          .run(move |s| check::tidy(build, s.target));
477     rules.test("check-error-index", "src/tools/error_index_generator")
478          .dep(|s| s.name("libstd"))
479          .dep(|s| s.name("tool-error-index").host(s.host).stage(0))
480          .default(true)
481          .host(true)
482          .run(move |s| check::error_index(build, &s.compiler()));
483     rules.test("check-docs", "src/doc")
484          .dep(|s| s.name("libtest"))
485          .default(true)
486          .host(true)
487          .run(move |s| check::docs(build, &s.compiler()));
488     rules.test("check-distcheck", "distcheck")
489          .dep(|s| s.name("dist-src"))
490          .run(move |_| check::distcheck(build));
491
492     rules.build("test-helpers", "src/rt/rust_test_helpers.c")
493          .run(move |s| native::test_helpers(build, s.target));
494     rules.build("openssl", "path/to/nowhere")
495          .run(move |s| native::openssl(build, s.target));
496
497     // Some test suites are run inside emulators, and most of our test binaries
498     // are linked dynamically which means we need to ship the standard library
499     // and such to the emulator ahead of time. This step represents this and is
500     // a dependency of all test suites.
501     //
502     // Most of the time this step is a noop (the `check::emulator_copy_libs`
503     // only does work if necessary). For some steps such as shipping data to
504     // QEMU we have to build our own tools so we've got conditional dependencies
505     // on those programs as well. Note that the QEMU client is built for the
506     // build target (us) and the server is built for the target.
507     rules.test("emulator-copy-libs", "path/to/nowhere")
508          .dep(|s| s.name("libtest"))
509          .dep(move |s| {
510              if build.qemu_rootfs(s.target).is_some() {
511                 s.name("tool-qemu-test-client").target(s.host).stage(0)
512              } else {
513                  Step::noop()
514              }
515          })
516          .dep(move |s| {
517              if build.qemu_rootfs(s.target).is_some() {
518                 s.name("tool-qemu-test-server")
519              } else {
520                  Step::noop()
521              }
522          })
523          .run(move |s| check::emulator_copy_libs(build, &s.compiler(), s.target));
524
525     rules.test("check-bootstrap", "src/bootstrap")
526          .default(true)
527          .host(true)
528          .only_build(true)
529          .run(move |_| check::bootstrap(build));
530
531     // ========================================================================
532     // Build tools
533     //
534     // Tools used during the build system but not shipped
535     rules.build("tool-rustbook", "src/tools/rustbook")
536          .dep(|s| s.name("librustc"))
537          .run(move |s| compile::tool(build, s.stage, s.target, "rustbook"));
538     rules.build("tool-error-index", "src/tools/error_index_generator")
539          .dep(|s| s.name("librustc"))
540          .run(move |s| compile::tool(build, s.stage, s.target, "error_index_generator"));
541     rules.build("tool-tidy", "src/tools/tidy")
542          .dep(|s| s.name("libstd"))
543          .run(move |s| compile::tool(build, s.stage, s.target, "tidy"));
544     rules.build("tool-linkchecker", "src/tools/linkchecker")
545          .dep(|s| s.name("libstd"))
546          .run(move |s| compile::tool(build, s.stage, s.target, "linkchecker"));
547     rules.build("tool-cargotest", "src/tools/cargotest")
548          .dep(|s| s.name("libstd"))
549          .run(move |s| compile::tool(build, s.stage, s.target, "cargotest"));
550     rules.build("tool-compiletest", "src/tools/compiletest")
551          .dep(|s| s.name("libtest"))
552          .run(move |s| compile::tool(build, s.stage, s.target, "compiletest"));
553     rules.build("tool-build-manifest", "src/tools/build-manifest")
554          .dep(|s| s.name("libstd"))
555          .run(move |s| compile::tool(build, s.stage, s.target, "build-manifest"));
556     rules.build("tool-qemu-test-server", "src/tools/qemu-test-server")
557          .dep(|s| s.name("libstd"))
558          .run(move |s| compile::tool(build, s.stage, s.target, "qemu-test-server"));
559     rules.build("tool-qemu-test-client", "src/tools/qemu-test-client")
560          .dep(|s| s.name("libstd"))
561          .run(move |s| compile::tool(build, s.stage, s.target, "qemu-test-client"));
562     rules.build("tool-cargo", "cargo")
563          .dep(|s| s.name("libstd"))
564          .dep(|s| s.stage(0).host(s.target).name("openssl"))
565          .dep(move |s| {
566              // Cargo depends on procedural macros, which requires a full host
567              // compiler to be available, so we need to depend on that.
568              s.name("librustc-link")
569               .target(&build.config.build)
570               .host(&build.config.build)
571          })
572          .run(move |s| compile::tool(build, s.stage, s.target, "cargo"));
573
574     // ========================================================================
575     // Documentation targets
576     rules.doc("doc-book", "src/doc/book")
577          .dep(move |s| {
578              s.name("tool-rustbook")
579               .host(&build.config.build)
580               .target(&build.config.build)
581               .stage(0)
582          })
583          .default(build.config.docs)
584          .run(move |s| doc::book(build, s.target, "book"));
585     rules.doc("doc-nomicon", "src/doc/nomicon")
586          .dep(move |s| {
587              s.name("tool-rustbook")
588               .host(&build.config.build)
589               .target(&build.config.build)
590               .stage(0)
591          })
592          .default(build.config.docs)
593          .run(move |s| doc::rustbook(build, s.target, "nomicon"));
594     rules.doc("doc-reference", "src/doc/reference")
595          .dep(move |s| {
596              s.name("tool-rustbook")
597               .host(&build.config.build)
598               .target(&build.config.build)
599               .stage(0)
600          })
601          .default(build.config.docs)
602          .run(move |s| doc::rustbook(build, s.target, "reference"));
603     rules.doc("doc-unstable-book", "src/doc/unstable-book")
604          .dep(move |s| {
605              s.name("tool-rustbook")
606               .host(&build.config.build)
607               .target(&build.config.build)
608               .stage(0)
609          })
610          .default(build.config.docs)
611          .run(move |s| doc::rustbook(build, s.target, "unstable-book"));
612     rules.doc("doc-standalone", "src/doc")
613          .dep(move |s| {
614              s.name("rustc")
615               .host(&build.config.build)
616               .target(&build.config.build)
617               .stage(0)
618          })
619          .default(build.config.docs)
620          .run(move |s| doc::standalone(build, s.target));
621     rules.doc("doc-error-index", "src/tools/error_index_generator")
622          .dep(move |s| s.name("tool-error-index").target(&build.config.build).stage(0))
623          .dep(move |s| s.name("librustc-link"))
624          .default(build.config.docs)
625          .host(true)
626          .run(move |s| doc::error_index(build, s.target));
627     for (krate, path, default) in krates("std") {
628         rules.doc(&krate.doc_step, path)
629              .dep(|s| s.name("libstd-link"))
630              .default(default && build.config.docs)
631              .run(move |s| doc::std(build, s.stage, s.target));
632     }
633     for (krate, path, default) in krates("test") {
634         rules.doc(&krate.doc_step, path)
635              .dep(|s| s.name("libtest-link"))
636              // Needed so rustdoc generates relative links to std.
637              .dep(|s| s.name("doc-crate-std"))
638              .default(default && build.config.compiler_docs)
639              .run(move |s| doc::test(build, s.stage, s.target));
640     }
641     for (krate, path, default) in krates("rustc-main") {
642         rules.doc(&krate.doc_step, path)
643              .dep(|s| s.name("librustc-link"))
644              // Needed so rustdoc generates relative links to std.
645              .dep(|s| s.name("doc-crate-std"))
646              .host(true)
647              .default(default && build.config.docs)
648              .run(move |s| doc::rustc(build, s.stage, s.target));
649     }
650
651     // ========================================================================
652     // Distribution targets
653     rules.dist("dist-rustc", "src/librustc")
654          .dep(move |s| s.name("rustc").host(&build.config.build))
655          .host(true)
656          .only_host_build(true)
657          .default(true)
658          .run(move |s| dist::rustc(build, s.stage, s.target));
659     rules.dist("dist-std", "src/libstd")
660          .dep(move |s| {
661              // We want to package up as many target libraries as possible
662              // for the `rust-std` package, so if this is a host target we
663              // depend on librustc and otherwise we just depend on libtest.
664              if build.config.host.iter().any(|t| t == s.target) {
665                  s.name("librustc-link")
666              } else {
667                  s.name("libtest-link")
668              }
669          })
670          .default(true)
671          .only_host_build(true)
672          .run(move |s| dist::std(build, &s.compiler(), s.target));
673     rules.dist("dist-mingw", "path/to/nowhere")
674          .default(true)
675          .only_host_build(true)
676          .run(move |s| {
677              if s.target.contains("pc-windows-gnu") {
678                  dist::mingw(build, s.target)
679              }
680          });
681     rules.dist("dist-src", "src")
682          .default(true)
683          .host(true)
684          .only_build(true)
685          .only_host_build(true)
686          .run(move |_| dist::rust_src(build));
687     rules.dist("dist-docs", "src/doc")
688          .default(true)
689          .only_host_build(true)
690          .dep(|s| s.name("default:doc"))
691          .run(move |s| dist::docs(build, s.stage, s.target));
692     rules.dist("dist-analysis", "analysis")
693          .dep(|s| s.name("dist-std"))
694          .default(true)
695          .only_host_build(true)
696          .run(move |s| dist::analysis(build, &s.compiler(), s.target));
697     rules.dist("install", "path/to/nowhere")
698          .dep(|s| s.name("default:dist"))
699          .run(move |s| install::install(build, s.stage, s.target));
700     rules.dist("dist-cargo", "cargo")
701          .host(true)
702          .only_host_build(true)
703          .dep(|s| s.name("tool-cargo"))
704          .run(move |s| dist::cargo(build, s.stage, s.target));
705     rules.dist("dist-extended", "extended")
706          .default(build.config.extended)
707          .host(true)
708          .only_host_build(true)
709          .dep(|d| d.name("dist-std"))
710          .dep(|d| d.name("dist-rustc"))
711          .dep(|d| d.name("dist-mingw"))
712          .dep(|d| d.name("dist-docs"))
713          .dep(|d| d.name("dist-cargo"))
714          .run(move |s| dist::extended(build, s.stage, s.target));
715
716     rules.dist("dist-sign", "hash-and-sign")
717          .host(true)
718          .only_build(true)
719          .only_host_build(true)
720          .dep(move |s| s.name("tool-build-manifest").target(&build.config.build).stage(0))
721          .run(move |_| dist::hash_and_sign(build));
722
723     rules.verify();
724     return rules;
725 }
726
727 #[derive(PartialEq, Eq, Hash, Clone, Debug)]
728 struct Step<'a> {
729     /// Human readable name of the rule this step is executing. Possible names
730     /// are all defined above in `build_rules`.
731     name: &'a str,
732
733     /// The stage this step is executing in. This is typically 0, 1, or 2.
734     stage: u32,
735
736     /// This step will likely involve a compiler, and the target that compiler
737     /// itself is built for is called the host, this variable. Typically this is
738     /// the target of the build machine itself.
739     host: &'a str,
740
741     /// The target that this step represents generating. If you're building a
742     /// standard library for a new suite of targets, for example, this'll be set
743     /// to those targets.
744     target: &'a str,
745 }
746
747 impl<'a> Step<'a> {
748     fn noop() -> Step<'a> {
749         Step { name: "", stage: 0, host: "", target: "" }
750     }
751
752     /// Creates a new step which is the same as this, except has a new name.
753     fn name(&self, name: &'a str) -> Step<'a> {
754         Step { name: name, ..*self }
755     }
756
757     /// Creates a new step which is the same as this, except has a new stage.
758     fn stage(&self, stage: u32) -> Step<'a> {
759         Step { stage: stage, ..*self }
760     }
761
762     /// Creates a new step which is the same as this, except has a new host.
763     fn host(&self, host: &'a str) -> Step<'a> {
764         Step { host: host, ..*self }
765     }
766
767     /// Creates a new step which is the same as this, except has a new target.
768     fn target(&self, target: &'a str) -> Step<'a> {
769         Step { target: target, ..*self }
770     }
771
772     /// Returns the `Compiler` structure that this step corresponds to.
773     fn compiler(&self) -> Compiler<'a> {
774         Compiler::new(self.stage, self.host)
775     }
776 }
777
778 struct Rule<'a> {
779     /// The human readable name of this target, defined in `build_rules`.
780     name: &'a str,
781
782     /// The path associated with this target, used in the `./x.py` driver for
783     /// easy and ergonomic specification of what to do.
784     path: &'a str,
785
786     /// The "kind" of top-level command that this rule is associated with, only
787     /// relevant if this is a default rule.
788     kind: Kind,
789
790     /// List of dependencies this rule has. Each dependency is a function from a
791     /// step that's being executed to another step that should be executed.
792     deps: Vec<Box<Fn(&Step<'a>) -> Step<'a> + 'a>>,
793
794     /// How to actually execute this rule. Takes a step with contextual
795     /// information and then executes it.
796     run: Box<Fn(&Step<'a>) + 'a>,
797
798     /// Whether or not this is a "default" rule. That basically means that if
799     /// you run, for example, `./x.py test` whether it's included or not.
800     default: bool,
801
802     /// Whether or not this is a "host" rule, or in other words whether this is
803     /// only intended for compiler hosts and not for targets that are being
804     /// generated.
805     host: bool,
806
807     /// Whether this rule is only for steps where the host is the build triple,
808     /// not anything in hosts or targets.
809     only_host_build: bool,
810
811     /// Whether this rule is only for the build triple, not anything in hosts or
812     /// targets.
813     only_build: bool,
814 }
815
816 #[derive(PartialEq)]
817 enum Kind {
818     Build,
819     Test,
820     Bench,
821     Dist,
822     Doc,
823 }
824
825 impl<'a> Rule<'a> {
826     fn new(name: &'a str, path: &'a str, kind: Kind) -> Rule<'a> {
827         Rule {
828             name: name,
829             deps: Vec::new(),
830             run: Box::new(|_| ()),
831             path: path,
832             kind: kind,
833             default: false,
834             host: false,
835             only_host_build: false,
836             only_build: false,
837         }
838     }
839 }
840
841 /// Builder pattern returned from the various methods on `Rules` which will add
842 /// the rule to the internal list on `Drop`.
843 struct RuleBuilder<'a: 'b, 'b> {
844     rules: &'b mut Rules<'a>,
845     rule: Rule<'a>,
846 }
847
848 impl<'a, 'b> RuleBuilder<'a, 'b> {
849     fn dep<F>(&mut self, f: F) -> &mut Self
850         where F: Fn(&Step<'a>) -> Step<'a> + 'a,
851     {
852         self.rule.deps.push(Box::new(f));
853         self
854     }
855
856     fn run<F>(&mut self, f: F) -> &mut Self
857         where F: Fn(&Step<'a>) + 'a,
858     {
859         self.rule.run = Box::new(f);
860         self
861     }
862
863     fn default(&mut self, default: bool) -> &mut Self {
864         self.rule.default = default;
865         self
866     }
867
868     fn host(&mut self, host: bool) -> &mut Self {
869         self.rule.host = host;
870         self
871     }
872
873     fn only_build(&mut self, only_build: bool) -> &mut Self {
874         self.rule.only_build = only_build;
875         self
876     }
877
878     fn only_host_build(&mut self, only_host_build: bool) -> &mut Self {
879         self.rule.only_host_build = only_host_build;
880         self
881     }
882 }
883
884 impl<'a, 'b> Drop for RuleBuilder<'a, 'b> {
885     fn drop(&mut self) {
886         let rule = mem::replace(&mut self.rule, Rule::new("", "", Kind::Build));
887         let prev = self.rules.rules.insert(rule.name, rule);
888         if let Some(prev) = prev {
889             panic!("duplicate rule named: {}", prev.name);
890         }
891     }
892 }
893
894 pub struct Rules<'a> {
895     build: &'a Build,
896     sbuild: Step<'a>,
897     rules: BTreeMap<&'a str, Rule<'a>>,
898 }
899
900 impl<'a> Rules<'a> {
901     fn new(build: &'a Build) -> Rules<'a> {
902         Rules {
903             build: build,
904             sbuild: Step {
905                 stage: build.flags.stage.unwrap_or(2),
906                 target: &build.config.build,
907                 host: &build.config.build,
908                 name: "",
909             },
910             rules: BTreeMap::new(),
911         }
912     }
913
914     /// Creates a new rule of `Kind::Build` with the specified human readable
915     /// name and path associated with it.
916     ///
917     /// The builder returned should be configured further with information such
918     /// as how to actually run this rule.
919     fn build<'b>(&'b mut self, name: &'a str, path: &'a str)
920                  -> RuleBuilder<'a, 'b> {
921         self.rule(name, path, Kind::Build)
922     }
923
924     /// Same as `build`, but for `Kind::Test`.
925     fn test<'b>(&'b mut self, name: &'a str, path: &'a str)
926                 -> RuleBuilder<'a, 'b> {
927         self.rule(name, path, Kind::Test)
928     }
929
930     /// Same as `build`, but for `Kind::Bench`.
931     fn bench<'b>(&'b mut self, name: &'a str, path: &'a str)
932                 -> RuleBuilder<'a, 'b> {
933         self.rule(name, path, Kind::Bench)
934     }
935
936     /// Same as `build`, but for `Kind::Doc`.
937     fn doc<'b>(&'b mut self, name: &'a str, path: &'a str)
938                -> RuleBuilder<'a, 'b> {
939         self.rule(name, path, Kind::Doc)
940     }
941
942     /// Same as `build`, but for `Kind::Dist`.
943     fn dist<'b>(&'b mut self, name: &'a str, path: &'a str)
944                 -> RuleBuilder<'a, 'b> {
945         self.rule(name, path, Kind::Dist)
946     }
947
948     fn rule<'b>(&'b mut self,
949                 name: &'a str,
950                 path: &'a str,
951                 kind: Kind) -> RuleBuilder<'a, 'b> {
952         RuleBuilder {
953             rules: self,
954             rule: Rule::new(name, path, kind),
955         }
956     }
957
958     /// Verify the dependency graph defined by all our rules are correct, e.g.
959     /// everything points to a valid something else.
960     fn verify(&self) {
961         for rule in self.rules.values() {
962             for dep in rule.deps.iter() {
963                 let dep = dep(&self.sbuild.name(rule.name));
964                 if self.rules.contains_key(&dep.name) || dep.name.starts_with("default:") {
965                     continue
966                 }
967                 if dep == Step::noop() {
968                     continue
969                 }
970                 panic!("\
971
972 invalid rule dependency graph detected, was a rule added and maybe typo'd?
973
974     `{}` depends on `{}` which does not exist
975
976 ", rule.name, dep.name);
977             }
978         }
979     }
980
981     pub fn get_help(&self, command: &str) -> Option<String> {
982         let kind = match command {
983             "build" => Kind::Build,
984             "doc" => Kind::Doc,
985             "test" => Kind::Test,
986             "bench" => Kind::Bench,
987             "dist" => Kind::Dist,
988             _ => return None,
989         };
990         let rules = self.rules.values().filter(|r| r.kind == kind);
991         let rules = rules.filter(|r| !r.path.contains("nowhere"));
992         let mut rules = rules.collect::<Vec<_>>();
993         rules.sort_by_key(|r| r.path);
994
995         let mut help_string = String::from("Available paths:\n");
996         for rule in rules {
997             help_string.push_str(format!("    ./x.py {} {}\n", command, rule.path).as_str());
998         }
999         Some(help_string)
1000     }
1001
1002     /// Construct the top-level build steps that we're going to be executing,
1003     /// given the subcommand that our build is performing.
1004     fn plan(&self) -> Vec<Step<'a>> {
1005         // Ok, the logic here is pretty subtle, and involves quite a few
1006         // conditionals. The basic idea here is to:
1007         //
1008         // 1. First, filter all our rules to the relevant ones. This means that
1009         //    the command specified corresponds to one of our `Kind` variants,
1010         //    and we filter all rules based on that.
1011         //
1012         // 2. Next, we determine which rules we're actually executing. If a
1013         //    number of path filters were specified on the command line we look
1014         //    for those, otherwise we look for anything tagged `default`.
1015         //    Here we also compute the priority of each rule based on how early
1016         //    in the command line the matching path filter showed up.
1017         //
1018         // 3. Finally, we generate some steps with host and target information.
1019         //
1020         // The last step is by far the most complicated and subtle. The basic
1021         // thinking here is that we want to take the cartesian product of
1022         // specified hosts and targets and build rules with that. The list of
1023         // hosts and targets, if not specified, come from the how this build was
1024         // configured. If the rule we're looking at is a host-only rule the we
1025         // ignore the list of targets and instead consider the list of hosts
1026         // also the list of targets.
1027         //
1028         // Once the host and target lists are generated we take the cartesian
1029         // product of the two and then create a step based off them. Note that
1030         // the stage each step is associated was specified with the `--step`
1031         // flag on the command line.
1032         let (kind, paths) = match self.build.flags.cmd {
1033             Subcommand::Build { ref paths } => (Kind::Build, &paths[..]),
1034             Subcommand::Doc { ref paths } => (Kind::Doc, &paths[..]),
1035             Subcommand::Test { ref paths, test_args: _ } => (Kind::Test, &paths[..]),
1036             Subcommand::Bench { ref paths, test_args: _ } => (Kind::Bench, &paths[..]),
1037             Subcommand::Dist { ref paths, install } => {
1038                 if install {
1039                     return vec![self.sbuild.name("install")]
1040                 } else {
1041                     (Kind::Dist, &paths[..])
1042                 }
1043             }
1044             Subcommand::Clean => panic!(),
1045         };
1046
1047         let mut rules: Vec<_> = self.rules.values().filter_map(|rule| {
1048             if rule.kind != kind {
1049                 return None;
1050             }
1051
1052             if paths.len() == 0 && rule.default {
1053                 Some((rule, 0))
1054             } else {
1055                 paths.iter().position(|path| path.ends_with(rule.path))
1056                      .map(|priority| (rule, priority))
1057             }
1058         }).collect();
1059
1060         rules.sort_by_key(|&(_, priority)| priority);
1061
1062         rules.into_iter().flat_map(|(rule, _)| {
1063             let hosts = if rule.only_host_build || rule.only_build {
1064                 &self.build.config.host[..1]
1065             } else if self.build.flags.host.len() > 0 {
1066                 &self.build.flags.host
1067             } else {
1068                 &self.build.config.host
1069             };
1070             let targets = if self.build.flags.target.len() > 0 {
1071                 &self.build.flags.target
1072             } else {
1073                 &self.build.config.target
1074             };
1075             // Determine the actual targets participating in this rule.
1076             // NOTE: We should keep the full projection from build triple to
1077             // the hosts for the dist steps, now that the hosts array above is
1078             // truncated to avoid duplication of work in that case. Therefore
1079             // the original non-shadowed hosts array is used below.
1080             let arr = if rule.host {
1081                 // If --target was specified but --host wasn't specified,
1082                 // don't run any host-only tests. Also, respect any `--host`
1083                 // overrides as done for `hosts`.
1084                 if self.build.flags.host.len() > 0 {
1085                     &self.build.flags.host[..]
1086                 } else if self.build.flags.target.len() > 0 {
1087                     &[]
1088                 } else if rule.only_build {
1089                     &self.build.config.host[..1]
1090                 } else {
1091                     &self.build.config.host[..]
1092                 }
1093             } else {
1094                 targets
1095             };
1096
1097             hosts.iter().flat_map(move |host| {
1098                 arr.iter().map(move |target| {
1099                     self.sbuild.name(rule.name).target(target).host(host)
1100                 })
1101             })
1102         }).collect()
1103     }
1104
1105     /// Execute all top-level targets indicated by `steps`.
1106     ///
1107     /// This will take the list returned by `plan` and then execute each step
1108     /// along with all required dependencies as it goes up the chain.
1109     fn run(&self, steps: &[Step<'a>]) {
1110         self.build.verbose("bootstrap top targets:");
1111         for step in steps.iter() {
1112             self.build.verbose(&format!("\t{:?}", step));
1113         }
1114
1115         // Using `steps` as the top-level targets, make a topological ordering
1116         // of what we need to do.
1117         let order = self.expand(steps);
1118
1119         // Print out what we're doing for debugging
1120         self.build.verbose("bootstrap build plan:");
1121         for step in order.iter() {
1122             self.build.verbose(&format!("\t{:?}", step));
1123         }
1124
1125         // And finally, iterate over everything and execute it.
1126         for step in order.iter() {
1127             if self.build.flags.keep_stage.map_or(false, |s| step.stage <= s) {
1128                 self.build.verbose(&format!("keeping step {:?}", step));
1129                 continue;
1130             }
1131             self.build.verbose(&format!("executing step {:?}", step));
1132             (self.rules[step.name].run)(step);
1133         }
1134     }
1135
1136     /// From the top level targets `steps` generate a topological ordering of
1137     /// all steps needed to run those steps.
1138     fn expand(&self, steps: &[Step<'a>]) -> Vec<Step<'a>> {
1139         let mut order = Vec::new();
1140         let mut added = HashSet::new();
1141         added.insert(Step::noop());
1142         for step in steps.iter().cloned() {
1143             self.fill(step, &mut order, &mut added);
1144         }
1145         return order
1146     }
1147
1148     /// Performs topological sort of dependencies rooted at the `step`
1149     /// specified, pushing all results onto the `order` vector provided.
1150     ///
1151     /// In other words, when this method returns, the `order` vector will
1152     /// contain a list of steps which if executed in order will eventually
1153     /// complete the `step` specified as well.
1154     ///
1155     /// The `added` set specified here is the set of steps that are already
1156     /// present in `order` (and hence don't need to be added again).
1157     fn fill(&self,
1158             step: Step<'a>,
1159             order: &mut Vec<Step<'a>>,
1160             added: &mut HashSet<Step<'a>>) {
1161         if !added.insert(step.clone()) {
1162             return
1163         }
1164         for dep in self.rules[step.name].deps.iter() {
1165             let dep = dep(&step);
1166             if dep.name.starts_with("default:") {
1167                 let kind = match &dep.name[8..] {
1168                     "doc" => Kind::Doc,
1169                     "dist" => Kind::Dist,
1170                     kind => panic!("unknown kind: `{}`", kind),
1171                 };
1172                 let host = self.build.config.host.iter().any(|h| h == dep.target);
1173                 let rules = self.rules.values().filter(|r| r.default);
1174                 for rule in rules.filter(|r| r.kind == kind && (!r.host || host)) {
1175                     self.fill(dep.name(rule.name), order, added);
1176                 }
1177             } else {
1178                 self.fill(dep, order, added);
1179             }
1180         }
1181         order.push(step);
1182     }
1183 }
1184
1185 #[cfg(test)]
1186 mod tests {
1187     use std::env;
1188
1189     use Build;
1190     use config::Config;
1191     use flags::Flags;
1192
1193     macro_rules! a {
1194         ($($a:expr),*) => (vec![$($a.to_string()),*])
1195     }
1196
1197     fn build(args: &[&str],
1198              extra_host: &[&str],
1199              extra_target: &[&str]) -> Build {
1200         let mut args = args.iter().map(|s| s.to_string()).collect::<Vec<_>>();
1201         args.push("--build".to_string());
1202         args.push("A".to_string());
1203         let flags = Flags::parse(&args);
1204
1205         let mut config = Config::default();
1206         config.docs = true;
1207         config.build = "A".to_string();
1208         config.host = vec![config.build.clone()];
1209         config.host.extend(extra_host.iter().map(|s| s.to_string()));
1210         config.target = config.host.clone();
1211         config.target.extend(extra_target.iter().map(|s| s.to_string()));
1212
1213         let mut build = Build::new(flags, config);
1214         let cwd = env::current_dir().unwrap();
1215         build.crates.insert("std".to_string(), ::Crate {
1216             name: "std".to_string(),
1217             deps: Vec::new(),
1218             path: cwd.join("src/std"),
1219             doc_step: "doc-crate-std".to_string(),
1220             build_step: "build-crate-std".to_string(),
1221             test_step: "test-crate-std".to_string(),
1222             bench_step: "bench-crate-std".to_string(),
1223             version: String::new(),
1224         });
1225         build.crates.insert("test".to_string(), ::Crate {
1226             name: "test".to_string(),
1227             deps: Vec::new(),
1228             path: cwd.join("src/test"),
1229             doc_step: "doc-crate-test".to_string(),
1230             build_step: "build-crate-test".to_string(),
1231             test_step: "test-crate-test".to_string(),
1232             bench_step: "bench-crate-test".to_string(),
1233             version: String::new(),
1234         });
1235         build.crates.insert("rustc-main".to_string(), ::Crate {
1236             name: "rustc-main".to_string(),
1237             deps: Vec::new(),
1238             version: String::new(),
1239             path: cwd.join("src/rustc-main"),
1240             doc_step: "doc-crate-rustc-main".to_string(),
1241             build_step: "build-crate-rustc-main".to_string(),
1242             test_step: "test-crate-rustc-main".to_string(),
1243             bench_step: "bench-crate-rustc-main".to_string(),
1244         });
1245         return build
1246     }
1247
1248     #[test]
1249     fn dist_baseline() {
1250         let build = build(&["dist"], &[], &[]);
1251         let rules = super::build_rules(&build);
1252         let plan = rules.plan();
1253         println!("rules: {:#?}", plan);
1254         assert!(plan.iter().all(|s| s.stage == 2));
1255         assert!(plan.iter().all(|s| s.host == "A" ));
1256         assert!(plan.iter().all(|s| s.target == "A" ));
1257
1258         let step = super::Step {
1259             name: "",
1260             stage: 2,
1261             host: &build.config.build,
1262             target: &build.config.build,
1263         };
1264
1265         assert!(plan.contains(&step.name("dist-docs")));
1266         assert!(plan.contains(&step.name("dist-mingw")));
1267         assert!(plan.contains(&step.name("dist-rustc")));
1268         assert!(plan.contains(&step.name("dist-std")));
1269         assert!(plan.contains(&step.name("dist-src")));
1270     }
1271
1272     #[test]
1273     fn dist_with_targets() {
1274         let build = build(&["dist"], &[], &["B"]);
1275         let rules = super::build_rules(&build);
1276         let plan = rules.plan();
1277         println!("rules: {:#?}", plan);
1278         assert!(plan.iter().all(|s| s.stage == 2));
1279         assert!(plan.iter().all(|s| s.host == "A" ));
1280
1281         let step = super::Step {
1282             name: "",
1283             stage: 2,
1284             host: &build.config.build,
1285             target: &build.config.build,
1286         };
1287
1288         assert!(plan.contains(&step.name("dist-docs")));
1289         assert!(plan.contains(&step.name("dist-mingw")));
1290         assert!(plan.contains(&step.name("dist-rustc")));
1291         assert!(plan.contains(&step.name("dist-std")));
1292         assert!(plan.contains(&step.name("dist-src")));
1293
1294         assert!(plan.contains(&step.target("B").name("dist-docs")));
1295         assert!(plan.contains(&step.target("B").name("dist-mingw")));
1296         assert!(!plan.contains(&step.target("B").name("dist-rustc")));
1297         assert!(plan.contains(&step.target("B").name("dist-std")));
1298         assert!(!plan.contains(&step.target("B").name("dist-src")));
1299     }
1300
1301     #[test]
1302     fn dist_with_hosts() {
1303         let build = build(&["dist"], &["B"], &[]);
1304         let rules = super::build_rules(&build);
1305         let plan = rules.plan();
1306         println!("rules: {:#?}", plan);
1307         assert!(plan.iter().all(|s| s.stage == 2));
1308
1309         let step = super::Step {
1310             name: "",
1311             stage: 2,
1312             host: &build.config.build,
1313             target: &build.config.build,
1314         };
1315
1316         assert!(!plan.iter().any(|s| s.host == "B"));
1317
1318         assert!(plan.contains(&step.name("dist-docs")));
1319         assert!(plan.contains(&step.name("dist-mingw")));
1320         assert!(plan.contains(&step.name("dist-rustc")));
1321         assert!(plan.contains(&step.name("dist-std")));
1322         assert!(plan.contains(&step.name("dist-src")));
1323
1324         assert!(plan.contains(&step.target("B").name("dist-docs")));
1325         assert!(plan.contains(&step.target("B").name("dist-mingw")));
1326         assert!(plan.contains(&step.target("B").name("dist-rustc")));
1327         assert!(plan.contains(&step.target("B").name("dist-std")));
1328         assert!(!plan.contains(&step.target("B").name("dist-src")));
1329     }
1330
1331     #[test]
1332     fn dist_with_targets_and_hosts() {
1333         let build = build(&["dist"], &["B"], &["C"]);
1334         let rules = super::build_rules(&build);
1335         let plan = rules.plan();
1336         println!("rules: {:#?}", plan);
1337         assert!(plan.iter().all(|s| s.stage == 2));
1338
1339         let step = super::Step {
1340             name: "",
1341             stage: 2,
1342             host: &build.config.build,
1343             target: &build.config.build,
1344         };
1345
1346         assert!(!plan.iter().any(|s| s.host == "B"));
1347         assert!(!plan.iter().any(|s| s.host == "C"));
1348
1349         assert!(plan.contains(&step.name("dist-docs")));
1350         assert!(plan.contains(&step.name("dist-mingw")));
1351         assert!(plan.contains(&step.name("dist-rustc")));
1352         assert!(plan.contains(&step.name("dist-std")));
1353         assert!(plan.contains(&step.name("dist-src")));
1354
1355         assert!(plan.contains(&step.target("B").name("dist-docs")));
1356         assert!(plan.contains(&step.target("B").name("dist-mingw")));
1357         assert!(plan.contains(&step.target("B").name("dist-rustc")));
1358         assert!(plan.contains(&step.target("B").name("dist-std")));
1359         assert!(!plan.contains(&step.target("B").name("dist-src")));
1360
1361         assert!(plan.contains(&step.target("C").name("dist-docs")));
1362         assert!(plan.contains(&step.target("C").name("dist-mingw")));
1363         assert!(!plan.contains(&step.target("C").name("dist-rustc")));
1364         assert!(plan.contains(&step.target("C").name("dist-std")));
1365         assert!(!plan.contains(&step.target("C").name("dist-src")));
1366     }
1367
1368     #[test]
1369     fn dist_target_with_target_flag() {
1370         let build = build(&["dist", "--target=C"], &["B"], &["C"]);
1371         let rules = super::build_rules(&build);
1372         let plan = rules.plan();
1373         println!("rules: {:#?}", plan);
1374         assert!(plan.iter().all(|s| s.stage == 2));
1375
1376         let step = super::Step {
1377             name: "",
1378             stage: 2,
1379             host: &build.config.build,
1380             target: &build.config.build,
1381         };
1382
1383         assert!(!plan.iter().any(|s| s.target == "A"));
1384         assert!(!plan.iter().any(|s| s.target == "B"));
1385         assert!(!plan.iter().any(|s| s.host == "B"));
1386         assert!(!plan.iter().any(|s| s.host == "C"));
1387
1388         assert!(plan.contains(&step.target("C").name("dist-docs")));
1389         assert!(plan.contains(&step.target("C").name("dist-mingw")));
1390         assert!(!plan.contains(&step.target("C").name("dist-rustc")));
1391         assert!(plan.contains(&step.target("C").name("dist-std")));
1392         assert!(!plan.contains(&step.target("C").name("dist-src")));
1393     }
1394
1395     #[test]
1396     fn dist_host_with_target_flag() {
1397         let build = build(&["dist", "--host=B", "--target=B"], &["B"], &["C"]);
1398         let rules = super::build_rules(&build);
1399         let plan = rules.plan();
1400         println!("rules: {:#?}", plan);
1401         assert!(plan.iter().all(|s| s.stage == 2));
1402
1403         let step = super::Step {
1404             name: "",
1405             stage: 2,
1406             host: &build.config.build,
1407             target: &build.config.build,
1408         };
1409
1410         assert!(!plan.iter().any(|s| s.target == "A"));
1411         assert!(!plan.iter().any(|s| s.target == "C"));
1412         assert!(!plan.iter().any(|s| s.host == "B"));
1413         assert!(!plan.iter().any(|s| s.host == "C"));
1414
1415         assert!(plan.contains(&step.target("B").name("dist-docs")));
1416         assert!(plan.contains(&step.target("B").name("dist-mingw")));
1417         assert!(plan.contains(&step.target("B").name("dist-rustc")));
1418         assert!(plan.contains(&step.target("B").name("dist-std")));
1419         assert!(plan.contains(&step.target("B").name("dist-src")));
1420
1421         let all = rules.expand(&plan);
1422         println!("all rules: {:#?}", all);
1423         assert!(!all.contains(&step.name("rustc")));
1424         assert!(!all.contains(&step.name("build-crate-test").stage(1)));
1425
1426         // all stage0 compiles should be for the build target, A
1427         for step in all.iter().filter(|s| s.stage == 0) {
1428             if !step.name.contains("build-crate") {
1429                 continue
1430             }
1431             println!("step: {:?}", step);
1432             assert!(step.host != "B");
1433             assert!(step.target != "B");
1434             assert!(step.host != "C");
1435             assert!(step.target != "C");
1436         }
1437     }
1438
1439     #[test]
1440     fn build_default() {
1441         let build = build(&["build"], &["B"], &["C"]);
1442         let rules = super::build_rules(&build);
1443         let plan = rules.plan();
1444         println!("rules: {:#?}", plan);
1445         assert!(plan.iter().all(|s| s.stage == 2));
1446
1447         let step = super::Step {
1448             name: "",
1449             stage: 2,
1450             host: &build.config.build,
1451             target: &build.config.build,
1452         };
1453
1454         // rustc built for all for of (A, B) x (A, B)
1455         assert!(plan.contains(&step.name("librustc")));
1456         assert!(plan.contains(&step.target("B").name("librustc")));
1457         assert!(plan.contains(&step.host("B").target("A").name("librustc")));
1458         assert!(plan.contains(&step.host("B").target("B").name("librustc")));
1459
1460         // rustc never built for C
1461         assert!(!plan.iter().any(|s| {
1462             s.name.contains("rustc") && (s.host == "C" || s.target == "C")
1463         }));
1464
1465         // test built for everything
1466         assert!(plan.contains(&step.name("libtest")));
1467         assert!(plan.contains(&step.target("B").name("libtest")));
1468         assert!(plan.contains(&step.host("B").target("A").name("libtest")));
1469         assert!(plan.contains(&step.host("B").target("B").name("libtest")));
1470         assert!(plan.contains(&step.host("A").target("C").name("libtest")));
1471         assert!(plan.contains(&step.host("B").target("C").name("libtest")));
1472
1473         let all = rules.expand(&plan);
1474         println!("all rules: {:#?}", all);
1475         assert!(all.contains(&step.name("rustc")));
1476         assert!(all.contains(&step.name("libstd")));
1477     }
1478
1479     #[test]
1480     fn build_filtered() {
1481         let build = build(&["build", "--target=C"], &["B"], &["C"]);
1482         let rules = super::build_rules(&build);
1483         let plan = rules.plan();
1484         println!("rules: {:#?}", plan);
1485         assert!(plan.iter().all(|s| s.stage == 2));
1486
1487         assert!(!plan.iter().any(|s| s.name.contains("rustc")));
1488         assert!(plan.iter().all(|s| {
1489             !s.name.contains("test") || s.target == "C"
1490         }));
1491     }
1492
1493     #[test]
1494     fn test_default() {
1495         let build = build(&["test"], &[], &[]);
1496         let rules = super::build_rules(&build);
1497         let plan = rules.plan();
1498         println!("rules: {:#?}", plan);
1499         assert!(plan.iter().all(|s| s.stage == 2));
1500         assert!(plan.iter().all(|s| s.host == "A"));
1501         assert!(plan.iter().all(|s| s.target == "A"));
1502
1503         assert!(plan.iter().any(|s| s.name.contains("-ui")));
1504         assert!(plan.iter().any(|s| s.name.contains("cfail")));
1505         assert!(plan.iter().any(|s| s.name.contains("cfail-full")));
1506         assert!(plan.iter().any(|s| s.name.contains("codegen-units")));
1507         assert!(plan.iter().any(|s| s.name.contains("debuginfo")));
1508         assert!(plan.iter().any(|s| s.name.contains("docs")));
1509         assert!(plan.iter().any(|s| s.name.contains("error-index")));
1510         assert!(plan.iter().any(|s| s.name.contains("incremental")));
1511         assert!(plan.iter().any(|s| s.name.contains("linkchecker")));
1512         assert!(plan.iter().any(|s| s.name.contains("mir-opt")));
1513         assert!(plan.iter().any(|s| s.name.contains("pfail")));
1514         assert!(plan.iter().any(|s| s.name.contains("rfail")));
1515         assert!(plan.iter().any(|s| s.name.contains("rfail-full")));
1516         assert!(plan.iter().any(|s| s.name.contains("rmake")));
1517         assert!(plan.iter().any(|s| s.name.contains("rpass")));
1518         assert!(plan.iter().any(|s| s.name.contains("rpass-full")));
1519         assert!(plan.iter().any(|s| s.name.contains("rustc-all")));
1520         assert!(plan.iter().any(|s| s.name.contains("rustdoc")));
1521         assert!(plan.iter().any(|s| s.name.contains("std-all")));
1522         assert!(plan.iter().any(|s| s.name.contains("test-all")));
1523         assert!(plan.iter().any(|s| s.name.contains("tidy")));
1524         assert!(plan.iter().any(|s| s.name.contains("valgrind")));
1525     }
1526
1527     #[test]
1528     fn test_with_a_target() {
1529         let build = build(&["test", "--target=C"], &[], &["C"]);
1530         let rules = super::build_rules(&build);
1531         let plan = rules.plan();
1532         println!("rules: {:#?}", plan);
1533         assert!(plan.iter().all(|s| s.stage == 2));
1534         assert!(plan.iter().all(|s| s.host == "A"));
1535         assert!(plan.iter().all(|s| s.target == "C"));
1536
1537         assert!(plan.iter().any(|s| s.name.contains("-ui")));
1538         assert!(!plan.iter().any(|s| s.name.contains("ui-full")));
1539         assert!(plan.iter().any(|s| s.name.contains("cfail")));
1540         assert!(!plan.iter().any(|s| s.name.contains("cfail-full")));
1541         assert!(plan.iter().any(|s| s.name.contains("codegen-units")));
1542         assert!(plan.iter().any(|s| s.name.contains("debuginfo")));
1543         assert!(!plan.iter().any(|s| s.name.contains("docs")));
1544         assert!(!plan.iter().any(|s| s.name.contains("error-index")));
1545         assert!(plan.iter().any(|s| s.name.contains("incremental")));
1546         assert!(!plan.iter().any(|s| s.name.contains("linkchecker")));
1547         assert!(plan.iter().any(|s| s.name.contains("mir-opt")));
1548         assert!(plan.iter().any(|s| s.name.contains("pfail")));
1549         assert!(plan.iter().any(|s| s.name.contains("rfail")));
1550         assert!(!plan.iter().any(|s| s.name.contains("rfail-full")));
1551         assert!(!plan.iter().any(|s| s.name.contains("rmake")));
1552         assert!(plan.iter().any(|s| s.name.contains("rpass")));
1553         assert!(!plan.iter().any(|s| s.name.contains("rpass-full")));
1554         assert!(!plan.iter().any(|s| s.name.contains("rustc-all")));
1555         assert!(!plan.iter().any(|s| s.name.contains("rustdoc")));
1556         assert!(plan.iter().any(|s| s.name.contains("std-all")));
1557         assert!(plan.iter().any(|s| s.name.contains("test-all")));
1558         assert!(!plan.iter().any(|s| s.name.contains("tidy")));
1559         assert!(plan.iter().any(|s| s.name.contains("valgrind")));
1560     }
1561 }