src/tools/compiletest/src/header.rs

   1 // Copyright 2012-2013 The Rust Project Developers. See the COPYRIGHT
   2 // file at the top-level directory of this distribution and at
   3 // http://rust-lang.org/COPYRIGHT.
   4 //
   5 // Licensed under the Apache License, Version 2.0 <LICENSE-APACHE or
   6 // http://www.apache.org/licenses/LICENSE-2.0> or the MIT license
   7 // <LICENSE-MIT or http://opensource.org/licenses/MIT>, at your
   8 // option. This file may not be copied, modified, or distributed
   9 // except according to those terms.
  10
  11 use std::env;
  12 use std::fs::File;
  13 use std::io::BufReader;
  14 use std::io::prelude::*;
  15 use std::path::{Path, PathBuf};
  16
  17 use common::Config;
  18 use common;
  19 use util;
  20
  21 use extract_gdb_version;
  22
  23 /// Properties which must be known very early, before actually running
  24 /// the test.
  25 pub struct EarlyProps {
  26     pub ignore: bool,
  27     pub should_fail: bool,
  28     pub aux: Vec<String>,
  29     pub revisions: Vec<String>,
  30 }
  31
  32 impl EarlyProps {
  33     pub fn from_file(config: &Config, testfile: &Path) -> Self {
  34         let mut props = EarlyProps {
  35             ignore: false,
  36             should_fail: false,
  37             aux: Vec::new(),
  38             revisions: vec![],
  39         };
  40
  41         iter_header(testfile,
  42                     None,
  43                     &mut |ln| {
  44             // we should check if any only-<platform> exists and if it exists
  45             // and does not matches the current platform, skip the test
  46             props.ignore =
  47                 props.ignore ||
  48                 config.parse_cfg_name_directive(ln, "ignore") ||
  49                 (config.has_cfg_prefix(ln, "only") &&
  50                 !config.parse_cfg_name_directive(ln, "only")) ||
  51                 ignore_gdb(config, ln) ||
  52                 ignore_lldb(config, ln) ||
  53                 ignore_llvm(config, ln);
  54
  55             if let Some(s) = config.parse_aux_build(ln) {
  56                 props.aux.push(s);
  57             }
  58
  59             if let Some(r) = config.parse_revisions(ln) {
  60                 props.revisions.extend(r);
  61             }
  62
  63             props.should_fail = props.should_fail || config.parse_name_directive(ln, "should-fail");
  64         });
  65
  66         return props;
  67
  68         fn ignore_gdb(config: &Config, line: &str) -> bool {
  69             if config.mode != common::DebugInfoGdb {
  70                 return false;
  71             }
  72
  73             if let Some(actual_version) = config.gdb_version {
  74                 if line.starts_with("min-gdb-version") {
  75                     let (start_ver, end_ver) = extract_gdb_version_range(line);
  76
  77                     if start_ver != end_ver {
  78                         panic!("Expected single GDB version")
  79                     }
  80                     // Ignore if actual version is smaller the minimum required
  81                     // version
  82                     actual_version < start_ver
  83                 } else if line.starts_with("ignore-gdb-version") {
  84                     let (min_version, max_version) = extract_gdb_version_range(line);
  85
  86                     if max_version < min_version {
  87                         panic!("Malformed GDB version range: max < min")
  88                     }
  89
  90                     actual_version >= min_version && actual_version <= max_version
  91                 } else {
  92                     false
  93                 }
  94             } else {
  95                 false
  96             }
  97         }
  98
  99         // Takes a directive of the form "ignore-gdb-version <version1> [- <version2>]",
 100         // returns the numeric representation of <version1> and <version2> as
 101         // tuple: (<version1> as u32, <version2> as u32)
 102         // If the <version2> part is omitted, the second component of the tuple
 103         // is the same as <version1>.
 104         fn extract_gdb_version_range(line: &str) -> (u32, u32) {
 105             const ERROR_MESSAGE: &'static str = "Malformed GDB version directive";
 106
 107             let range_components = line.split(&[' ', '-'][..])
 108                                        .filter(|word| !word.is_empty())
 109                                        .map(extract_gdb_version)
 110                                        .skip_while(Option::is_none)
 111                                        .take(3) // 3 or more = invalid, so take at most 3.
 112                                        .collect::<Vec<Option<u32>>>();
 113
 114             match range_components.len() {
 115                 1 => {
 116                     let v = range_components[0].unwrap();
 117                     (v, v)
 118                 }
 119                 2 => {
 120                     let v_min = range_components[0].unwrap();
 121                     let v_max = range_components[1].expect(ERROR_MESSAGE);
 122                     (v_min, v_max)
 123                 }
 124                 _ => panic!(ERROR_MESSAGE),
 125             }
 126         }
 127
 128         fn ignore_lldb(config: &Config, line: &str) -> bool {
 129             if config.mode != common::DebugInfoLldb {
 130                 return false;
 131             }
 132
 133             if let Some(ref actual_version) = config.lldb_version {
 134                 if line.starts_with("min-lldb-version") {
 135                     let min_version = line.trim_right()
 136                         .rsplit(' ')
 137                         .next()
 138                         .expect("Malformed lldb version directive");
 139                     // Ignore if actual version is smaller the minimum required
 140                     // version
 141                     lldb_version_to_int(actual_version) < lldb_version_to_int(min_version)
 142                 } else {
 143                     false
 144                 }
 145             } else {
 146                 false
 147             }
 148         }
 149
 150         fn ignore_llvm(config: &Config, line: &str) -> bool {
 151             if config.system_llvm && line.starts_with("no-system-llvm") {
 152                     return true;
 153             }
 154             if let Some(ref actual_version) = config.llvm_version {
 155                 if line.starts_with("min-llvm-version") {
 156                     let min_version = line.trim_right()
 157                         .rsplit(' ')
 158                         .next()
 159                         .expect("Malformed llvm version directive");
 160                     // Ignore if actual version is smaller the minimum required
 161                     // version
 162                     &actual_version[..] < min_version
 163                 } else if line.starts_with("min-system-llvm-version") {
 164                     let min_version = line.trim_right()
 165                         .rsplit(' ')
 166                         .next()
 167                         .expect("Malformed llvm version directive");
 168                     // Ignore if using system LLVM and actual version
 169                     // is smaller the minimum required version
 170                     !(config.system_llvm && &actual_version[..] < min_version)
 171                 } else {
 172                     false
 173                 }
 174             } else {
 175                 false
 176             }
 177         }
 178     }
 179 }
 180
 181 #[derive(Clone, Debug)]
 182 pub struct TestProps {
 183     // Lines that should be expected, in order, on standard out
 184     pub error_patterns: Vec<String>,
 185     // Extra flags to pass to the compiler
 186     pub compile_flags: Vec<String>,
 187     // Extra flags to pass when the compiled code is run (such as --bench)
 188     pub run_flags: Option<String>,
 189     // If present, the name of a file that this test should match when
 190     // pretty-printed
 191     pub pp_exact: Option<PathBuf>,
 192     // Other crates that should be compiled (typically from the same
 193     // directory as the test, but for backwards compatibility reasons
 194     // we also check the auxiliary directory)
 195     pub aux_builds: Vec<String>,
 196     // Environment settings to use for compiling
 197     pub rustc_env: Vec<(String, String)>,
 198     // Environment settings to use during execution
 199     pub exec_env: Vec<(String, String)>,
 200     // Lines to check if they appear in the expected debugger output
 201     pub check_lines: Vec<String>,
 202     // Build documentation for all specified aux-builds as well
 203     pub build_aux_docs: bool,
 204     // Flag to force a crate to be built with the host architecture
 205     pub force_host: bool,
 206     // Check stdout for error-pattern output as well as stderr
 207     pub check_stdout: bool,
 208     // Don't force a --crate-type=dylib flag on the command line
 209     pub no_prefer_dynamic: bool,
 210     // Run --pretty expanded when running pretty printing tests
 211     pub pretty_expanded: bool,
 212     // Which pretty mode are we testing with, default to 'normal'
 213     pub pretty_mode: String,
 214     // Only compare pretty output and don't try compiling
 215     pub pretty_compare_only: bool,
 216     // Patterns which must not appear in the output of a cfail test.
 217     pub forbid_output: Vec<String>,
 218     // Revisions to test for incremental compilation.
 219     pub revisions: Vec<String>,
 220     // Directory (if any) to use for incremental compilation.  This is
 221     // not set by end-users; rather it is set by the incremental
 222     // testing harness and used when generating compilation
 223     // arguments. (In particular, it propagates to the aux-builds.)
 224     pub incremental_dir: Option<PathBuf>,
 225     // Specifies that a test must actually compile without errors.
 226     pub must_compile_successfully: bool,
 227     // rustdoc will test the output of the `--test` option
 228     pub check_test_line_numbers_match: bool,
 229     // The test must be compiled and run successfully. Only used in UI tests for
 230     // now.
 231     pub run_pass: bool,
 232     // customized normalization rules
 233     pub normalize_stdout: Vec<(String, String)>,
 234     pub normalize_stderr: Vec<(String, String)>,
 235 }
 236
 237 impl TestProps {
 238     pub fn new() -> Self {
 239         TestProps {
 240             error_patterns: vec![],
 241             compile_flags: vec![],
 242             run_flags: None,
 243             pp_exact: None,
 244             aux_builds: vec![],
 245             revisions: vec![],
 246             rustc_env: vec![],
 247             exec_env: vec![],
 248             check_lines: vec![],
 249             build_aux_docs: false,
 250             force_host: false,
 251             check_stdout: false,
 252             no_prefer_dynamic: false,
 253             pretty_expanded: false,
 254             pretty_mode: "normal".to_string(),
 255             pretty_compare_only: false,
 256             forbid_output: vec![],
 257             incremental_dir: None,
 258             must_compile_successfully: false,
 259             check_test_line_numbers_match: false,
 260             run_pass: false,
 261             normalize_stdout: vec![],
 262             normalize_stderr: vec![],
 263         }
 264     }
 265
 266     pub fn from_aux_file(&self,
 267                          testfile: &Path,
 268                          cfg: Option<&str>,
 269                          config: &Config)
 270                          -> Self {
 271         let mut props = TestProps::new();
 272
 273         // copy over select properties to the aux build:
 274         props.incremental_dir = self.incremental_dir.clone();
 275         props.load_from(testfile, cfg, config);
 276
 277         props
 278     }
 279
 280     pub fn from_file(testfile: &Path, cfg: Option<&str>, config: &Config) -> Self {
 281         let mut props = TestProps::new();
 282         props.load_from(testfile, cfg, config);
 283         props
 284     }
 285
 286     /// Load properties from `testfile` into `props`. If a property is
 287     /// tied to a particular revision `foo` (indicated by writing
 288     /// `//[foo]`), then the property is ignored unless `cfg` is
 289     /// `Some("foo")`.
 290     fn load_from(&mut self,
 291                  testfile: &Path,
 292                  cfg: Option<&str>,
 293                  config: &Config) {
 294         iter_header(testfile,
 295                     cfg,
 296                     &mut |ln| {
 297             if let Some(ep) = config.parse_error_pattern(ln) {
 298                 self.error_patterns.push(ep);
 299             }
 300
 301             if let Some(flags) = config.parse_compile_flags(ln) {
 302                 self.compile_flags.extend(flags.split_whitespace()
 303                     .map(|s| s.to_owned()));
 304             }
 305
 306             if let Some(r) = config.parse_revisions(ln) {
 307                 self.revisions.extend(r);
 308             }
 309
 310             if self.run_flags.is_none() {
 311                 self.run_flags = config.parse_run_flags(ln);
 312             }
 313
 314             if self.pp_exact.is_none() {
 315                 self.pp_exact = config.parse_pp_exact(ln, testfile);
 316             }
 317
 318             if !self.build_aux_docs {
 319                 self.build_aux_docs = config.parse_build_aux_docs(ln);
 320             }
 321
 322             if !self.force_host {
 323                 self.force_host = config.parse_force_host(ln);
 324             }
 325
 326             if !self.check_stdout {
 327                 self.check_stdout = config.parse_check_stdout(ln);
 328             }
 329
 330             if !self.no_prefer_dynamic {
 331                 self.no_prefer_dynamic = config.parse_no_prefer_dynamic(ln);
 332             }
 333
 334             if !self.pretty_expanded {
 335                 self.pretty_expanded = config.parse_pretty_expanded(ln);
 336             }
 337
 338             if let Some(m) = config.parse_pretty_mode(ln) {
 339                 self.pretty_mode = m;
 340             }
 341
 342             if !self.pretty_compare_only {
 343                 self.pretty_compare_only = config.parse_pretty_compare_only(ln);
 344             }
 345
 346             if let Some(ab) = config.parse_aux_build(ln) {
 347                 self.aux_builds.push(ab);
 348             }
 349
 350             if let Some(ee) = config.parse_env(ln, "exec-env") {
 351                 self.exec_env.push(ee);
 352             }
 353
 354             if let Some(ee) = config.parse_env(ln, "rustc-env") {
 355                 self.rustc_env.push(ee);
 356             }
 357
 358             if let Some(cl) = config.parse_check_line(ln) {
 359                 self.check_lines.push(cl);
 360             }
 361
 362             if let Some(of) = config.parse_forbid_output(ln) {
 363                 self.forbid_output.push(of);
 364             }
 365
 366             if !self.check_test_line_numbers_match {
 367                 self.check_test_line_numbers_match = config.parse_check_test_line_numbers_match(ln);
 368             }
 369
 370             if !self.run_pass {
 371                 self.run_pass = config.parse_run_pass(ln);
 372             }
 373
 374             if !self.must_compile_successfully {
 375                 // run-pass implies must_compile_sucessfully
 376                 self.must_compile_successfully =
 377                     config.parse_must_compile_successfully(ln) || self.run_pass;
 378             }
 379
 380             if let Some(rule) = config.parse_custom_normalization(ln, "normalize-stdout") {
 381                 self.normalize_stdout.push(rule);
 382             }
 383             if let Some(rule) = config.parse_custom_normalization(ln, "normalize-stderr") {
 384                 self.normalize_stderr.push(rule);
 385             }
 386         });
 387
 388         for key in &["RUST_TEST_NOCAPTURE", "RUST_TEST_THREADS"] {
 389             if let Ok(val) = env::var(key) {
 390                 if self.exec_env.iter().find(|&&(ref x, _)| x == key).is_none() {
 391                     self.exec_env.push(((*key).to_owned(), val))
 392                 }
 393             }
 394         }
 395     }
 396 }
 397
 398 fn iter_header(testfile: &Path, cfg: Option<&str>, it: &mut FnMut(&str)) {
 399     if testfile.is_dir() {
 400         return;
 401     }
 402     let rdr = BufReader::new(File::open(testfile).unwrap());
 403     for ln in rdr.lines() {
 404         // Assume that any directives will be found before the first
 405         // module or function. This doesn't seem to be an optimization
 406         // with a warm page cache. Maybe with a cold one.
 407         let ln = ln.unwrap();
 408         let ln = ln.trim();
 409         if ln.starts_with("fn") || ln.starts_with("mod") {
 410             return;
 411         } else if ln.starts_with("//[") {
 412             // A comment like `//[foo]` is specific to revision `foo`
 413             if let Some(close_brace) = ln.find(']') {
 414                 let lncfg = &ln[3..close_brace];
 415                 let matches = match cfg {
 416                     Some(s) => s == &lncfg[..],
 417                     None => false,
 418                 };
 419                 if matches {
 420                     it(ln[(close_brace + 1) ..].trim_left());
 421                 }
 422             } else {
 423                 panic!("malformed condition directive: expected `//[foo]`, found `{}`",
 424                        ln)
 425             }
 426         } else if ln.starts_with("//") {
 427             it(ln[2..].trim_left());
 428         }
 429     }
 430     return;
 431 }
 432
 433 impl Config {
 434     fn parse_error_pattern(&self, line: &str) -> Option<String> {
 435         self.parse_name_value_directive(line, "error-pattern")
 436     }
 437
 438     fn parse_forbid_output(&self, line: &str) -> Option<String> {
 439         self.parse_name_value_directive(line, "forbid-output")
 440     }
 441
 442     fn parse_aux_build(&self, line: &str) -> Option<String> {
 443         self.parse_name_value_directive(line, "aux-build")
 444     }
 445
 446     fn parse_compile_flags(&self, line: &str) -> Option<String> {
 447         self.parse_name_value_directive(line, "compile-flags")
 448     }
 449
 450     fn parse_revisions(&self, line: &str) -> Option<Vec<String>> {
 451         self.parse_name_value_directive(line, "revisions")
 452             .map(|r| r.split_whitespace().map(|t| t.to_string()).collect())
 453     }
 454
 455     fn parse_run_flags(&self, line: &str) -> Option<String> {
 456         self.parse_name_value_directive(line, "run-flags")
 457     }
 458
 459     fn parse_check_line(&self, line: &str) -> Option<String> {
 460         self.parse_name_value_directive(line, "check")
 461     }
 462
 463     fn parse_force_host(&self, line: &str) -> bool {
 464         self.parse_name_directive(line, "force-host")
 465     }
 466
 467     fn parse_build_aux_docs(&self, line: &str) -> bool {
 468         self.parse_name_directive(line, "build-aux-docs")
 469     }
 470
 471     fn parse_check_stdout(&self, line: &str) -> bool {
 472         self.parse_name_directive(line, "check-stdout")
 473     }
 474
 475     fn parse_no_prefer_dynamic(&self, line: &str) -> bool {
 476         self.parse_name_directive(line, "no-prefer-dynamic")
 477     }
 478
 479     fn parse_pretty_expanded(&self, line: &str) -> bool {
 480         self.parse_name_directive(line, "pretty-expanded")
 481     }
 482
 483     fn parse_pretty_mode(&self, line: &str) -> Option<String> {
 484         self.parse_name_value_directive(line, "pretty-mode")
 485     }
 486
 487     fn parse_pretty_compare_only(&self, line: &str) -> bool {
 488         self.parse_name_directive(line, "pretty-compare-only")
 489     }
 490
 491     fn parse_must_compile_successfully(&self, line: &str) -> bool {
 492         self.parse_name_directive(line, "must-compile-successfully")
 493     }
 494
 495     fn parse_check_test_line_numbers_match(&self, line: &str) -> bool {
 496         self.parse_name_directive(line, "check-test-line-numbers-match")
 497     }
 498
 499     fn parse_run_pass(&self, line: &str) -> bool {
 500         self.parse_name_directive(line, "run-pass")
 501     }
 502
 503     fn parse_env(&self, line: &str, name: &str) -> Option<(String, String)> {
 504         self.parse_name_value_directive(line, name).map(|nv| {
 505             // nv is either FOO or FOO=BAR
 506             let mut strs: Vec<String> = nv.splitn(2, '=')
 507                 .map(str::to_owned)
 508                 .collect();
 509
 510             match strs.len() {
 511                 1 => (strs.pop().unwrap(), "".to_owned()),
 512                 2 => {
 513                     let end = strs.pop().unwrap();
 514                     (strs.pop().unwrap(), end)
 515                 }
 516                 n => panic!("Expected 1 or 2 strings, not {}", n),
 517             }
 518         })
 519     }
 520
 521     fn parse_pp_exact(&self, line: &str, testfile: &Path) -> Option<PathBuf> {
 522         if let Some(s) = self.parse_name_value_directive(line, "pp-exact") {
 523             Some(PathBuf::from(&s))
 524         } else if self.parse_name_directive(line, "pp-exact") {
 525             testfile.file_name().map(PathBuf::from)
 526         } else {
 527             None
 528         }
 529     }
 530
 531     fn parse_custom_normalization(&self, mut line: &str, prefix: &str) -> Option<(String, String)> {
 532         if self.parse_cfg_name_directive(line, prefix) {
 533             let from = match parse_normalization_string(&mut line) {
 534                 Some(s) => s,
 535                 None => return None,
 536             };
 537             let to = match parse_normalization_string(&mut line) {
 538                 Some(s) => s,
 539                 None => return None,
 540             };
 541             Some((from, to))
 542         } else {
 543             None
 544         }
 545     }
 546
 547     /// Parses a name-value directive which contains config-specific information, e.g. `ignore-x86`
 548     /// or `normalize-stderr-32bit`. Returns `true` if the line matches it.
 549     fn parse_cfg_name_directive(&self, line: &str, prefix: &str) -> bool {
 550         if line.starts_with(prefix) && line.as_bytes().get(prefix.len()) == Some(&b'-') {
 551             let name = line[prefix.len()+1 ..].split(&[':', ' '][..]).next().unwrap();
 552
 553             name == "test" ||
 554                 util::matches_os(&self.target, name) ||             // target
 555                 name == util::get_arch(&self.target) ||             // architecture
 556                 name == util::get_pointer_width(&self.target) ||    // pointer width
 557                 name == self.stage_id.split('-').next().unwrap() || // stage
 558                 Some(name) == util::get_env(&self.target) ||        // env
 559                 match self.mode {
 560                     common::DebugInfoGdb => name == "gdb",
 561                     common::DebugInfoLldb => name == "lldb",
 562                     common::Pretty => name == "pretty",
 563                     _ => false,
 564                 } ||
 565                 (self.target != self.host && name == "cross-compile")
 566         } else {
 567             false
 568         }
 569     }
 570
 571     fn has_cfg_prefix(&self, line: &str, prefix: &str) -> bool {
 572         // returns whether this line contains this prefix or not. For prefix
 573         // "ignore", returns true if line says "ignore-x86_64", "ignore-arch",
 574         // "ignore-andorid" etc.
 575         line.starts_with(prefix) && line.as_bytes().get(prefix.len()) == Some(&b'-')
 576     }
 577
 578     fn parse_name_directive(&self, line: &str, directive: &str) -> bool {
 579         // Ensure the directive is a whole word. Do not match "ignore-x86" when
 580         // the line says "ignore-x86_64".
 581         line.starts_with(directive) && match line.as_bytes().get(directive.len()) {
 582             None | Some(&b' ') | Some(&b':') => true,
 583             _ => false
 584         }
 585     }
 586
 587     pub fn parse_name_value_directive(&self, line: &str, directive: &str) -> Option<String> {
 588         let colon = directive.len();
 589         if line.starts_with(directive) && line.as_bytes().get(colon) == Some(&b':') {
 590             let value = line[(colon + 1) ..].to_owned();
 591             debug!("{}: {}", directive, value);
 592             Some(expand_variables(value, self))
 593         } else {
 594             None
 595         }
 596     }
 597
 598     pub fn find_rust_src_root(&self) -> Option<PathBuf> {
 599         let mut path = self.src_base.clone();
 600         let path_postfix = Path::new("src/etc/lldb_batchmode.py");
 601
 602         while path.pop() {
 603             if path.join(&path_postfix).is_file() {
 604                 return Some(path);
 605             }
 606         }
 607
 608         None
 609     }
 610 }
 611
 612 pub fn lldb_version_to_int(version_string: &str) -> isize {
 613     let error_string = format!("Encountered LLDB version string with unexpected format: {}",
 614                                version_string);
 615     version_string.parse().expect(&error_string)
 616 }
 617
 618 fn expand_variables(mut value: String, config: &Config) -> String {
 619     const CWD: &'static str = "{{cwd}}";
 620     const SRC_BASE: &'static str = "{{src-base}}";
 621     const BUILD_BASE: &'static str = "{{build-base}}";
 622
 623     if value.contains(CWD) {
 624         let cwd = env::current_dir().unwrap();
 625         value = value.replace(CWD, &cwd.to_string_lossy());
 626     }
 627
 628     if value.contains(SRC_BASE) {
 629         value = value.replace(SRC_BASE, &config.src_base.to_string_lossy());
 630     }
 631
 632     if value.contains(BUILD_BASE) {
 633         value = value.replace(BUILD_BASE, &config.build_base.to_string_lossy());
 634     }
 635
 636     value
 637 }
 638
 639 /// Finds the next quoted string `"..."` in `line`, and extract the content from it. Move the `line`
 640 /// variable after the end of the quoted string.
 641 ///
 642 /// # Examples
 643 ///
 644 /// ```
 645 /// let mut s = "normalize-stderr-32bit: \"something (32 bits)\" -> \"something ($WORD bits)\".";
 646 /// let first = parse_normalization_string(&mut s);
 647 /// assert_eq!(first, Some("something (32 bits)".to_owned()));
 648 /// assert_eq!(s, " -> \"something ($WORD bits)\".");
 649 /// ```
 650 fn parse_normalization_string(line: &mut &str) -> Option<String> {
 651     // FIXME support escapes in strings.
 652     let begin = match line.find('"') {
 653         Some(i) => i + 1,
 654         None => return None,
 655     };
 656     let end = match line[begin..].find('"') {
 657         Some(i) => i + begin,
 658         None => return None,
 659     };
 660     let result = line[begin..end].to_owned();
 661     *line = &line[end+1..];
 662     Some(result)
 663 }