tests/system.rs

   1 // Copyright 2015 The Rust Project Developers. See the COPYRIGHT
   2 // file at the top-level directory of this distribution and at
   3 // http://rust-lang.org/COPYRIGHT.
   4 //
   5 // Licensed under the Apache License, Version 2.0 <LICENSE-APACHE or
   6 // http://www.apache.org/licenses/LICENSE-2.0> or the MIT license
   7 // <LICENSE-MIT or http://opensource.org/licenses/MIT>, at your
   8 // option. This file may not be copied, modified, or distributed
   9 // except according to those terms.
  10
  11 #![feature(catch_panic)]
  12
  13 extern crate rustfmt;
  14 extern crate diff;
  15 extern crate regex;
  16
  17 use std::collections::HashMap;
  18 use std::fs;
  19 use std::io::{self, Read, BufRead, BufReader};
  20 use std::thread;
  21 use rustfmt::*;
  22 use rustfmt::config::Config;
  23
  24 fn get_path_string(dir_entry: io::Result<fs::DirEntry>) -> String {
  25     let path = dir_entry.ok().expect("Couldn't get DirEntry.").path();
  26
  27     path.to_str().expect("Couldn't stringify path.").to_owned()
  28 }
  29
  30 // Integration tests. The files in the tests/source are formatted and compared
  31 // to their equivalent in tests/target. The target file and config can be
  32 // overriden by annotations in the source file. The input and output must match
  33 // exactly.
  34 // FIXME(#28) would be good to check for error messages and fail on them, or at
  35 // least report.
  36 #[test]
  37 fn system_tests() {
  38     // Get all files in the tests/source directory
  39     let files = fs::read_dir("tests/source").ok().expect("Couldn't read source dir.");
  40     // turn a DirEntry into a String that represents the relative path to the file
  41     let files = files.map(get_path_string);
  42
  43     let (count, fails) = check_files(files);
  44
  45     // Display results
  46     println!("Ran {} system tests.", count);
  47     assert!(fails == 0, "{} system tests failed", fails);
  48 }
  49
  50 // Idempotence tests. Files in tests/target are checked to be unaltered by
  51 // rustfmt.
  52 #[test]
  53 fn idempotence_tests() {
  54     // Get all files in the tests/target directory
  55     let files = fs::read_dir("tests/target").ok().expect("Couldn't read target dir.");
  56     let files = files.chain(fs::read_dir("tests").ok().expect("Couldn't read tests dir."));
  57     let files = files.chain(fs::read_dir("src/bin").ok().expect("Couldn't read src dir."));
  58     // turn a DirEntry into a String that represents the relative path to the file
  59     let files = files.map(get_path_string);
  60     // hack because there's no `IntoIterator` impl for `[T; N]`
  61     let files = files.chain(Some("src/lib.rs".to_owned()).into_iter());
  62
  63     let (count, fails) = check_files(files);
  64
  65     // Display results
  66     println!("Ran {} idempotent tests.", count);
  67     assert!(fails == 0, "{} idempotent tests failed", fails);
  68 }
  69
  70 // For each file, run rustfmt and collect the output.
  71 // Returns the number of files checked and the number of failures.
  72 fn check_files<I>(files: I) -> (u32, u32)
  73     where I: Iterator<Item = String>
  74 {
  75     let mut count = 0;
  76     let mut fails = 0;
  77
  78     for file_name in files.filter(|f| f.ends_with(".rs")) {
  79         println!("Testing '{}'...", file_name);
  80         if let Err(msg) = idempotent_check(file_name) {
  81             print_mismatches(msg);
  82             fails += 1;
  83         }
  84         count += 1;
  85     }
  86
  87     (count, fails)
  88 }
  89
  90 fn print_mismatches(result: HashMap<String, String>) {
  91     for (_, fmt_text) in result {
  92         println!("{}", fmt_text);
  93     }
  94 }
  95
  96 // Ick, just needed to get a &'static to handle_result.
  97 static HANDLE_RESULT: &'static Fn(HashMap<String, String>) = &handle_result;
  98
  99 pub fn idempotent_check(filename: String) -> Result<(), HashMap<String, String>> {
 100     let config = get_config(&filename);
 101     let args = vec!["rustfmt".to_owned(), filename];
 102     // this thread is not used for concurrency, but rather to workaround the issue that the passed
 103     // function handle needs to have static lifetime. Instead of using a global RefCell, we use
 104     // panic to return a result in case of failure. This has the advantage of smoothing the road to
 105     // multithreaded rustfmt
 106     thread::catch_panic(move || {
 107         run(args, WriteMode::Return(HANDLE_RESULT), config);
 108     }).map_err(|any|
 109         *any.downcast().ok().expect("Downcast failed.")
 110     )
 111 }
 112
 113 // Reads test config file from comments and loads it
 114 fn get_config(file_name: &str) -> Box<Config> {
 115     let config_file_name = read_significant_comment(file_name, "config")
 116         .map(|file_name| {
 117             let mut full_path = "tests/config/".to_owned();
 118             full_path.push_str(&file_name);
 119             full_path
 120         })
 121         .unwrap_or("default.toml".to_owned());
 122
 123     let mut def_config_file = fs::File::open(config_file_name).ok().expect("Couldn't open config.");
 124     let mut def_config = String::new();
 125     def_config_file.read_to_string(&mut def_config).ok().expect("Couldn't read config.");
 126
 127     Box::new(Config::from_toml(&def_config))
 128 }
 129
 130 fn read_significant_comment(file_name: &str, option: &str) -> Option<String> {
 131     let file = fs::File::open(file_name).ok().expect("Couldn't read file for comment.");
 132     let reader = BufReader::new(file);
 133     let pattern = format!("^\\s*//\\s*rustfmt-{}:\\s*(\\S+)", option);
 134     let regex = regex::Regex::new(&pattern).ok().expect("Failed creating pattern 1.");
 135
 136     // matches exactly the lines containing significant comments or whitespace
 137     let line_regex = regex::Regex::new(r"(^\s*$)|(^\s*//\s*rustfmt-[:alpha:]+:\s*\S+)")
 138         .ok().expect("Failed creating pattern 2.");
 139
 140     reader.lines()
 141           .map(|line| line.ok().expect("Failed getting line."))
 142           .take_while(|line| line_regex.is_match(&line))
 143           .filter_map(|line| {
 144               regex.captures_iter(&line).next().map(|capture| {
 145                   capture.at(1).expect("Couldn't unwrap capture.").to_owned()
 146               })
 147           })
 148           .next()
 149 }
 150
 151 // Compare output to input.
 152 fn handle_result(result: HashMap<String, String>) {
 153     let mut failures = HashMap::new();
 154
 155     for (file_name, fmt_text) in result {
 156         // If file is in tests/source, compare to file with same name in tests/target
 157         let target_file_name = get_target(&file_name);
 158         let mut f = fs::File::open(&target_file_name).ok().expect("Couldn't open target.");
 159
 160         let mut text = String::new();
 161         // TODO: speedup by running through bytes iterator
 162         f.read_to_string(&mut text).ok().expect("Failed reading target.");
 163         if fmt_text != text {
 164             let diff_str = make_diff(&file_name, &fmt_text, &text);
 165             failures.insert(file_name, diff_str);
 166         }
 167     }
 168     if !failures.is_empty() {
 169         panic!(failures);
 170     }
 171 }
 172
 173 // Map source file paths to their target paths.
 174 fn get_target(file_name: &str) -> String {
 175     if file_name.starts_with("tests/source/") {
 176         let target = read_significant_comment(file_name, "target");
 177         let base = target.unwrap_or(file_name.trim_left_matches("tests/source/").to_owned());
 178
 179         let mut target_file = "tests/target/".to_owned();
 180         target_file.push_str(&base);
 181
 182         target_file
 183     } else {
 184         file_name.to_owned()
 185     }
 186 }
 187
 188 // Produces a diff string between the expected output and actual output of
 189 // rustfmt on a given file
 190 fn make_diff(file_name: &str, expected: &str, actual: &str) -> String {
 191     let mut line_number = 1;
 192     let mut prev_both = true;
 193     let mut text = String::new();
 194
 195     for result in diff::lines(expected, actual) {
 196         match result {
 197             diff::Result::Left(str) => {
 198                 if prev_both {
 199                     text.push_str(&format!("Mismatch @ {}:{}\n", file_name, line_number));
 200                 }
 201                 text.push_str(&format!("-{}⏎\n", str));
 202                 prev_both = false;
 203             }
 204             diff::Result::Right(str) => {
 205                 if prev_both {
 206                     text.push_str(&format!("Mismatch @ {}:{}\n", file_name, line_number));
 207                 }
 208                 text.push_str(&format!("+{}⏎\n", str));
 209                 prev_both = false;
 210                 line_number += 1;
 211             }
 212             diff::Result::Both(..) => {
 213                 line_number += 1;
 214                 prev_both = true;
 215             }
 216         }
 217     }
 218
 219     text
 220 }