]> git.lizzy.rs Git - rust.git/blob - src/test/mod.rs
Use rustfmt.toml when running self_tests
[rust.git] / src / test / mod.rs
1 // Copyright 2015 The Rust Project Developers. See the COPYRIGHT
2 // file at the top-level directory of this distribution and at
3 // http://rust-lang.org/COPYRIGHT.
4 //
5 // Licensed under the Apache License, Version 2.0 <LICENSE-APACHE or
6 // http://www.apache.org/licenses/LICENSE-2.0> or the MIT license
7 // <LICENSE-MIT or http://opensource.org/licenses/MIT>, at your
8 // option. This file may not be copied, modified, or distributed
9 // except according to those terms.
10
11 extern crate assert_cli;
12
13 use std::collections::{HashMap, HashSet};
14 use std::fs;
15 use std::io::{self, BufRead, BufReader, Read};
16 use std::iter::{Enumerate, Peekable};
17 use std::path::{Path, PathBuf};
18 use std::str::Chars;
19
20 use config::summary::Summary;
21 use config::{Color, Config, ReportTactic};
22 use filemap::write_system_newlines;
23 use rustfmt_diff::*;
24 use *;
25
26 const DIFF_CONTEXT_SIZE: usize = 3;
27 const CONFIGURATIONS_FILE_NAME: &str = "Configurations.md";
28
29 // Returns a `Vec` containing `PathBuf`s of files with a rs extension in the
30 // given path. The `recursive` argument controls if files from subdirectories
31 // are also returned.
32 fn get_test_files(path: &Path, recursive: bool) -> Vec<PathBuf> {
33     let mut files = vec![];
34     if path.is_dir() {
35         for entry in fs::read_dir(path).expect(&format!(
36             "Couldn't read directory {}",
37             path.to_str().unwrap()
38         )) {
39             let entry = entry.expect("Couldn't get DirEntry");
40             let path = entry.path();
41             if path.is_dir() && recursive {
42                 files.append(&mut get_test_files(&path, recursive));
43             } else if path.extension().map_or(false, |f| f == "rs") {
44                 files.push(path);
45             }
46         }
47     }
48     files
49 }
50
51 fn verify_config_used(path: &Path, config_name: &str) {
52     for entry in fs::read_dir(path).expect(&format!(
53         "Couldn't read {} directory",
54         path.to_str().unwrap()
55     )) {
56         let entry = entry.expect("Couldn't get directory entry");
57         let path = entry.path();
58         if path.extension().map_or(false, |f| f == "rs") {
59             // check if "// rustfmt-<config_name>:" appears in the file.
60             let filebuf = BufReader::new(
61                 fs::File::open(&path).expect(&format!("Couldn't read file {}", path.display())),
62             );
63             assert!(
64                 filebuf
65                     .lines()
66                     .map(|l| l.unwrap())
67                     .take_while(|l| l.starts_with("//"))
68                     .any(|l| l.starts_with(&format!("// rustfmt-{}", config_name))),
69                 format!(
70                     "config option file {} does not contain expected config name",
71                     path.display()
72                 )
73             );
74         }
75     }
76 }
77
78 #[test]
79 fn verify_config_test_names() {
80     for path in &[
81         Path::new("tests/source/configs"),
82         Path::new("tests/target/configs"),
83     ] {
84         for entry in fs::read_dir(path).expect("Couldn't read configs directory") {
85             let entry = entry.expect("Couldn't get directory entry");
86             let path = entry.path();
87             if path.is_dir() {
88                 let config_name = path.file_name().unwrap().to_str().unwrap();
89
90                 // Make sure that config name is used in the files in the directory.
91                 verify_config_used(&path, config_name);
92             }
93         }
94     }
95 }
96
97 // This writes to the terminal using the same approach (via term::stdout or
98 // println!) that is used by `rustfmt::rustfmt_diff::print_diff`. Writing
99 // using only one or the other will cause the output order to differ when
100 // `print_diff` selects the approach not used.
101 fn write_message(msg: &str) {
102     let mut writer = OutputWriter::new(Color::Auto);
103     writer.writeln(&format!("{}", msg), None);
104 }
105
106 // Integration tests. The files in the tests/source are formatted and compared
107 // to their equivalent in tests/target. The target file and config can be
108 // overridden by annotations in the source file. The input and output must match
109 // exactly.
110 #[test]
111 fn system_tests() {
112     // Get all files in the tests/source directory.
113     let files = get_test_files(Path::new("tests/source"), true);
114     let (_reports, count, fails) = check_files(files, None);
115
116     // Display results.
117     println!("Ran {} system tests.", count);
118     assert_eq!(fails, 0, "{} system tests failed", fails);
119 }
120
121 // Do the same for tests/coverage-source directory
122 // the only difference is the coverage mode
123 #[test]
124 fn coverage_tests() {
125     let files = get_test_files(Path::new("tests/coverage/source"), true);
126     let (_reports, count, fails) = check_files(files, None);
127
128     println!("Ran {} tests in coverage mode.", count);
129     assert_eq!(fails, 0, "{} tests failed", fails);
130 }
131
132 #[test]
133 fn checkstyle_test() {
134     let filename = "tests/writemode/source/fn-single-line.rs";
135     let expected_filename = "tests/writemode/target/checkstyle.xml";
136     assert_output(Path::new(filename), Path::new(expected_filename));
137 }
138
139 #[test]
140 fn modified_test() {
141     // Test "modified" output
142     let filename = "tests/writemode/source/modified.rs";
143     let result = get_modified_lines(Input::File(filename.into()), &Config::default()).unwrap();
144     assert_eq!(
145         result.modified_lines,
146         ModifiedLines {
147             chunks: vec![
148                 ModifiedChunk {
149                     line_number_orig: 4,
150                     lines_removed: 4,
151                     lines: vec!["fn blah() {}".into()],
152                 },
153                 ModifiedChunk {
154                     line_number_orig: 9,
155                     lines_removed: 6,
156                     lines: vec!["#[cfg(a, b)]".into(), "fn main() {}".into()],
157                 },
158             ],
159         }
160     );
161 }
162
163 // Helper function for comparing the results of rustfmt
164 // to a known output file generated by one of the write modes.
165 fn assert_output(source: &Path, expected_filename: &Path) {
166     let config = read_config(source);
167     let (_error_summary, file_map, _report) = format_file(source, &config);
168
169     // Populate output by writing to a vec.
170     let mut out = vec![];
171     let _ = filemap::write_all_files(&file_map, &mut out, &config);
172     let output = String::from_utf8(out).unwrap();
173
174     let mut expected_file = fs::File::open(&expected_filename).expect("Couldn't open target");
175     let mut expected_text = String::new();
176     expected_file
177         .read_to_string(&mut expected_text)
178         .expect("Failed reading target");
179
180     let compare = make_diff(&expected_text, &output, DIFF_CONTEXT_SIZE);
181     if !compare.is_empty() {
182         let mut failures = HashMap::new();
183         failures.insert(source.to_owned(), compare);
184         print_mismatches_default_message(failures);
185         assert!(false, "Text does not match expected output");
186     }
187 }
188
189 // Idempotence tests. Files in tests/target are checked to be unaltered by
190 // rustfmt.
191 #[test]
192 fn idempotence_tests() {
193     // Get all files in the tests/target directory.
194     let files = get_test_files(Path::new("tests/target"), true);
195     let (_reports, count, fails) = check_files(files, None);
196
197     // Display results.
198     println!("Ran {} idempotent tests.", count);
199     assert_eq!(fails, 0, "{} idempotent tests failed", fails);
200 }
201
202 // Run rustfmt on itself. This operation must be idempotent. We also check that
203 // no warnings are emitted.
204 #[test]
205 fn self_tests() {
206     let mut files = get_test_files(Path::new("tests"), false);
207     let bin_directories = vec!["cargo-fmt", "git-rustfmt", "bin", "format-diff"];
208     for dir in bin_directories {
209         let mut path = PathBuf::from("src");
210         path.push(dir);
211         path.push("main.rs");
212         files.push(path);
213     }
214     files.push(PathBuf::from("src/lib.rs"));
215
216     let (reports, count, fails) = check_files(files, Some(PathBuf::from("rustfmt.toml")));
217     let mut warnings = 0;
218
219     // Display results.
220     println!("Ran {} self tests.", count);
221     assert_eq!(fails, 0, "{} self tests failed", fails);
222
223     for format_report in reports {
224         println!("{}", format_report);
225         warnings += format_report.warning_count();
226     }
227
228     assert_eq!(
229         warnings, 0,
230         "Rustfmt's code generated {} warnings",
231         warnings
232     );
233 }
234
235 #[test]
236 fn stdin_formatting_smoke_test() {
237     let input = Input::Text("fn main () {}".to_owned());
238     let config = Config::default();
239     let (error_summary, file_map, _report) =
240         format_input::<io::Stdout>(input, &config, None).unwrap();
241     assert!(error_summary.has_no_errors());
242     for &(ref file_name, ref text) in &file_map {
243         if let FileName::Custom(ref file_name) = *file_name {
244             if file_name == "stdin" {
245                 assert_eq!(text.to_string(), "fn main() {}\n");
246                 return;
247             }
248         }
249     }
250     panic!("no stdin");
251 }
252
253 // FIXME(#1990) restore this test
254 // #[test]
255 // fn stdin_disable_all_formatting_test() {
256 //     let input = String::from("fn main() { println!(\"This should not be formatted.\"); }");
257 //     let mut child = Command::new("./target/debug/rustfmt")
258 //         .stdin(Stdio::piped())
259 //         .stdout(Stdio::piped())
260 //         .arg("--config-path=./tests/config/disable_all_formatting.toml")
261 //         .spawn()
262 //         .expect("failed to execute child");
263
264 //     {
265 //         let stdin = child.stdin.as_mut().expect("failed to get stdin");
266 //         stdin
267 //             .write_all(input.as_bytes())
268 //             .expect("failed to write stdin");
269 //     }
270 //     let output = child.wait_with_output().expect("failed to wait on child");
271 //     assert!(output.status.success());
272 //     assert!(output.stderr.is_empty());
273 //     assert_eq!(input, String::from_utf8(output.stdout).unwrap());
274 // }
275
276 #[test]
277 fn format_lines_errors_are_reported() {
278     let long_identifier = String::from_utf8(vec![b'a'; 239]).unwrap();
279     let input = Input::Text(format!("fn {}() {{}}", long_identifier));
280     let mut config = Config::default();
281     config.set().error_on_line_overflow(true);
282     let (error_summary, _file_map, _report) =
283         format_input::<io::Stdout>(input, &config, None).unwrap();
284     assert!(error_summary.has_formatting_errors());
285 }
286
287 #[test]
288 fn format_lines_errors_are_reported_with_tabs() {
289     let long_identifier = String::from_utf8(vec![b'a'; 97]).unwrap();
290     let input = Input::Text(format!("fn a() {{\n\t{}\n}}", long_identifier));
291     let mut config = Config::default();
292     config.set().error_on_line_overflow(true);
293     config.set().hard_tabs(true);
294     let (error_summary, _file_map, _report) =
295         format_input::<io::Stdout>(input, &config, None).unwrap();
296     assert!(error_summary.has_formatting_errors());
297 }
298
299 // For each file, run rustfmt and collect the output.
300 // Returns the number of files checked and the number of failures.
301 fn check_files(files: Vec<PathBuf>, opt_config: Option<PathBuf>) -> (Vec<FormatReport>, u32, u32) {
302     let mut count = 0;
303     let mut fails = 0;
304     let mut reports = vec![];
305
306     for file_name in files {
307         debug!("Testing '{}'...", file_name.display());
308
309         match idempotent_check(&file_name, &opt_config) {
310             Ok(ref report) if report.has_warnings() => {
311                 print!("{}", report);
312                 fails += 1;
313             }
314             Ok(report) => reports.push(report),
315             Err(err) => {
316                 if let IdempotentCheckError::Mismatch(msg) = err {
317                     print_mismatches_default_message(msg);
318                 }
319                 fails += 1;
320             }
321         }
322
323         count += 1;
324     }
325
326     (reports, count, fails)
327 }
328
329 fn print_mismatches_default_message(result: HashMap<PathBuf, Vec<Mismatch>>) {
330     for (file_name, diff) in result {
331         let mismatch_msg_formatter =
332             |line_num| format!("\nMismatch at {}:{}:", file_name.display(), line_num);
333         print_diff(diff, &mismatch_msg_formatter, &Default::default());
334     }
335
336     if let Some(mut t) = term::stdout() {
337         t.reset().unwrap_or(());
338     }
339 }
340
341 fn print_mismatches<T: Fn(u32) -> String>(
342     result: HashMap<PathBuf, Vec<Mismatch>>,
343     mismatch_msg_formatter: T,
344 ) {
345     for (_file_name, diff) in result {
346         print_diff(diff, &mismatch_msg_formatter, &Default::default());
347     }
348
349     if let Some(mut t) = term::stdout() {
350         t.reset().unwrap_or(());
351     }
352 }
353
354 fn read_config(filename: &Path) -> Config {
355     let sig_comments = read_significant_comments(filename);
356     // Look for a config file... If there is a 'config' property in the significant comments, use
357     // that. Otherwise, if there are no significant comments at all, look for a config file with
358     // the same name as the test file.
359     let mut config = if !sig_comments.is_empty() {
360         get_config(sig_comments.get("config").map(Path::new))
361     } else {
362         get_config(filename.with_extension("toml").file_name().map(Path::new))
363     };
364
365     for (key, val) in &sig_comments {
366         if key != "target" && key != "config" {
367             config.override_value(key, val);
368         }
369     }
370
371     // Don't generate warnings for to-do items.
372     config.set().report_todo(ReportTactic::Never);
373
374     config
375 }
376
377 fn format_file<P: Into<PathBuf>>(filepath: P, config: &Config) -> (Summary, FileMap, FormatReport) {
378     let filepath = filepath.into();
379     let input = Input::File(filepath);
380     format_input::<io::Stdout>(input, config, None).unwrap()
381 }
382
383 pub enum IdempotentCheckError {
384     Mismatch(HashMap<PathBuf, Vec<Mismatch>>),
385     Parse,
386 }
387
388 pub fn idempotent_check(
389     filename: &PathBuf,
390     opt_config: &Option<PathBuf>,
391 ) -> Result<FormatReport, IdempotentCheckError> {
392     let sig_comments = read_significant_comments(filename);
393     let config = if let Some(ref config_file_path) = opt_config {
394         Config::from_toml_path(config_file_path).expect("rustfmt.toml not found")
395     } else {
396         read_config(filename)
397     };
398     let (error_summary, file_map, format_report) = format_file(filename, &config);
399     if error_summary.has_parsing_errors() {
400         return Err(IdempotentCheckError::Parse);
401     }
402
403     let mut write_result = HashMap::new();
404     for &(ref filename, ref text) in &file_map {
405         let mut v = Vec::new();
406         // Won't panic, as we're not doing any IO.
407         write_system_newlines(&mut v, text, &config).unwrap();
408         // Won't panic, we are writing correct utf8.
409         let one_result = String::from_utf8(v).unwrap();
410         if let FileName::Real(ref filename) = *filename {
411             write_result.insert(filename.to_owned(), one_result);
412         }
413     }
414
415     let target = sig_comments.get("target").map(|x| &(*x)[..]);
416
417     handle_result(write_result, target).map(|_| format_report)
418 }
419
420 // Reads test config file using the supplied (optional) file name. If there's no file name or the
421 // file doesn't exist, just return the default config. Otherwise, the file must be read
422 // successfully.
423 fn get_config(config_file: Option<&Path>) -> Config {
424     let config_file_name = match config_file {
425         None => return Default::default(),
426         Some(file_name) => {
427             let mut full_path = PathBuf::from("tests/config/");
428             full_path.push(file_name);
429             if !full_path.exists() {
430                 return Default::default();
431             };
432             full_path
433         }
434     };
435
436     let mut def_config_file = fs::File::open(config_file_name).expect("Couldn't open config");
437     let mut def_config = String::new();
438     def_config_file
439         .read_to_string(&mut def_config)
440         .expect("Couldn't read config");
441
442     Config::from_toml(&def_config, Path::new("tests/config/")).expect("Invalid toml")
443 }
444
445 // Reads significant comments of the form: // rustfmt-key: value
446 // into a hash map.
447 fn read_significant_comments(file_name: &Path) -> HashMap<String, String> {
448     let file =
449         fs::File::open(file_name).expect(&format!("Couldn't read file {}", file_name.display()));
450     let reader = BufReader::new(file);
451     let pattern = r"^\s*//\s*rustfmt-([^:]+):\s*(\S+)";
452     let regex = regex::Regex::new(pattern).expect("Failed creating pattern 1");
453
454     // Matches lines containing significant comments or whitespace.
455     let line_regex = regex::Regex::new(r"(^\s*$)|(^\s*//\s*rustfmt-[^:]+:\s*\S+)")
456         .expect("Failed creating pattern 2");
457
458     reader
459         .lines()
460         .map(|line| line.expect("Failed getting line"))
461         .take_while(|line| line_regex.is_match(line))
462         .filter_map(|line| {
463             regex.captures_iter(&line).next().map(|capture| {
464                 (
465                     capture
466                         .get(1)
467                         .expect("Couldn't unwrap capture")
468                         .as_str()
469                         .to_owned(),
470                     capture
471                         .get(2)
472                         .expect("Couldn't unwrap capture")
473                         .as_str()
474                         .to_owned(),
475                 )
476             })
477         })
478         .collect()
479 }
480
481 // Compare output to input.
482 // TODO: needs a better name, more explanation.
483 fn handle_result(
484     result: HashMap<PathBuf, String>,
485     target: Option<&str>,
486 ) -> Result<(), IdempotentCheckError> {
487     let mut failures = HashMap::new();
488
489     for (file_name, fmt_text) in result {
490         // If file is in tests/source, compare to file with same name in tests/target.
491         let target = get_target(&file_name, target);
492         let open_error = format!("Couldn't open target {:?}", &target);
493         let mut f = fs::File::open(&target).expect(&open_error);
494
495         let mut text = String::new();
496         let read_error = format!("Failed reading target {:?}", &target);
497         f.read_to_string(&mut text).expect(&read_error);
498
499         // Ignore LF and CRLF difference for Windows.
500         if !string_eq_ignore_newline_repr(&fmt_text, &text) {
501             let diff = make_diff(&text, &fmt_text, DIFF_CONTEXT_SIZE);
502             assert!(
503                 !diff.is_empty(),
504                 "Empty diff? Maybe due to a missing a newline at the end of a file?"
505             );
506             failures.insert(file_name, diff);
507         }
508     }
509
510     if failures.is_empty() {
511         Ok(())
512     } else {
513         Err(IdempotentCheckError::Mismatch(failures))
514     }
515 }
516
517 // Map source file paths to their target paths.
518 fn get_target(file_name: &Path, target: Option<&str>) -> PathBuf {
519     if let Some(n) = file_name
520         .components()
521         .position(|c| c.as_os_str() == "source")
522     {
523         let mut target_file_name = PathBuf::new();
524         for (i, c) in file_name.components().enumerate() {
525             if i == n {
526                 target_file_name.push("target");
527             } else {
528                 target_file_name.push(c.as_os_str());
529             }
530         }
531         if let Some(replace_name) = target {
532             target_file_name.with_file_name(replace_name)
533         } else {
534             target_file_name
535         }
536     } else {
537         // This is either and idempotence check or a self check
538         file_name.to_owned()
539     }
540 }
541
542 #[test]
543 fn rustfmt_diff_make_diff_tests() {
544     let diff = make_diff("a\nb\nc\nd", "a\ne\nc\nd", 3);
545     assert_eq!(
546         diff,
547         vec![Mismatch {
548             line_number: 1,
549             line_number_orig: 1,
550             lines: vec![
551                 DiffLine::Context("a".into()),
552                 DiffLine::Resulting("b".into()),
553                 DiffLine::Expected("e".into()),
554                 DiffLine::Context("c".into()),
555                 DiffLine::Context("d".into()),
556             ],
557         }]
558     );
559 }
560
561 #[test]
562 fn rustfmt_diff_no_diff_test() {
563     let diff = make_diff("a\nb\nc\nd", "a\nb\nc\nd", 3);
564     assert_eq!(diff, vec![]);
565 }
566
567 // Compare strings without distinguishing between CRLF and LF
568 fn string_eq_ignore_newline_repr(left: &str, right: &str) -> bool {
569     let left = CharsIgnoreNewlineRepr(left.chars().peekable());
570     let right = CharsIgnoreNewlineRepr(right.chars().peekable());
571     left.eq(right)
572 }
573
574 struct CharsIgnoreNewlineRepr<'a>(Peekable<Chars<'a>>);
575
576 impl<'a> Iterator for CharsIgnoreNewlineRepr<'a> {
577     type Item = char;
578
579     fn next(&mut self) -> Option<char> {
580         self.0.next().map(|c| {
581             if c == '\r' {
582                 if *self.0.peek().unwrap_or(&'\0') == '\n' {
583                     self.0.next();
584                     '\n'
585                 } else {
586                     '\r'
587                 }
588             } else {
589                 c
590             }
591         })
592     }
593 }
594
595 #[test]
596 fn string_eq_ignore_newline_repr_test() {
597     assert!(string_eq_ignore_newline_repr("", ""));
598     assert!(!string_eq_ignore_newline_repr("", "abc"));
599     assert!(!string_eq_ignore_newline_repr("abc", ""));
600     assert!(string_eq_ignore_newline_repr("a\nb\nc\rd", "a\nb\r\nc\rd"));
601     assert!(string_eq_ignore_newline_repr("a\r\n\r\n\r\nb", "a\n\n\nb"));
602     assert!(!string_eq_ignore_newline_repr("a\r\nbcd", "a\nbcdefghijk"));
603 }
604
605 // This enum is used to represent one of three text features in Configurations.md: a block of code
606 // with its starting line number, the name of a rustfmt configuration option, or the value of a
607 // rustfmt configuration option.
608 enum ConfigurationSection {
609     CodeBlock((String, u32)), // (String: block of code, u32: line number of code block start)
610     ConfigName(String),
611     ConfigValue(String),
612 }
613
614 impl ConfigurationSection {
615     fn get_section<I: Iterator<Item = String>>(
616         file: &mut Enumerate<I>,
617     ) -> Option<ConfigurationSection> {
618         lazy_static! {
619             static ref CONFIG_NAME_REGEX: regex::Regex =
620                 regex::Regex::new(r"^## `([^`]+)`").expect("Failed creating configuration pattern");
621             static ref CONFIG_VALUE_REGEX: regex::Regex = regex::Regex::new(r#"^#### `"?([^`"]+)"?`"#)
622                 .expect("Failed creating configuration value pattern");
623         }
624
625         loop {
626             match file.next() {
627                 Some((i, line)) => {
628                     if line.starts_with("```rust") {
629                         // Get the lines of the code block.
630                         let lines: Vec<String> = file.map(|(_i, l)| l)
631                             .take_while(|l| !l.starts_with("```"))
632                             .collect();
633                         let block = format!("{}\n", lines.join("\n"));
634
635                         // +1 to translate to one-based indexing
636                         // +1 to get to first line of code (line after "```")
637                         let start_line = (i + 2) as u32;
638
639                         return Some(ConfigurationSection::CodeBlock((block, start_line)));
640                     } else if let Some(c) = CONFIG_NAME_REGEX.captures(&line) {
641                         return Some(ConfigurationSection::ConfigName(String::from(&c[1])));
642                     } else if let Some(c) = CONFIG_VALUE_REGEX.captures(&line) {
643                         return Some(ConfigurationSection::ConfigValue(String::from(&c[1])));
644                     }
645                 }
646                 None => return None, // reached the end of the file
647             }
648         }
649     }
650 }
651
652 // This struct stores the information about code blocks in the configurations
653 // file, formats the code blocks, and prints formatting errors.
654 struct ConfigCodeBlock {
655     config_name: Option<String>,
656     config_value: Option<String>,
657     code_block: Option<String>,
658     code_block_start: Option<u32>,
659 }
660
661 impl ConfigCodeBlock {
662     fn new() -> ConfigCodeBlock {
663         ConfigCodeBlock {
664             config_name: None,
665             config_value: None,
666             code_block: None,
667             code_block_start: None,
668         }
669     }
670
671     fn set_config_name(&mut self, name: Option<String>) {
672         self.config_name = name;
673         self.config_value = None;
674     }
675
676     fn set_config_value(&mut self, value: Option<String>) {
677         self.config_value = value;
678     }
679
680     fn set_code_block(&mut self, code_block: String, code_block_start: u32) {
681         self.code_block = Some(code_block);
682         self.code_block_start = Some(code_block_start);
683     }
684
685     fn get_block_config(&self) -> Config {
686         let mut config = Config::default();
687         if self.config_value.is_some() && self.config_value.is_some() {
688             config.override_value(
689                 self.config_name.as_ref().unwrap(),
690                 self.config_value.as_ref().unwrap(),
691             );
692         }
693         config
694     }
695
696     fn code_block_valid(&self) -> bool {
697         // We never expect to not have a code block.
698         assert!(self.code_block.is_some() && self.code_block_start.is_some());
699
700         // See if code block begins with #![rustfmt_skip].
701         let fmt_skip = self.code_block
702             .as_ref()
703             .unwrap()
704             .split('\n')
705             .nth(0)
706             .unwrap_or("") == "#![rustfmt_skip]";
707
708         if self.config_name.is_none() && !fmt_skip {
709             write_message(&format!(
710                 "No configuration name for {}:{}",
711                 CONFIGURATIONS_FILE_NAME,
712                 self.code_block_start.unwrap()
713             ));
714             return false;
715         }
716         if self.config_value.is_none() && !fmt_skip {
717             write_message(&format!(
718                 "No configuration value for {}:{}",
719                 CONFIGURATIONS_FILE_NAME,
720                 self.code_block_start.unwrap()
721             ));
722             return false;
723         }
724         true
725     }
726
727     fn has_parsing_errors(&self, error_summary: Summary) -> bool {
728         if error_summary.has_parsing_errors() {
729             write_message(&format!(
730                 "\u{261d}\u{1f3fd} Cannot format {}:{}",
731                 CONFIGURATIONS_FILE_NAME,
732                 self.code_block_start.unwrap()
733             ));
734             return true;
735         }
736
737         false
738     }
739
740     fn print_diff(&self, compare: Vec<Mismatch>) {
741         let mut mismatches = HashMap::new();
742         mismatches.insert(PathBuf::from(CONFIGURATIONS_FILE_NAME), compare);
743         print_mismatches(mismatches, |line_num| {
744             format!(
745                 "\nMismatch at {}:{}:",
746                 CONFIGURATIONS_FILE_NAME,
747                 line_num + self.code_block_start.unwrap() - 1
748             )
749         });
750     }
751
752     fn formatted_has_diff(&self, file_map: &FileMap) -> bool {
753         let &(ref _file_name, ref text) = file_map.first().unwrap();
754         let compare = make_diff(self.code_block.as_ref().unwrap(), text, DIFF_CONTEXT_SIZE);
755         if !compare.is_empty() {
756             self.print_diff(compare);
757             return true;
758         }
759
760         false
761     }
762
763     // Return a bool indicating if formatting this code block is an idempotent
764     // operation. This function also triggers printing any formatting failure
765     // messages.
766     fn formatted_is_idempotent(&self) -> bool {
767         // Verify that we have all of the expected information.
768         if !self.code_block_valid() {
769             return false;
770         }
771
772         let input = Input::Text(self.code_block.as_ref().unwrap().to_owned());
773         let config = self.get_block_config();
774
775         let (error_summary, file_map, _report) =
776             format_input::<io::Stdout>(input, &config, None).unwrap();
777
778         !self.has_parsing_errors(error_summary) && !self.formatted_has_diff(&file_map)
779     }
780
781     // Extract a code block from the iterator. Behavior:
782     // - Rust code blocks are identifed by lines beginning with "```rust".
783     // - One explicit configuration setting is supported per code block.
784     // - Rust code blocks with no configuration setting are illegal and cause an
785     //   assertion failure, unless the snippet begins with #![rustfmt_skip].
786     // - Configuration names in Configurations.md must be in the form of
787     //   "## `NAME`".
788     // - Configuration values in Configurations.md must be in the form of
789     //   "#### `VALUE`".
790     fn extract<I: Iterator<Item = String>>(
791         file: &mut Enumerate<I>,
792         prev: Option<&ConfigCodeBlock>,
793         hash_set: &mut HashSet<String>,
794     ) -> Option<ConfigCodeBlock> {
795         let mut code_block = ConfigCodeBlock::new();
796         code_block.config_name = prev.and_then(|cb| cb.config_name.clone());
797
798         loop {
799             match ConfigurationSection::get_section(file) {
800                 Some(ConfigurationSection::CodeBlock((block, start_line))) => {
801                     code_block.set_code_block(block, start_line);
802                     break;
803                 }
804                 Some(ConfigurationSection::ConfigName(name)) => {
805                     assert!(
806                         Config::is_valid_name(&name),
807                         "an unknown configuration option was found: {}",
808                         name
809                     );
810                     assert!(
811                         hash_set.remove(&name),
812                         "multiple configuration guides found for option {}",
813                         name
814                     );
815                     code_block.set_config_name(Some(name));
816                 }
817                 Some(ConfigurationSection::ConfigValue(value)) => {
818                     code_block.set_config_value(Some(value));
819                 }
820                 None => return None, // end of file was reached
821             }
822         }
823
824         Some(code_block)
825     }
826 }
827
828 #[test]
829 fn configuration_snippet_tests() {
830     // Read Configurations.md and build a `Vec` of `ConfigCodeBlock` structs with one
831     // entry for each Rust code block found.
832     fn get_code_blocks() -> Vec<ConfigCodeBlock> {
833         let mut file_iter = BufReader::new(
834             fs::File::open(Path::new(CONFIGURATIONS_FILE_NAME))
835                 .expect(&format!("Couldn't read file {}", CONFIGURATIONS_FILE_NAME)),
836         ).lines()
837             .map(|l| l.unwrap())
838             .enumerate();
839         let mut code_blocks: Vec<ConfigCodeBlock> = Vec::new();
840         let mut hash_set = Config::hash_set();
841
842         while let Some(cb) =
843             ConfigCodeBlock::extract(&mut file_iter, code_blocks.last(), &mut hash_set)
844         {
845             code_blocks.push(cb);
846         }
847
848         for name in hash_set {
849             if !Config::is_hidden_option(&name) {
850                 panic!("{} does not have a configuration guide", name);
851             }
852         }
853
854         code_blocks
855     }
856
857     let blocks = get_code_blocks();
858     let failures = blocks
859         .iter()
860         .map(|b| b.formatted_is_idempotent())
861         .fold(0, |acc, r| acc + (!r as u32));
862
863     // Display results.
864     println!("Ran {} configurations tests.", blocks.len());
865     assert_eq!(failures, 0, "{} configurations tests failed", failures);
866 }
867
868 struct TempFile {
869     path: PathBuf,
870 }
871
872 fn make_temp_file(file_name: &'static str) -> TempFile {
873     use std::env::var;
874     use std::fs::File;
875
876     // Used in the Rust build system.
877     let target_dir = var("RUSTFMT_TEST_DIR").unwrap_or_else(|_| ".".to_owned());
878     let path = Path::new(&target_dir).join(file_name);
879
880     let mut file = File::create(&path).expect("Couldn't create temp file");
881     let content = "fn main() {}\n";
882     file.write_all(content.as_bytes())
883         .expect("Couldn't write temp file");
884     TempFile { path }
885 }
886
887 impl Drop for TempFile {
888     fn drop(&mut self) {
889         use std::fs::remove_file;
890         remove_file(&self.path).expect("Couldn't delete temp file");
891     }
892 }
893
894 #[test]
895 fn verify_check_works() {
896     let temp_file = make_temp_file("temp_check.rs");
897     assert_cli::Assert::command(&[
898         "cargo",
899         "run",
900         "--bin=rustfmt",
901         "--",
902         "--write-mode=check",
903         temp_file.path.to_str().unwrap(),
904     ]).succeeds()
905         .unwrap();
906 }
907
908 #[test]
909 fn verify_diff_works() {
910     let temp_file = make_temp_file("temp_diff.rs");
911     assert_cli::Assert::command(&[
912         "cargo",
913         "run",
914         "--bin=rustfmt",
915         "--",
916         "--write-mode=diff",
917         temp_file.path.to_str().unwrap(),
918     ]).succeeds()
919         .unwrap();
920 }