util/update_lints.py

   1 #!/usr/bin/env python
   2 # Generate a Markdown table of all lints, and put it in README.md.
   3 # With -n option, only print the new table to stdout.
   4 # With -c option, print a warning and set exit status to 1 if a file would be
   5 # changed.
   6
   7 import os
   8 import re
   9 import sys
  10
  11 declare_lint_re = re.compile(r'''
  12     declare_lint! \s* [{(] \s*
  13     pub \s+ (?P<name>[A-Z_][A-Z_0-9]*) \s*,\s*
  14     (?P<level>Forbid|Deny|Warn|Allow) \s*,\s*
  15     " (?P<desc>(?:[^"\\]+|\\.)*) " \s* [})]
  16 ''', re.VERBOSE | re.DOTALL)
  17
  18 declare_deprecated_lint_re = re.compile(r'''
  19     declare_deprecated_lint! \s* [{(] \s*
  20     pub \s+ (?P<name>[A-Z_][A-Z_0-9]*) \s*,\s*
  21     " (?P<desc>(?:[^"\\]+|\\.)*) " \s* [})]
  22 ''', re.VERBOSE | re.DOTALL)
  23
  24 declare_restriction_lint_re = re.compile(r'''
  25     declare_restriction_lint! \s* [{(] \s*
  26     pub \s+ (?P<name>[A-Z_][A-Z_0-9]*) \s*,\s*
  27     " (?P<desc>(?:[^"\\]+|\\.)*) " \s* [})]
  28 ''', re.VERBOSE | re.DOTALL)
  29
  30 nl_escape_re = re.compile(r'\\\n\s*')
  31
  32 wiki_link = 'https://github.com/Manishearth/rust-clippy/wiki'
  33
  34
  35 def collect(lints, deprecated_lints, restriction_lints, fn):
  36     """Collect all lints from a file.
  37
  38     Adds entries to the lints list as `(module, name, level, desc)`.
  39     """
  40     with open(fn) as fp:
  41         code = fp.read()
  42     for match in declare_lint_re.finditer(code):
  43         # remove \-newline escapes from description string
  44         desc = nl_escape_re.sub('', match.group('desc'))
  45         lints.append((os.path.splitext(os.path.basename(fn))[0],
  46                       match.group('name').lower(),
  47                       match.group('level').lower(),
  48                       desc.replace('\\"', '"')))
  49
  50     for match in declare_deprecated_lint_re.finditer(code):
  51         # remove \-newline escapes from description string
  52         desc = nl_escape_re.sub('', match.group('desc'))
  53         deprecated_lints.append((os.path.splitext(os.path.basename(fn))[0],
  54                                 match.group('name').lower(),
  55                                 desc.replace('\\"', '"')))
  56
  57     for match in declare_restriction_lint_re.finditer(code):
  58         # remove \-newline escapes from description string
  59         desc = nl_escape_re.sub('', match.group('desc'))
  60         restriction_lints.append((os.path.splitext(os.path.basename(fn))[0],
  61                                   match.group('name').lower(),
  62                                   "allow",
  63                                   desc.replace('\\"', '"')))
  64
  65
  66 def gen_table(lints, link=None):
  67     """Write lint table in Markdown format."""
  68     if link:
  69         lints = [(p, '[%s](%s#%s)' % (l, link, l), lvl, d)
  70                  for (p, l, lvl, d) in lints]
  71     # first and third column widths
  72     w_name = max(len(l[1]) for l in lints)
  73     w_desc = max(len(l[3]) for l in lints)
  74     # header and underline
  75     yield '%-*s | default | triggers on\n' % (w_name, 'name')
  76     yield '%s-|-%s-|-%s\n' % ('-' * w_name, '-' * 7, '-' * w_desc)
  77     # one table row per lint
  78     for (_, name, default, meaning) in sorted(lints, key=lambda l: l[1]):
  79         yield '%-*s | %-7s | %s\n' % (w_name, name, default, meaning)
  80
  81
  82 def gen_group(lints, levels=None):
  83     """Write lint group (list of all lints in the form module::NAME)."""
  84     if levels:
  85         lints = [tup for tup in lints if tup[2] in levels]
  86     for (module, name, _, _) in sorted(lints):
  87         yield '        %s::%s,\n' % (module, name.upper())
  88
  89
  90 def gen_mods(lints):
  91     """Declare modules"""
  92
  93     for module in sorted(set(lint[0] for lint in lints)):
  94         yield 'pub mod %s;\n' % module
  95
  96
  97 def gen_deprecated(lints):
  98     """Declare deprecated lints"""
  99
 100     for lint in lints:
 101         yield '    store.register_removed(\n'
 102         yield '        "%s",\n' % lint[1]
 103         yield '        "%s",\n' % lint[2]
 104         yield '    );\n'
 105
 106
 107 def replace_region(fn, region_start, region_end, callback,
 108                    replace_start=True, write_back=True):
 109     """Replace a region in a file delimited by two lines matching regexes.
 110
 111     A callback is called to write the new region.  If `replace_start` is true,
 112     the start delimiter line is replaced as well.  The end delimiter line is
 113     never replaced.
 114     """
 115     # read current content
 116     with open(fn) as fp:
 117         lines = list(fp)
 118
 119     # replace old region with new region
 120     new_lines = []
 121     in_old_region = False
 122     for line in lines:
 123         if in_old_region:
 124             if re.search(region_end, line):
 125                 in_old_region = False
 126                 new_lines.extend(callback())
 127                 new_lines.append(line)
 128         elif re.search(region_start, line):
 129             if not replace_start:
 130                 new_lines.append(line)
 131             # old region starts here
 132             in_old_region = True
 133         else:
 134             new_lines.append(line)
 135
 136     # write back to file
 137     if write_back:
 138         with open(fn, 'w') as fp:
 139             fp.writelines(new_lines)
 140
 141     # if something changed, return true
 142     return lines != new_lines
 143
 144
 145 def main(print_only=False, check=False):
 146     lints = []
 147     deprecated_lints = []
 148     restriction_lints = []
 149
 150     # check directory
 151     if not os.path.isfile('clippy_lints/src/lib.rs'):
 152         print('Error: call this script from clippy checkout directory!')
 153         return
 154
 155     # collect all lints from source files
 156     for fn in os.listdir('clippy_lints/src'):
 157         if fn.endswith('.rs'):
 158             collect(lints, deprecated_lints, restriction_lints,
 159                     os.path.join('clippy_lints', 'src', fn))
 160
 161     # determine version
 162     with open('Cargo.toml') as fp:
 163         for line in fp:
 164             if line.startswith('version ='):
 165                 clippy_version = line.split()[2].strip('"')
 166                 break
 167         else:
 168             print('Error: version not found in Cargo.toml!')
 169             return
 170
 171     if print_only:
 172         sys.stdout.writelines(gen_table(lints + restriction_lints))
 173         return
 174
 175     # replace table in README.md
 176     changed = replace_region(
 177         'README.md', r'^name +\|', '^$',
 178         lambda: gen_table(lints + restriction_lints, link=wiki_link),
 179         write_back=not check)
 180
 181     changed |= replace_region(
 182         'README.md',
 183         r'^There are \d+ lints included in this crate:', "",
 184         lambda: ['There are %d lints included in this crate:\n' %
 185                  (len(lints) + len(restriction_lints))],
 186         write_back=not check)
 187
 188     # update the links in the CHANGELOG
 189     changed |= replace_region(
 190         'CHANGELOG.md',
 191         "<!-- begin autogenerated links to wiki -->",
 192         "<!-- end autogenerated links to wiki -->",
 193         lambda: ["[`{0}`]: {1}#{0}\n".format(l[1], wiki_link) for l in
 194                  sorted(lints + restriction_lints + deprecated_lints,
 195                         key=lambda l: l[1])],
 196         replace_start=False, write_back=not check)
 197
 198     # update version of clippy_lints in Cargo.toml
 199     changed |= replace_region(
 200         'Cargo.toml', r'# begin automatic update', '# end automatic update',
 201         lambda: ['clippy_lints = { version = "%s", path = "clippy_lints" }\n' %
 202                  clippy_version],
 203         replace_start=False, write_back=not check)
 204
 205     # update version of clippy_lints in Cargo.toml
 206     changed |= replace_region(
 207         'clippy_lints/Cargo.toml', r'# begin automatic update', '# end automatic update',
 208         lambda: ['version = "%s"\n' % clippy_version],
 209         replace_start=False, write_back=not check)
 210
 211     # update the `pub mod` list
 212     changed |= replace_region(
 213         'clippy_lints/src/lib.rs', r'begin lints modules', r'end lints modules',
 214         lambda: gen_mods(lints + restriction_lints),
 215         replace_start=False, write_back=not check)
 216
 217     # same for "clippy" lint collection
 218     changed |= replace_region(
 219         'clippy_lints/src/lib.rs', r'reg.register_lint_group\("clippy"', r'\]\);',
 220         lambda: gen_group(lints, levels=('warn', 'deny')),
 221         replace_start=False, write_back=not check)
 222
 223     # same for "deprecated" lint collection
 224     changed |= replace_region(
 225         'clippy_lints/src/lib.rs', r'let mut store', r'end deprecated lints',
 226         lambda: gen_deprecated(deprecated_lints),
 227         replace_start=False,
 228         write_back=not check)
 229
 230     # same for "clippy_pedantic" lint collection
 231     changed |= replace_region(
 232         'clippy_lints/src/lib.rs', r'reg.register_lint_group\("clippy_pedantic"', r'\]\);',
 233         lambda: gen_group(lints, levels=('allow',)),
 234         replace_start=False, write_back=not check)
 235
 236     # same for "clippy_restrictions" lint collection
 237     changed |= replace_region(
 238         'clippy_lints/src/lib.rs', r'reg.register_lint_group\("clippy_restrictions"',
 239         r'\]\);', lambda: gen_group(restriction_lints),
 240         replace_start=False, write_back=not check)
 241
 242     if check and changed:
 243         print('Please run util/update_lints.py to regenerate lints lists.')
 244         return 1
 245
 246
 247 if __name__ == '__main__':
 248     sys.exit(main(print_only='-n' in sys.argv, check='-c' in sys.argv))