2 * wc -- count things in utf-encoded text files
4 * The only white space characters recognized are ' ', '\t' and '\n', even though
5 * ISO 10646 has many more blanks scattered through it.
6 * Should count characters that cannot occur in any rune (hex f0-ff) separately.
7 * Should count non-canonical runes (e.g. hex c1,80 instead of hex 40).
12 uvlong nline, tnline, pline;
13 uvlong nword, tnword, pword;
14 uvlong nrune, tnrune, prune;
15 uvlong nbadr, tnbadr, pbadr;
16 uvlong nchar, tnchar, pchar;
17 void count(int, char *);
18 void report(uvlong, uvlong, uvlong, uvlong, uvlong, char *);
20 main(int argc, char *argv[])
25 case 'l': pline++; break;
26 case 'w': pword++; break;
27 case 'r': prune++; break;
28 case 'b': pbadr++; break;
29 case 'c': pchar++; break;
31 fprint(2, "Usage: %s [-lwrbc] [file ...]\n", argv0);
34 if(pline+pword+prune+pbadr+pchar == 0) {
43 f=open(argv[i], OREAD);
59 report(tnline, tnword, tnrune, tnbadr, tnchar, "total");
64 report(uvlong nline, uvlong nword, uvlong nrune, uvlong nbadr, uvlong nchar, char *fname)
70 e += sprint(e, " %7llud", nline);
72 e += sprint(e, " %7llud", nword);
74 e += sprint(e, " %7llud", nrune);
76 e += sprint(e, " %7llud", nbadr);
78 sprint(e, " %7llud", nchar);
80 print("%s %s\n", line+1, fname);
82 print("%s\n", line+1);
85 * How it works. Start in statesp. Each time we read a character,
86 * increment various counts, and do state transitions according to the
87 * following table. If we're not in statesp or statewd when done, the
88 * file ends with a partial rune.
90 * state |09,20| 0a |00-7f|80-bf|c0-df|e0-ef|f0-ff
91 * -------+-----+-----+-----+-----+-----+-----+-----
92 * statesp|ASP |ASPN |AWDW |AWDWX|AC2W |AC3W |AWDWX
93 * statewd|ASP |ASPN |AWD |AWDX |AC2 |AC3 |AWDX
94 * statec2|ASPX |ASPNX|AWDX |AWDR |AC2X |AC3X |AWDX
95 * statec3|ASPX |ASPNX|AWDX |AC2R |AC2X |AC3X |AWDX
98 AC2, /* enter statec2 */
99 AC2R, /* enter statec2, don't count a rune */
100 AC2W, /* enter statec2, count a word */
101 AC2X, /* enter statec2, count a bad rune */
102 AC3, /* enter statec3 */
103 AC3W, /* enter statec3, count a word */
104 AC3X, /* enter statec3, count a bad rune */
105 ASP, /* enter statesp */
106 ASPN, /* enter statesp, count a newline */
107 ASPNX, /* enter statesp, count a newline, count a bad rune */
108 ASPX, /* enter statesp, count a bad rune */
109 AWD, /* enter statewd */
110 AWDR, /* enter statewd, don't count a rune */
111 AWDW, /* enter statewd, count a word */
112 AWDWX, /* enter statewd, count a word, count a bad rune */
113 AWDX, /* enter statewd, count a bad rune */
115 uchar statesp[256]={ /* looking for the start of a word */
116 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 00-07 */
117 AWDW, ASP, ASPN, AWDW, AWDW, AWDW, AWDW, AWDW, /* 08-0f */
118 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 10-17 */
119 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 18-1f */
120 ASP, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 20-27 */
121 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 28-2f */
122 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 30-37 */
123 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 38-3f */
124 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 40-47 */
125 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 48-4f */
126 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 50-57 */
127 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 58-5f */
128 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 60-67 */
129 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 68-6f */
130 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 70-77 */
131 AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 78-7f */
132 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* 80-87 */
133 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* 88-8f */
134 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* 90-97 */
135 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* 98-9f */
136 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* a0-a7 */
137 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* a8-af */
138 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* b0-b7 */
139 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* b8-bf */
140 AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, /* c0-c7 */
141 AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, /* c8-cf */
142 AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, /* d0-d7 */
143 AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, /* d8-df */
144 AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, /* e0-e7 */
145 AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, /* e8-ef */
146 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* f0-f7 */
147 AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* f8-ff */
149 uchar statewd[256]={ /* looking for the next character in a word */
150 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 00-07 */
151 AWD, ASP, ASPN, AWD, AWD, AWD, AWD, AWD, /* 08-0f */
152 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 10-17 */
153 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 18-1f */
154 ASP, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 20-27 */
155 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 28-2f */
156 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 30-37 */
157 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 38-3f */
158 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 40-47 */
159 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 48-4f */
160 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 50-57 */
161 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 58-5f */
162 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 60-67 */
163 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 68-6f */
164 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 70-77 */
165 AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 78-7f */
166 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 80-87 */
167 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 88-8f */
168 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 90-97 */
169 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 98-9f */
170 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* a0-a7 */
171 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* a8-af */
172 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* b0-b7 */
173 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* b8-bf */
174 AC2, AC2, AC2, AC2, AC2, AC2, AC2, AC2, /* c0-c7 */
175 AC2, AC2, AC2, AC2, AC2, AC2, AC2, AC2, /* c8-cf */
176 AC2, AC2, AC2, AC2, AC2, AC2, AC2, AC2, /* d0-d7 */
177 AC2, AC2, AC2, AC2, AC2, AC2, AC2, AC2, /* d8-df */
178 AC3, AC3, AC3, AC3, AC3, AC3, AC3, AC3, /* e0-e7 */
179 AC3, AC3, AC3, AC3, AC3, AC3, AC3, AC3, /* e8-ef */
180 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* f0-f7 */
181 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* f8-ff */
183 uchar statec2[256]={ /* looking for 10xxxxxx to complete a rune */
184 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 00-07 */
185 AWDX, ASPX, ASPNX,AWDX, AWDX, AWDX, AWDX, AWDX, /* 08-0f */
186 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 10-17 */
187 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 18-1f */
188 ASPX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 20-27 */
189 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 28-2f */
190 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 30-37 */
191 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 38-3f */
192 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 40-47 */
193 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 48-4f */
194 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 50-57 */
195 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 58-5f */
196 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 60-67 */
197 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 68-6f */
198 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 70-77 */
199 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 78-7f */
200 AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* 80-87 */
201 AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* 88-8f */
202 AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* 90-97 */
203 AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* 98-9f */
204 AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* a0-a7 */
205 AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* a8-af */
206 AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* b0-b7 */
207 AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* b8-bf */
208 AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* c0-c7 */
209 AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* c8-cf */
210 AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* d0-d7 */
211 AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* d8-df */
212 AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, /* e0-e7 */
213 AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, /* e8-ef */
214 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* f0-f7 */
215 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* f8-ff */
217 uchar statec3[256]={ /* looking for 10xxxxxx,10xxxxxx to complete a rune */
218 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 00-07 */
219 AWDX, ASPX, ASPNX,AWDX, AWDX, AWDX, AWDX, AWDX, /* 08-0f */
220 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 10-17 */
221 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 18-1f */
222 ASPX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 20-27 */
223 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 28-2f */
224 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 30-37 */
225 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 38-3f */
226 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 40-47 */
227 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 48-4f */
228 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 50-57 */
229 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 58-5f */
230 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 60-67 */
231 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 68-6f */
232 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 70-77 */
233 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 78-7f */
234 AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* 80-87 */
235 AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* 88-8f */
236 AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* 90-97 */
237 AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* 98-9f */
238 AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* a0-a7 */
239 AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* a8-af */
240 AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* b0-b7 */
241 AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* b8-bf */
242 AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* c0-c7 */
243 AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* c8-cf */
244 AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* d0-d7 */
245 AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* d8-df */
246 AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, /* e0-e7 */
247 AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, /* e8-ef */
248 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* f0-f7 */
249 AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* f8-ff */
252 count(int f, char *name)
257 uchar *state=statesp;
266 n=read(f, buf, NBUF);
270 nrune+=n; /* might be too large, gets decreased later */
274 switch(state[*bufp]){
275 case AC2: state=statec2; break;
276 case AC2R: state=statec2; --nrune; break;
277 case AC2W: state=statec2; nword++; break;
278 case AC2X: state=statec2; nbadr++; break;
279 case AC3: state=statec3; break;
280 case AC3W: state=statec3; nword++; break;
281 case AC3X: state=statec3; nbadr++; break;
282 case ASP: state=statesp; break;
283 case ASPN: state=statesp; nline++; break;
284 case ASPNX: state=statesp; nline++; nbadr++; break;
285 case ASPX: state=statesp; nbadr++; break;
286 case AWD: state=statewd; break;
287 case AWDR: state=statewd; --nrune; break;
288 case AWDW: state=statewd; nword++; break;
289 case AWDWX: state=statewd; nword++; nbadr++; break;
290 case AWDX: state=statewd; nbadr++; break;
292 }while(++bufp!=ebuf);
294 if(state!=statesp && state!=statewd)
298 report(nline, nword, nrune, nbadr, nchar, name);