wc.c 12 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309
  1. /*
  2. * wc -- count things in utf-encoded text files
  3. * Bugs:
  4. * The only white space characters recognized are ' ', '\t' and '\n', even though
  5. * ISO 10646 has many more blanks scattered through it.
  6. * Should count characters that cannot occur in any rune (hex f0-ff) separately.
  7. * Should count non-canonical runes (e.g. hex c1,80 instead of hex 40).
  8. */
  9. #include <u.h>
  10. #include <libc.h>
  11. #define NBUF (8*1024)
  12. uvlong nline, tnline, pline;
  13. uvlong nword, tnword, pword;
  14. uvlong nrune, tnrune, prune;
  15. uvlong nbadr, tnbadr, pbadr;
  16. uvlong nchar, tnchar, pchar;
  17. void count(int, char *);
  18. void report(uvlong, uvlong, uvlong, uvlong, uvlong, char *);
  19. void
  20. main(int argc, char *argv[])
  21. {
  22. char *status="";
  23. int i, f;
  24. ARGBEGIN {
  25. case 'l': pline++; break;
  26. case 'w': pword++; break;
  27. case 'r': prune++; break;
  28. case 'b': pbadr++; break;
  29. case 'c': pchar++; break;
  30. default:
  31. fprint(2, "Usage: %s [-lwrbc] [file ...]\n", argv0);
  32. exits("usage");
  33. } ARGEND
  34. if(pline+pword+prune+pbadr+pchar == 0) {
  35. pline = 1;
  36. pword = 1;
  37. pchar = 1;
  38. }
  39. if(argc==0)
  40. count(0, 0);
  41. else{
  42. for(i=0;i<argc;i++){
  43. f=open(argv[i], OREAD);
  44. if(f<0){
  45. perror(argv[i]);
  46. status="can't open";
  47. }
  48. else{
  49. count(f, argv[i]);
  50. tnline+=nline;
  51. tnword+=nword;
  52. tnrune+=nrune;
  53. tnbadr+=nbadr;
  54. tnchar+=nchar;
  55. close(f);
  56. }
  57. }
  58. if(argc>1)
  59. report(tnline, tnword, tnrune, tnbadr, tnchar, "total");
  60. }
  61. exits(status);
  62. }
  63. void
  64. report(uvlong nline, uvlong nword, uvlong nrune, uvlong nbadr, uvlong nchar, char *fname)
  65. {
  66. char line[1024], word[128];
  67. line[0] = '\0';
  68. if(pline){
  69. sprint(word, " %7llud", nline);
  70. strcat(line, word);
  71. }
  72. if(pword){
  73. sprint(word, " %7llud", nword);
  74. strcat(line, word);
  75. }
  76. if(prune){
  77. sprint(word, " %7llud", nrune);
  78. strcat(line, word);
  79. }
  80. if(pbadr){
  81. sprint(word, " %7llud", nbadr);
  82. strcat(line, word);
  83. }
  84. if(pchar){
  85. sprint(word, " %7llud", nchar);
  86. strcat(line, word);
  87. }
  88. if(fname){
  89. sprint(word, " %s", fname);
  90. strcat(line, word);
  91. }
  92. print("%s\n", line+1);
  93. }
  94. /*
  95. * How it works. Start in statesp. Each time we read a character,
  96. * increment various counts, and do state transitions according to the
  97. * following table. If we're not in statesp or statewd when done, the
  98. * file ends with a partial rune.
  99. * | character
  100. * state |09,20| 0a |00-7f|80-bf|c0-df|e0-ef|f0-ff
  101. * -------+-----+-----+-----+-----+-----+-----+-----
  102. * statesp|ASP |ASPN |AWDW |AWDWX|AC2W |AC3W |AWDWX
  103. * statewd|ASP |ASPN |AWD |AWDX |AC2 |AC3 |AWDX
  104. * statec2|ASPX |ASPNX|AWDX |AWDR |AC2X |AC3X |AWDX
  105. * statec3|ASPX |ASPNX|AWDX |AC2R |AC2X |AC3X |AWDX
  106. */
  107. enum{ /* actions */
  108. AC2, /* enter statec2 */
  109. AC2R, /* enter statec2, don't count a rune */
  110. AC2W, /* enter statec2, count a word */
  111. AC2X, /* enter statec2, count a bad rune */
  112. AC3, /* enter statec3 */
  113. AC3W, /* enter statec3, count a word */
  114. AC3X, /* enter statec3, count a bad rune */
  115. ASP, /* enter statesp */
  116. ASPN, /* enter statesp, count a newline */
  117. ASPNX, /* enter statesp, count a newline, count a bad rune */
  118. ASPX, /* enter statesp, count a bad rune */
  119. AWD, /* enter statewd */
  120. AWDR, /* enter statewd, don't count a rune */
  121. AWDW, /* enter statewd, count a word */
  122. AWDWX, /* enter statewd, count a word, count a bad rune */
  123. AWDX, /* enter statewd, count a bad rune */
  124. };
  125. uchar statesp[256]={ /* looking for the start of a word */
  126. AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 00-07 */
  127. AWDW, ASP, ASPN, AWDW, AWDW, AWDW, AWDW, AWDW, /* 08-0f */
  128. AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 10-17 */
  129. AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 18-1f */
  130. ASP, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 20-27 */
  131. AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 28-2f */
  132. AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 30-37 */
  133. AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 38-3f */
  134. AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 40-47 */
  135. AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 48-4f */
  136. AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 50-57 */
  137. AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 58-5f */
  138. AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 60-67 */
  139. AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 68-6f */
  140. AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 70-77 */
  141. AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, AWDW, /* 78-7f */
  142. AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* 80-87 */
  143. AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* 88-8f */
  144. AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* 90-97 */
  145. AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* 98-9f */
  146. AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* a0-a7 */
  147. AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* a8-af */
  148. AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* b0-b7 */
  149. AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* b8-bf */
  150. AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, /* c0-c7 */
  151. AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, /* c8-cf */
  152. AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, /* d0-d7 */
  153. AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, AC2W, /* d8-df */
  154. AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, /* e0-e7 */
  155. AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, AC3W, /* e8-ef */
  156. AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* f0-f7 */
  157. AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,AWDWX,/* f8-ff */
  158. };
  159. uchar statewd[256]={ /* looking for the next character in a word */
  160. AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 00-07 */
  161. AWD, ASP, ASPN, AWD, AWD, AWD, AWD, AWD, /* 08-0f */
  162. AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 10-17 */
  163. AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 18-1f */
  164. ASP, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 20-27 */
  165. AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 28-2f */
  166. AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 30-37 */
  167. AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 38-3f */
  168. AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 40-47 */
  169. AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 48-4f */
  170. AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 50-57 */
  171. AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 58-5f */
  172. AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 60-67 */
  173. AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 68-6f */
  174. AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 70-77 */
  175. AWD, AWD, AWD, AWD, AWD, AWD, AWD, AWD, /* 78-7f */
  176. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 80-87 */
  177. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 88-8f */
  178. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 90-97 */
  179. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 98-9f */
  180. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* a0-a7 */
  181. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* a8-af */
  182. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* b0-b7 */
  183. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* b8-bf */
  184. AC2, AC2, AC2, AC2, AC2, AC2, AC2, AC2, /* c0-c7 */
  185. AC2, AC2, AC2, AC2, AC2, AC2, AC2, AC2, /* c8-cf */
  186. AC2, AC2, AC2, AC2, AC2, AC2, AC2, AC2, /* d0-d7 */
  187. AC2, AC2, AC2, AC2, AC2, AC2, AC2, AC2, /* d8-df */
  188. AC3, AC3, AC3, AC3, AC3, AC3, AC3, AC3, /* e0-e7 */
  189. AC3, AC3, AC3, AC3, AC3, AC3, AC3, AC3, /* e8-ef */
  190. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* f0-f7 */
  191. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* f8-ff */
  192. };
  193. uchar statec2[256]={ /* looking for 10xxxxxx to complete a rune */
  194. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 00-07 */
  195. AWDX, ASPX, ASPNX,AWDX, AWDX, AWDX, AWDX, AWDX, /* 08-0f */
  196. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 10-17 */
  197. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 18-1f */
  198. ASPX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 20-27 */
  199. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 28-2f */
  200. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 30-37 */
  201. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 38-3f */
  202. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 40-47 */
  203. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 48-4f */
  204. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 50-57 */
  205. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 58-5f */
  206. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 60-67 */
  207. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 68-6f */
  208. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 70-77 */
  209. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 78-7f */
  210. AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* 80-87 */
  211. AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* 88-8f */
  212. AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* 90-97 */
  213. AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* 98-9f */
  214. AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* a0-a7 */
  215. AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* a8-af */
  216. AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* b0-b7 */
  217. AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, AWDR, /* b8-bf */
  218. AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* c0-c7 */
  219. AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* c8-cf */
  220. AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* d0-d7 */
  221. AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* d8-df */
  222. AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, /* e0-e7 */
  223. AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, /* e8-ef */
  224. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* f0-f7 */
  225. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* f8-ff */
  226. };
  227. uchar statec3[256]={ /* looking for 10xxxxxx,10xxxxxx to complete a rune */
  228. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 00-07 */
  229. AWDX, ASPX, ASPNX,AWDX, AWDX, AWDX, AWDX, AWDX, /* 08-0f */
  230. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 10-17 */
  231. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 18-1f */
  232. ASPX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 20-27 */
  233. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 28-2f */
  234. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 30-37 */
  235. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 38-3f */
  236. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 40-47 */
  237. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 48-4f */
  238. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 50-57 */
  239. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 58-5f */
  240. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 60-67 */
  241. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 68-6f */
  242. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 70-77 */
  243. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* 78-7f */
  244. AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* 80-87 */
  245. AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* 88-8f */
  246. AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* 90-97 */
  247. AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* 98-9f */
  248. AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* a0-a7 */
  249. AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* a8-af */
  250. AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* b0-b7 */
  251. AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, AC2R, /* b8-bf */
  252. AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* c0-c7 */
  253. AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* c8-cf */
  254. AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* d0-d7 */
  255. AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, AC2X, /* d8-df */
  256. AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, /* e0-e7 */
  257. AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, AC3X, /* e8-ef */
  258. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* f0-f7 */
  259. AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, AWDX, /* f8-ff */
  260. };
  261. void
  262. count(int f, char *name)
  263. {
  264. int n;
  265. uchar buf[NBUF];
  266. uchar *bufp, *ebuf;
  267. uchar *state=statesp;
  268. nline = 0;
  269. nword = 0;
  270. nrune = 0;
  271. nbadr = 0;
  272. nchar = 0;
  273. for(;;){
  274. n=read(f, buf, NBUF);
  275. if(n<=0)
  276. break;
  277. nchar+=n;
  278. nrune+=n; /* might be too large, gets decreased later */
  279. bufp=buf;
  280. ebuf=buf+n;
  281. do{
  282. switch(state[*bufp]){
  283. case AC2: state=statec2; break;
  284. case AC2R: state=statec2; --nrune; break;
  285. case AC2W: state=statec2; nword++; break;
  286. case AC2X: state=statec2; nbadr++; break;
  287. case AC3: state=statec3; break;
  288. case AC3W: state=statec3; nword++; break;
  289. case AC3X: state=statec3; nbadr++; break;
  290. case ASP: state=statesp; break;
  291. case ASPN: state=statesp; nline++; break;
  292. case ASPNX: state=statesp; nline++; nbadr++; break;
  293. case ASPX: state=statesp; nbadr++; break;
  294. case AWD: state=statewd; break;
  295. case AWDR: state=statewd; --nrune; break;
  296. case AWDW: state=statewd; nword++; break;
  297. case AWDWX: state=statewd; nword++; nbadr++; break;
  298. case AWDX: state=statewd; nbadr++; break;
  299. }
  300. }while(++bufp!=ebuf);
  301. }
  302. if(state!=statesp && state!=statewd)
  303. nbadr++;
  304. if(n<0)
  305. perror(name);
  306. report(nline, nword, nrune, nbadr, nchar, name);
  307. }