|
6
|
1 Das Werkzeugkaestle, #1
|
|
0
|
2
|
|
6
|
3 cut - cut out selected fields of each line of a file
|
|
|
4 ----------------------------------------------------
|
|
|
5 markus schnalke <meillo@marmaro.de>
|
|
|
6 2015-05
|
|
0
|
7
|
|
|
8
|
|
1
|
9 Cut ist ein klassisches Programm im Unix-Werkzeugkasten.
|
|
0
|
10 In keinem ordentlichen Tutorial zur Shellprogrammierung darf
|
|
|
11 es fehlen. Es ist ein schoenes Anschauungs- und Beispielobjekt
|
|
4
|
12 fuer's Shellscripting. Hier will ich ein wenig hinter die
|
|
|
13 Fassade schauen.
|
|
0
|
14
|
|
|
15
|
|
4
|
16 Funktionsweise
|
|
|
17
|
|
|
18 Die Funktionsbasis von cut waren urspruenglich zwei Modi, die
|
|
|
19 spaeter um einen dritten erweitert wurden. Cut schneidet
|
|
|
20 entweder bestimmte Zeichen aus den Zeilen der Eingabe oder
|
|
0
|
21 bestimmte durch Trennzeichen definierte Felder.
|
|
|
22
|
|
4
|
23 Der Zeichenmodus ist geeignet um Ausschnitte aus
|
|
|
24 Festbreitenformaten zu extrahieren. So kann man damit
|
|
|
25 beispielsweise bestimmte Zugriffsrechte aus der Ausgabe von
|
|
|
26 `ls -l' ausschneiden. Hier die Rechte des Besitzers:
|
|
0
|
27
|
|
4
|
28 $ ls -l foo | cut -c 2-4
|
|
|
29 rw-
|
|
0
|
30
|
|
4
|
31 Oder die Schreibrechte des Besitzers, der Gruppe und der
|
|
|
32 Welt:
|
|
0
|
33
|
|
4
|
34 $ ls -l | cut -c 3,6,9
|
|
|
35 ww-
|
|
0
|
36
|
|
4
|
37 Mit cut lassen sich aber auch Strings kuerzen.
|
|
0
|
38
|
|
6
|
39 $ echo "$long" | cut -c -20
|
|
0
|
40
|
|
4
|
41 Dieser Befehl gibt die ersten maximal 20 Zeichen (jeder
|
|
|
42 Zeile) von `$long' aus.
|
|
0
|
43
|
|
4
|
44 Geht es aber nicht um die Darstellung von Zeichen, sondern um
|
|
|
45 ihre Speicherung, dann ist `-c' nicht unbedingt die passende
|
|
|
46 Option. Frueher, als US-ASCII als Zeichensatz und -kodierung
|
|
|
47 noch omnipraesent war, wurde jedes Zeichen mit genau einem
|
|
|
48 Byte gespeichert. Somit selektierte `cut -c' gleichermassen
|
|
|
49 sowohl Ausgabezeichen als auch Bytes. Mit dem Aufkommen von
|
|
|
50 Multibyte-Kodierungen (wie UTF-8) musste man sich jedoch von
|
|
|
51 dieser Annahme loesen. In diesem Zug bekam cut mit
|
|
|
52 POSIX.2-1992 die Option `-b'. Diese selektiert Bytes. Will man
|
|
|
53 also nur die ersten maximal 500 Bytes vor dem
|
|
0
|
54 Newline-Zeichen stehen haben (und den Rest stillschweigend
|
|
|
55 ignorieren), dann macht man das mit:
|
|
|
56
|
|
6
|
57 $ cut -b -500
|
|
0
|
58
|
|
4
|
59 Den Rest kann man sich mit `cut -b 501-' einfangen. Diese
|
|
|
60 Funktion ist insbesondere fuer POSIX wichtig, da so sicher
|
|
|
61 gestellt werden kann, dass Textdateien keine beliebig
|
|
|
62 langen Zeilen haben.
|
|
|
63 [ http://pubs.opengroup.org/onlinepubs/9699919799/utilities/cut.html#tag_20_28_17
|
|
0
|
64
|
|
|
65 Neben dem Zeichen- bzw. Byte-Modus bietet cut noch den
|
|
|
66 interessanteren Feld-Modus, den man mit `-f' einleitet. Mit ihm
|
|
4
|
67 koennen Felder ausgewaehlt werden. Das Trennzeichen (per
|
|
|
68 Default der Tab) kann mit `-d' geaendert werden.
|
|
0
|
69
|
|
|
70 Der typische Anwendungsfall fuer den Feld-Modus. Ist die
|
|
|
71 Extraktion von Information aus der passwd-Datei. So z.B. der
|
|
|
72 Username, die User-ID und das Homeverzeichnis:
|
|
|
73
|
|
6
|
74 $ cut -d: -f1,3,6 /etc/passwd
|
|
0
|
75
|
|
|
76 (Die Argumente fuer die Optionen koennen bei cut uebrigens
|
|
|
77 direkt angehaengt oder mit Whitespace abgetrennt folgen.)
|
|
|
78
|
|
|
79
|
|
4
|
80 Dieser Feld-Modus ist fuer einfache tabellarische Dateien,
|
|
|
81 wie eben die passwd, gut geeignet. Er kommt aber schnell an
|
|
0
|
82 seine Grenzen. Gerade der uebliche Fall, dass an Whitespace
|
|
|
83 in Felder geteilt werden soll, wird damit nicht abgedeckt.
|
|
|
84 Der Delimiter kann nur genau ein Zeichen sein. Es kann also
|
|
|
85 nicht sowohl an Leerzeichen als auch an Tabs getrennt werden.
|
|
|
86 Auch unterteilt cut an jedem Trennzeichen. Zwei aneinander
|
|
4
|
87 stehende Trennzeichen fuehren zu einem leeren Feld. Dieses
|
|
|
88 Verhalten widerspricht den Erwartungen fuer eine Datei mit
|
|
|
89 Whitespace-getrennten Feldern. (Manche Implementierungen von
|
|
|
90 cut, z.B. die von FreeBSD, haben deshalb Erweiterungen, die
|
|
|
91 das gewuenschte Verhalten fuer Whitespace-getrennte Felder
|
|
|
92 bieten.) Ansonsten, d.h. wenn man portabel bleiben will,
|
|
|
93 hilft awk.
|
|
0
|
94
|
|
4
|
95 Awk bietet noch eine weitere Funktion, die cut missen
|
|
|
96 laesst: Das Tauschen der Felder-Reihenfolge. Bei cut ist die
|
|
|
97 Reihenfolge der Feldauswahl irrelevant; ein Feld kann selbst
|
|
|
98 mehrfach angegeben werden. Der Aufruf von `cut -c 5-8,1,4-6'
|
|
|
99 gibt z.B. die Zeichen Nummer 1, 4, 5, 6, 7 und 8 aus. Die
|
|
|
100 Auswahl aehnelt damit der Mengenlehre in der Mathematik:
|
|
|
101 Jedes angegebene Feld soll in der Ergebnismenge sein. Die
|
|
|
102 Felder der Ergebnismenge werden dabei immer in der gleichen
|
|
|
103 Reihenfolge ausgegeben wie sie in der Eingabe waren.
|
|
0
|
104
|
|
|
105
|
|
7
|
106
|
|
|
107 cut(1) in Version 8 Unix
|
|
|
108 ``In data base parlance, it projects a relation.''
|
|
|
109
|
|
|
110 WP:
|
|
|
111 http://de.wikipedia.org/wiki/Projektion_(Informatik)#Projektion
|
|
|
112
|
|
|
113 Die Projektion entspricht der Projektionsabbildung aus der
|
|
|
114 Mengenlehre und kann auch Attributbeschränkung genannt
|
|
|
115 werden. Sie extrahiert einzelne Attribute aus der
|
|
|
116 ursprünglichen Attributmenge und ist somit als eine Art
|
|
|
117 Selektion auf Spaltenebene zu verstehen, das heißt, die
|
|
|
118 Projektion blendet Spalten aus.
|
|
|
119
|
|
|
120
|
|
|
121
|
|
|
122
|
|
0
|
123 Geschichtliches
|
|
|
124
|
|
4
|
125 Cut erblickte 1982 mit dem Release von UNIX System III das
|
|
|
126 Licht der oeffentlichen Welt. Wenn man die Quellen von System
|
|
|
127 III durchforstet, findet man die Quellcodedatei cut.c mit dem
|
|
|
128 Zeitstempel 1980-04-11.
|
|
1
|
129 [ http://minnie.tuhs.org/cgi-bin/utree.pl?file=SysIII/usr/src/cmd
|
|
4
|
130 Das ist die aelteste Manifestation des Programms, die ich
|
|
|
131 aufstoebern konnte.
|
|
0
|
132
|
|
1
|
133 Aber werfen wir doch einen Blick auf die BSD-Linie: Dort ist mein
|
|
|
134 fruehester Fund ein cut.c mit dem Datum 1986-11-07 im Code der
|
|
6
|
135 Spezialversion 4.3BSD-UWisc,
|
|
|
136 [ http://gunkies.org/wiki/4.3_BSD_NFS_Wisconsin_Unix
|
|
|
137 die im Januar 1987 veroeffentlicht wurde.
|
|
1
|
138 [ http://minnie.tuhs.org/cgi-bin/utree.pl?file=4.3BSD-UWisc/src/usr.bin/cut
|
|
4
|
139 Die Datei unterscheidet sich nur minimal von der aus System III.
|
|
|
140 Im bekannteren 4.3BSD-Tahoe (1988) taucht cut aber nicht auf.
|
|
|
141 Im darauf folgenden 4.3BSD-Reno (1990) gibt es wiederum ein
|
|
|
142 cut ... ein von Adam S. Moskowitz und Marciano Pitargue neu
|
|
|
143 implementiertes cut, das 1989 in BSD aufgenommen wurde.
|
|
1
|
144 [ http://minnie.tuhs.org/cgi-bin/utree.pl?file=4.3BSD-Reno/src/usr.bin/cut
|
|
4
|
145 Seine Manpage
|
|
1
|
146 [ http://minnie.tuhs.org/cgi-bin/utree.pl?file=4.3BSD-Reno/src/usr.bin/cut/cut.1
|
|
4
|
147 erwaehnt bereits die erwartete Konformitaet mit POSIX.2.
|
|
|
148 Nun sollte man wissen, dass POSIX.2 erst im September
|
|
|
149 1992 veroeffentlicht wurde, gut zwei Jahren *nachdem* die
|
|
|
150 Manpage und das Programm geschrieben wurden. Dieses cut
|
|
|
151 wurde also anhand von Entwuerfen des Standards
|
|
|
152 implementiert. Zweieinhalb Jahre Arbeit war immerhin schon in
|
|
|
153 den Standardisierungsprozess geflossen; bis zur
|
|
|
154 Fertigstellung sollte es noch weitere zwei Jahre dauern.
|
|
0
|
155
|
|
1
|
156 Trotz all dieser Jahreszahlen aus den 80er Jahren gehoert cut
|
|
|
157 aus Sicht des urspruenglichen Unix zu den juengeren Tools.
|
|
|
158 Wenn cut auch ein Jahrzehnt aelter als Linux, der Kernel, ist,
|
|
4
|
159 so war Unix doch schon ueber zehn Jahre alt, als cut das
|
|
|
160 erste Mal auftauchte. Insbesondere gehoerte cut noch nicht
|
|
|
161 zu Version 7 Unix, das die Ausgangsbasis aller modernen
|
|
|
162 Unix-Systeme darstellt. Die weit komplexeren Programme sed
|
|
|
163 und awk waren dort schon vertreten. Man muss sich also
|
|
|
164 fragen, warum cut ueberhaupt noch entwickelt wurde, wo es
|
|
|
165 schon zwei Programme gab, die die Aufgabe von cut bereits
|
|
|
166 abdeckten. Ein Argument fuer cut ist seine Kompaktheit und
|
|
|
167 die damit verbundene Geschwindigkeit gegenueber dem damals
|
|
|
168 traegen awk. Diese schlanke Gestalt ist es auch, die der Unix
|
|
|
169 Philosopie entspricht: Mache eine Aufgabe und die richtig!
|
|
|
170 So bewaehrte sich cut. Es wurde in andere Unix Varianten
|
|
|
171 uebernommen, standardisiert und ist heutzutage ueberall
|
|
1
|
172 anzutreffen.
|
|
|
173
|
|
5
|
174 Die urspruengliche Variante (ohne -b) taucht schon 1985 in
|
|
|
175 der System V Interface Definition, einer wichtigen formalen
|
|
|
176 Beschreibung von UNIX System V, und in allen relevanten
|
|
|
177 Standards seither auf. Mit POSIX.2 im Jahre 1992 wurde cut
|
|
|
178 zum ersten Mal in der heutigen Form (mit -b) standardisiert.
|
|
2
|
179
|
|
|
180
|
|
|
181 Beschreibungen
|
|
|
182
|
|
|
183 Interessant ist ein Vergleich der Kurzbeschreibungen von cut,
|
|
3
|
184 wie sie sich in der Titelzeile von Manpages oder manchmal auch
|
|
5
|
185 am Anfang der Quellcodedatei finden.
|
|
2
|
186
|
|
5
|
187 Die folgende Liste ist grob nach Zeit geordnet und nach
|
|
|
188 Abstammung gruppiert:
|
|
3
|
189
|
|
|
190
|
|
2
|
191 System III cut out selected fields of each line of a file
|
|
3
|
192 System III (src) cut and paste columns of a table (projection of a relation)
|
|
2
|
193 System V cut out selected fields of each line of a file
|
|
|
194 HP-UX cut out (extract) selected fields of each line of a file
|
|
|
195
|
|
3
|
196 4.3BSD-UWisc (src) cut and paste columns of a table (projection of a relation)
|
|
2
|
197 4.3BSD-Reno select portions of each line of a file
|
|
|
198 NetBSD select portions of each line of a file
|
|
7
|
199 OpenBSD 4.6 select portions of each line of a file
|
|
2
|
200 FreeBSD 1.0 select portions of each line of a file
|
|
3
|
201 FreeBSD 7.0 cut out selected portions of each line of a file
|
|
2
|
202 SunOS 4.1.3 remove selected fields from each line of a file
|
|
|
203 SunOS 5.5.1 cut out selected fields of each line of a file
|
|
|
204
|
|
|
205 POSIX cut out selected fields of each line of a file
|
|
|
206
|
|
|
207 GNU coreutils remove sections from each line of files
|
|
|
208
|
|
|
209 Minix select out columns of a file
|
|
|
210
|
|
|
211 Version 8 Unix rearrange columns of data
|
|
|
212 ``Unix Reader'' rearrange columns of text
|
|
1
|
213
|
|
|
214
|
|
5
|
215 Die zwei mit ``(src)'' markierten Beschreibungen sind aus
|
|
|
216 dem Quellcode entnommen, und verdeutlichen den Codetransfer.
|
|
|
217 POSIX ist ein Set von Standards, keine Implementierung. Der
|
|
|
218 ``Unix Reader'' ist ein rueckblickendes Textdokument von
|
|
|
219 Doug McIlroy, das das Auftreten von Tools in der Geschichte
|
|
|
220 des Research Unix zum Thema hat. Alle uebrigen Beschreibungen
|
|
|
221 entstammen den Manpages.
|
|
|
222
|
|
|
223 Zumeist ist mit der Zeit die POSIX-Beschreibung uebernommen
|
|
|
224 worden, wie beispielsweise bei FreeBSD zu sehen.
|
|
|
225 [ https://svnweb.freebsd.org/base?view=revision&revision=167101
|
|
|
226
|
|
7
|
227 Interessant ist, dass die GNU coreutils seit Anbeginn vom
|
|
5
|
228 Entfernen von Teilen der Eingabe sprechen, wohingegen die
|
|
|
229 Kommandozeilenangabe klar ein Auswaehlen darstellt. Die
|
|
|
230 Worte ``cut out'' sind vielleicht auch nicht klar genug.
|
|
|
231 HP-UX hat sie deshalb praezisiert.
|
|
|
232
|
|
|
233 Auch beim Begriff, was denn nun selektiert wird, ist man sich
|
|
|
234 uneins. Die einen reden von Feldern (POSIX), andere von
|
|
|
235 Abschnitten bzw. Teilen (BSD) und wieder andere von Spalten
|
|
|
236 (Research Unix). Ironischerweise leistet sich gerade Version
|
|
|
237 8 Unix, das eigentlich um eine sehr treffende Weltsicht
|
|
|
238 bemueht ist, mit ``rearrange columns of data'' die
|
|
|
239 unzutreffendste der Beschreibungen.
|
|
|
240
|
|
|
241
|
|
1
|
242
|
|
3
|
243 Codevergleich
|
|
2
|
244
|
|
7
|
245 Nun zum Blick auf den Code. Hier soll eine Auswahl an
|
|
|
246 Implementierungen etwas genauer betrachtet werden. Fuer einen
|
|
|
247 ersten Eindruck ist der Umfang des Quellcodes hilfreich.
|
|
|
248 Typischerweise steigt dieser ueber die Jahre an. Diese
|
|
|
249 Beobachtung kann hier in der Tendenz aber nicht in jedem Fall
|
|
|
250 bestaetigt werden. Die Unterstuetzung des Byte-Modus (-b)
|
|
|
251 erfordert zwangslaeufig mehr Code, deshalb ist zu erwarten,
|
|
|
252 dass
|
|
|
253
|
|
|
254 -b pseudo: openbsd, netbsd.2014, gnu*
|
|
|
255 -b real: freebsd.2014
|
|
|
256
|
|
|
257 :-& echo '123ä56' | cut -c -6 | od -c
|
|
|
258 0000000 1 2 3 303 244 5 \n
|
|
|
259 0000007
|
|
|
260
|
|
|
261 :-& echo '123ä56' | cut -b -6 | od -c
|
|
|
262 0000000 1 2 3 303 244 5 \n
|
|
|
263 0000007
|
|
2
|
264
|
|
|
265
|
|
7
|
266 $ wc -lc cut.c* | sort -n
|
|
6
|
267 123 2966 cut.c__system_iii.1980-04-11
|
|
|
268 125 3038 cut.c__4.3bsd-uwisc.1986-11-07
|
|
|
269 256 5715 cut.c__4.3bsd-reno.1990-06-25
|
|
|
270 270 6545 cut.c__netbsd.1993-03-21
|
|
7
|
271 290 6892 cut.c__openbsd.2008-06-27 *
|
|
6
|
272 296 6920 cut.c__freebsd.1994-05-27
|
|
|
273 306 7500 cut.c__netbsd.2014-02-03 *
|
|
|
274 479 10961 cut.c__freebsd.2012-11-24 *
|
|
|
275 586 14175 cut.c__gnu.1992-11-08 *
|
|
|
276 830 23167 cut.c__gnu.2015-05-01 *
|
|
|
277 3271 80987 total
|
|
|
278
|
|
7
|
279 $ c_count cut.c* | sort -n
|
|
6
|
280 Total:
|
|
|
281 116 cut.c__system_iii.1980-04-11
|
|
|
282 118 cut.c__4.3bsd-uwisc.1986-11-07
|
|
|
283 200 cut.c__4.3bsd-reno.1990-06-25
|
|
|
284 200 cut.c__netbsd.1993-03-21
|
|
7
|
285 218 cut.c__openbsd.2008-06-27 *
|
|
6
|
286 224 cut.c__freebsd.1994-05-27
|
|
|
287 232 cut.c__netbsd.2014-02-03 *
|
|
|
288 382 cut.c__gnu.1992-11-08 *
|
|
|
289 391 cut.c__freebsd.2012-11-24 *
|
|
|
290 588 cut.c__gnu.2015-05-01 *
|
|
|
291 2451
|
|
|
292
|
|
|
293 (* == version hat -b)
|
|
|
294
|
|
|
295
|
|
5
|
296
|
|
7
|
297 system_iii.1980-04-11 Release 1.5
|
|
5
|
298
|
|
7
|
299 SCCSIDs:
|
|
|
300
|
|
|
301 4.3bsd-uwisc.1986-11-07 "@(#)cut.c 1.3";
|
|
|
302 4.3bsd-reno.1990-06-25 "@(#)cut.c 5.3 (Berkeley) 6/24/90";
|
|
|
303 netbsd.1993-03-21 "@(#)cut.c 5.4 (Berkeley) 10/30/90";
|
|
|
304 freebsd.1994-05-27 "@(#)cut.c 8.1 (Berkeley) 6/6/93";
|
|
|
305
|
|
|
306 freebsd.2012-11-24 "@(#)cut.c 8.3 (Berkeley) 5/4/95";
|
|
|
307 netbsd.2014-02-03 "@(#)cut.c 8.3 (Berkeley) 5/4/95";
|
|
|
308
|
|
|
309 openbsd.2008-06-27 "@(#)cut.c 8.3 (Berkeley) 5/4/95";
|
|
|
310 "$OpenBSD: cut.c,v 1.13 2008/06/27 08:02:13 sobrado Exp $";
|
|
|
311
|
|
|
312 GNU
|
|
|
313 Copyright (C) 1997-2015 Free Software Foundation, Inc.
|
|
|
314 Copyright (C) 1984 David M. Ihnat
|
|
|
315 /* Written by David Ihnat. */
|
|
|
316
|
|
|
317 /* POSIX changes, bug fixes, long-named options, and cleanup
|
|
|
318 by David MacKenzie <djm@gnu.ai.mit.edu>.
|
|
|
319
|
|
|
320 Rewrite cut_fields and cut_bytes -- Jim Meyering. */
|
|
|
321
|
|
|
322 1992-11-08
|
|
|
323 Jim Meyering
|
|
|
324
|
|
|
325
|
|
|
326
|
|
6
|
327
|
|
|
328
|
|
|
329
|
|
|
330 Autoreninfo
|
|
|
331
|
|
|
332 Markus Schnalke interessiert sich fuer die Hintergruende
|
|
|
333 von Unix und seinen Werkzeugen. Fuer die Erarbeitung dieses
|
|
|
334 Textes wurde er regelrecht zum Historiker.
|
|
|
335
|
|
|
336
|
|
|
337 Lizenz
|
|
|
338 CC0 (und kann damit auch unter CC BY-SA 4.0 Unported
|
|
|
339 veroeffentlicht werden)
|
