| rev |
line source |
|
meillo@6
|
1 Das Werkzeugkaestle, #1
|
|
meillo@0
|
2
|
|
meillo@6
|
3 cut - cut out selected fields of each line of a file
|
|
meillo@6
|
4 ----------------------------------------------------
|
|
meillo@6
|
5 markus schnalke <meillo@marmaro.de>
|
|
meillo@6
|
6 2015-05
|
|
meillo@0
|
7
|
|
meillo@0
|
8
|
|
meillo@1
|
9 Cut ist ein klassisches Programm im Unix-Werkzeugkasten.
|
|
meillo@8
|
10 In keinem ordentlichen Tutorial zur Shellprogrammierung fehlt
|
|
meillo@9
|
11 es, denn es ist ein schoenes, praktisches und anschauliches
|
|
meillo@9
|
12 Helferlein. Hier soll ein wenig hinter seine Fassade geschaut
|
|
meillo@9
|
13 werden.
|
|
meillo@0
|
14
|
|
meillo@0
|
15
|
|
meillo@4
|
16 Funktionsweise
|
|
meillo@4
|
17
|
|
meillo@8
|
18 Urspruenglich hatte cut zwei Modi, die spaeter um einen dritten
|
|
meillo@9
|
19 erweitert wurden. Cut schneidet entweder gewuenschte Zeichen aus
|
|
meillo@9
|
20 den Zeilen der Eingabe oder gewuenschte, durch Trennzeichen
|
|
meillo@8
|
21 definierte, Felder.
|
|
meillo@0
|
22
|
|
meillo@9
|
23 Der Zeichenmodus ist optimal geeignet um Festbreitenformate zu
|
|
meillo@8
|
24 zerteilen. So kann man damit beispielsweise bestimmte
|
|
meillo@9
|
25 Zugriffsrechte aus der Ausgabe von `ls -l' ausschneiden, in
|
|
meillo@9
|
26 diesem Beispiel die Rechte des Besitzers:
|
|
meillo@0
|
27
|
|
meillo@4
|
28 $ ls -l foo | cut -c 2-4
|
|
meillo@4
|
29 rw-
|
|
meillo@0
|
30
|
|
meillo@4
|
31 Oder die Schreibrechte des Besitzers, der Gruppe und der
|
|
meillo@4
|
32 Welt:
|
|
meillo@0
|
33
|
|
meillo@4
|
34 $ ls -l | cut -c 3,6,9
|
|
meillo@4
|
35 ww-
|
|
meillo@0
|
36
|
|
meillo@4
|
37 Mit cut lassen sich aber auch Strings kuerzen.
|
|
meillo@0
|
38
|
|
meillo@10
|
39 $ long=12345678901234567890
|
|
meillo@10
|
40 $ echo "$long" | cut -c -10
|
|
meillo@10
|
41 1234567890
|
|
meillo@0
|
42
|
|
meillo@10
|
43 Dieser Befehl gibt die ersten maximal 10 Zeichen von
|
|
meillo@8
|
44 `$long' aus. (Alternativ kann man hierfuer auch `printf
|
|
meillo@10
|
45 "%.10s\n" "$long"' verwenden.)
|
|
meillo@0
|
46
|
|
meillo@4
|
47 Geht es aber nicht um die Darstellung von Zeichen, sondern um
|
|
meillo@8
|
48 ihre Speicherung, dann ist `-c' nicht unbedingt geeignet.
|
|
meillo@8
|
49 Frueher, als US-ASCII als Zeichensatz und -kodierung
|
|
meillo@4
|
50 noch omnipraesent war, wurde jedes Zeichen mit genau einem
|
|
meillo@4
|
51 Byte gespeichert. Somit selektierte `cut -c' gleichermassen
|
|
meillo@4
|
52 sowohl Ausgabezeichen als auch Bytes. Mit dem Aufkommen von
|
|
meillo@4
|
53 Multibyte-Kodierungen (wie UTF-8) musste man sich jedoch von
|
|
meillo@4
|
54 dieser Annahme loesen. In diesem Zug bekam cut mit
|
|
meillo@9
|
55 POSIX.2-1992 einen Bytemodus (Option `-b'). Will man
|
|
meillo@4
|
56 also nur die ersten maximal 500 Bytes vor dem
|
|
meillo@0
|
57 Newline-Zeichen stehen haben (und den Rest stillschweigend
|
|
meillo@0
|
58 ignorieren), dann macht man das mit:
|
|
meillo@0
|
59
|
|
meillo@6
|
60 $ cut -b -500
|
|
meillo@0
|
61
|
|
meillo@4
|
62 Den Rest kann man sich mit `cut -b 501-' einfangen. Diese
|
|
meillo@8
|
63 Funktion ist insbesondere fuer POSIX wichtig, da man so
|
|
meillo@8
|
64 Textdateien mit begrenzter Zeilenlaenge erzeugen kann.
|
|
meillo@4
|
65 [ http://pubs.opengroup.org/onlinepubs/9699919799/utilities/cut.html#tag_20_28_17
|
|
meillo@0
|
66
|
|
meillo@10
|
67 Auch wenn der Bytemodus neu eingefuehrt wurde, so sollte er
|
|
meillo@10
|
68 sich doch nur so verhalten wie der alte Zeichenmodus normalerweise
|
|
meillo@10
|
69 implementiert war. Beim Zeichenmodus aber wurde durch POSIX.2
|
|
meillo@10
|
70 eine andere Implementierungsweise gefordert. Das Problem war
|
|
meillo@10
|
71 also nicht, den neuen Bytemodus zu implementieren, sondern
|
|
meillo@10
|
72 den Zeichenmodus neu zu implementieren.
|
|
meillo@10
|
73
|
|
meillo@10
|
74 Neben dem Zeichen- und Byte-Modus bietet cut noch den
|
|
meillo@8
|
75 Feld-Modus, den man mit `-f' einleitet. Mit ihm
|
|
meillo@4
|
76 koennen Felder ausgewaehlt werden. Das Trennzeichen (per
|
|
meillo@4
|
77 Default der Tab) kann mit `-d' geaendert werden.
|
|
meillo@0
|
78
|
|
meillo@8
|
79 Der typische Anwendungsfall fuer cut im Feld-Modus ist die
|
|
meillo@8
|
80 Auswahl von Information aus der passwd-Datei. So z.B. der
|
|
meillo@10
|
81 Benutzername, seine ID und das Homeverzeichnis:
|
|
meillo@0
|
82
|
|
meillo@6
|
83 $ cut -d: -f1,3,6 /etc/passwd
|
|
meillo@9
|
84 root:0:/root
|
|
meillo@9
|
85 bin:1:/bin
|
|
meillo@9
|
86 daemon:2:/sbin
|
|
meillo@9
|
87 mail:8:/var/spool/mail
|
|
meillo@9
|
88 ...
|
|
meillo@0
|
89
|
|
meillo@0
|
90 (Die Argumente fuer die Optionen koennen bei cut uebrigens
|
|
meillo@8
|
91 mit Whitespace abgetrennt oder direkt angehaengt folgen.)
|
|
meillo@0
|
92
|
|
meillo@4
|
93 Dieser Feld-Modus ist fuer einfache tabellarische Dateien,
|
|
meillo@4
|
94 wie eben die passwd, gut geeignet. Er kommt aber schnell an
|
|
meillo@9
|
95 seine Grenzen. Gerade der haeufige Fall, dass an Whitespace
|
|
meillo@0
|
96 in Felder geteilt werden soll, wird damit nicht abgedeckt.
|
|
meillo@0
|
97 Der Delimiter kann nur genau ein Zeichen sein. Es kann also
|
|
meillo@0
|
98 nicht sowohl an Leerzeichen als auch an Tabs getrennt werden.
|
|
meillo@0
|
99 Auch unterteilt cut an jedem Trennzeichen. Zwei aneinander
|
|
meillo@4
|
100 stehende Trennzeichen fuehren zu einem leeren Feld. Dieses
|
|
meillo@8
|
101 Verhalten widerspricht den Erwartungen, die man an die
|
|
meillo@8
|
102 Verarbeitung einer Datei mit Whitespace-getrennten Feldern
|
|
meillo@8
|
103 hat. Manche Implementierungen von cut, z.B. die von FreeBSD,
|
|
meillo@9
|
104 haben aber Erweiterungen, die das gewuenschte Verhalten fuer
|
|
meillo@8
|
105 Whitespace-getrennte Felder bieten. Ansonsten, d.h. wenn
|
|
meillo@9
|
106 man portabel bleiben will, verwendet man awk in diesen
|
|
meillo@9
|
107 Faellen.
|
|
meillo@0
|
108
|
|
meillo@4
|
109 Awk bietet noch eine weitere Funktion, die cut missen
|
|
meillo@8
|
110 laesst: Das Tauschen der Feld-Reihenfolge in der Ausgabe. Bei
|
|
meillo@8
|
111 cut ist die Reihenfolge der Feldauswahlangabe irrelevant; ein
|
|
meillo@12
|
112 Feld kann selbst mehrfach angegeben werden.
|
|
meillo@12
|
113
|
|
meillo@12
|
114 XXX 4.3BSD-Reno + *BSDs
|
|
meillo@12
|
115 * This parser is less restrictive than the Draft 9 POSIX spec.
|
|
meillo@12
|
116 * POSIX doesn't allow lists that aren't in increasing order or
|
|
meillo@12
|
117 * overlapping lists. We also handle "-3-5" although there's no
|
|
meillo@12
|
118 * real reason too.
|
|
meillo@12
|
119
|
|
meillo@12
|
120 So gibt der Aufruf
|
|
meillo@8
|
121 von `cut -c 5-8,1,4-6' die Zeichen Nummer 1, 4, 5, 6, 7 und 8
|
|
meillo@8
|
122 in genau dieser Reihenfolge aus. Die Auswahl entspricht damit
|
|
meillo@8
|
123 der Mengenlehre in der Mathematik: Jedes angegebene Feld wird
|
|
meillo@9
|
124 Teil der Ergebnismenge. Die Felder der Ergebnismenge sind
|
|
meillo@9
|
125 dabei immer gleich geordnet wie in der Eingabe. Um die Worte
|
|
meillo@9
|
126 der Manpage XXX von Version 8 Unix wiederzugeben: ``In data base
|
|
meillo@9
|
127 parlance, it projects a relation.''
|
|
meillo@9
|
128 [ XXX
|
|
meillo@8
|
129 Cut fuehrt also die Datenbankoperation Projektion auf
|
|
meillo@10
|
130 Textdateien aus. Die Wikipedia erklaert das folgendermassen:
|
|
meillo@7
|
131
|
|
meillo@7
|
132 Die Projektion entspricht der Projektionsabbildung aus der
|
|
meillo@7
|
133 Mengenlehre und kann auch Attributbeschränkung genannt
|
|
meillo@7
|
134 werden. Sie extrahiert einzelne Attribute aus der
|
|
meillo@7
|
135 ursprünglichen Attributmenge und ist somit als eine Art
|
|
meillo@7
|
136 Selektion auf Spaltenebene zu verstehen, das heißt, die
|
|
meillo@7
|
137 Projektion blendet Spalten aus.
|
|
meillo@7
|
138
|
|
meillo@8
|
139 [ http://de.wikipedia.org/wiki/Projektion_(Informatik)#Projektion
|
|
meillo@8
|
140
|
|
meillo@7
|
141
|
|
meillo@0
|
142 Geschichtliches
|
|
meillo@0
|
143
|
|
meillo@4
|
144 Cut erblickte 1982 mit dem Release von UNIX System III das
|
|
meillo@4
|
145 Licht der oeffentlichen Welt. Wenn man die Quellen von System
|
|
meillo@4
|
146 III durchforstet, findet man die Quellcodedatei cut.c mit dem
|
|
meillo@4
|
147 Zeitstempel 1980-04-11.
|
|
meillo@1
|
148 [ http://minnie.tuhs.org/cgi-bin/utree.pl?file=SysIII/usr/src/cmd
|
|
meillo@4
|
149 Das ist die aelteste Manifestation des Programms, die ich
|
|
meillo@8
|
150 aufstoebern konnte. Allerdings spricht die sccsid im
|
|
meillo@8
|
151 Quellcode von Version 1.5. Es muss also noch eine
|
|
meillo@8
|
152 Vorgeschichte geben. Zu dieser habe ich leider keinen Zugang
|
|
meillo@8
|
153 gefunden.
|
|
meillo@9
|
154 XXX mail an TUHS
|
|
meillo@0
|
155
|
|
meillo@10
|
156 Nun ein Blick auf die BSD-Linie: Dort ist mein
|
|
meillo@8
|
157 fruehester Fund ein cut.c mit dem Dateimodifikationsdatum
|
|
meillo@8
|
158 1986-11-07
|
|
meillo@8
|
159 [ http://minnie.tuhs.org/cgi-bin/utree.pl?file=4.3BSD-UWisc/src/usr.bin/cut
|
|
meillo@8
|
160 als Teil der Spezialversion 4.3BSD-UWisc,
|
|
meillo@6
|
161 [ http://gunkies.org/wiki/4.3_BSD_NFS_Wisconsin_Unix
|
|
meillo@6
|
162 die im Januar 1987 veroeffentlicht wurde.
|
|
meillo@8
|
163 Die Implementierung unterscheidet sich nur minimal von der
|
|
meillo@8
|
164 in System III.
|
|
meillo@8
|
165 Im bekannteren 4.3BSD-Tahoe (1988) taucht cut nicht auf.
|
|
meillo@8
|
166 Das darauf folgende 4.3BSD-Reno (1990) liefert aber wieder
|
|
meillo@8
|
167 ein cut mit aus. Dieses cut ist ein von Adam S. Moskowitz und
|
|
meillo@8
|
168 Marciano Pitargue neu implementiertes cut, das 1989 in BSD
|
|
meillo@8
|
169 aufgenommen wurde.
|
|
meillo@1
|
170 [ http://minnie.tuhs.org/cgi-bin/utree.pl?file=4.3BSD-Reno/src/usr.bin/cut
|
|
meillo@4
|
171 Seine Manpage
|
|
meillo@1
|
172 [ http://minnie.tuhs.org/cgi-bin/utree.pl?file=4.3BSD-Reno/src/usr.bin/cut/cut.1
|
|
meillo@4
|
173 erwaehnt bereits die erwartete Konformitaet mit POSIX.2.
|
|
meillo@9
|
174 XXX 2 oder 3 modi?
|
|
meillo@4
|
175 Nun sollte man wissen, dass POSIX.2 erst im September
|
|
meillo@10
|
176 1992 veroeffentlicht wurde, also gut zwei Jahren nachdem die
|
|
meillo@8
|
177 Manpage und das Programm geschrieben wurden. Das Programm
|
|
meillo@10
|
178 wurde folglich anhand von Arbeitsversionen des Standards
|
|
meillo@4
|
179 implementiert. Zweieinhalb Jahre Arbeit war immerhin schon in
|
|
meillo@4
|
180 den Standardisierungsprozess geflossen; bis zur
|
|
meillo@8
|
181 Fertigstellung sollte es aber noch weitere zwei Jahre dauern.
|
|
meillo@0
|
182
|
|
meillo@12
|
183 Schaut man sich die SCCS-IDs (die vom damaligen
|
|
meillo@12
|
184 Versionskontrollsystem eingefuegt wurden) in den BSD-Quellen an,
|
|
meillo@12
|
185 dann findet man dort Versionsnummern, die die Entstehung
|
|
meillo@12
|
186 dokumentieren:
|
|
meillo@9
|
187
|
|
meillo@12
|
188 4.3BSD-UWisc "@(#)cut.c 1.3";
|
|
meillo@12
|
189 4.3BSD-Reno "@(#)cut.c 5.3 (Berkeley) 6/24/90";
|
|
meillo@12
|
190 NetBSD "@(#)cut.c 5.4 (Berkeley) 10/30/90";
|
|
meillo@12
|
191 FreeBSD "@(#)cut.c 8.1 (Berkeley) 6/6/93";
|
|
meillo@12
|
192
|
|
meillo@12
|
193 Die neueren BSD-Versionen enthalten zwar weiterhin eine SCCS-ID, diese
|
|
meillo@12
|
194 ist aber bei Version "8.3 (Berkeley) 5/4/95" stehen geblieben. Danach
|
|
meillo@12
|
195 wurde scheinbar von SCCS auf ein anderes
|
|
meillo@12
|
196 Versionskontrollsystem gewechselt.
|
|
meillo@12
|
197 XXX
|
|
meillo@12
|
198
|
|
meillo@12
|
199 Das cut der GNU Coreutils enthaelt folgenden Copyrightvermerk:
|
|
meillo@12
|
200
|
|
meillo@12
|
201 Copyright (C) 1997-2015 Free Software Foundation, Inc.
|
|
meillo@12
|
202 Copyright (C) 1984 David M. Ihnat
|
|
meillo@12
|
203
|
|
meillo@12
|
204 Der Code hat also ziemlich alte Urspruenge. Wie aus weiteren
|
|
meillo@12
|
205 Kommentaren zu entnehmen ist, wurde der Code zuerst von David
|
|
meillo@12
|
206 MacKenzie und spaeter von Jim Meyering ueberarbeitet. Letzterer
|
|
meillo@12
|
207 hat den Code 1992 auch ins Versionkontrollsystem eingestellt.
|
|
meillo@12
|
208 Weshalb die Jahre zwischen 1992 und 1997 nicht im Copyright-Vermerk
|
|
meillo@12
|
209 auftauchen, ist unklar.
|
|
meillo@12
|
210
|
|
meillo@12
|
211 Trotz der vielen Jahreszahlen aus den 80er Jahren gehoert cut,
|
|
meillo@10
|
212 aus Sicht des urspruenglichen Unix, zu den juengeren Tools.
|
|
meillo@1
|
213 Wenn cut auch ein Jahrzehnt aelter als Linux, der Kernel, ist,
|
|
meillo@4
|
214 so war Unix doch schon ueber zehn Jahre alt, als cut das
|
|
meillo@9
|
215 erste Mal auftauchte. Insbesondere gehoerte cut auch noch nicht
|
|
meillo@4
|
216 zu Version 7 Unix, das die Ausgangsbasis aller modernen
|
|
meillo@4
|
217 Unix-Systeme darstellt. Die weit komplexeren Programme sed
|
|
meillo@4
|
218 und awk waren dort schon vertreten. Man muss sich also
|
|
meillo@4
|
219 fragen, warum cut ueberhaupt noch entwickelt wurde, wo es
|
|
meillo@9
|
220 schon zwei Programme gab, die die Funktion von cut abdecken
|
|
meillo@9
|
221 konnten. Ein Argument fuer cut war sicher seine Kompaktheit und
|
|
meillo@4
|
222 die damit verbundene Geschwindigkeit gegenueber dem damals
|
|
meillo@4
|
223 traegen awk. Diese schlanke Gestalt ist es auch, die der Unix
|
|
meillo@4
|
224 Philosopie entspricht: Mache eine Aufgabe und die richtig!
|
|
meillo@9
|
225 Cut ueberzeugte. Es wurde in andere Unix Varianten uebernommen,
|
|
meillo@9
|
226 standardisiert und ist heutzutage ueberall anzutreffen.
|
|
meillo@1
|
227
|
|
meillo@9
|
228 Die urspruengliche Variante (ohne -b) wurde schon 1985 in
|
|
meillo@5
|
229 der System V Interface Definition, einer wichtigen formalen
|
|
meillo@9
|
230 Beschreibung von UNIX System V, spezifiziert und tauchte
|
|
meillo@9
|
231 anschliessend in allen relevanten Standards auf. Mit POSIX.2
|
|
meillo@9
|
232 im Jahre 1992 wurde cut zum ersten Mal in der heutigen Form
|
|
meillo@9
|
233 (mit -b) standardisiert.
|
|
meillo@9
|
234 XXX sicher? s.o.
|
|
meillo@1
|
235
|
|
meillo@1
|
236
|
|
meillo@9
|
237 Multibyte-Unterstuetzung
|
|
meillo@8
|
238
|
|
meillo@8
|
239 Nun sind der Bytemodus und die damit verbundene
|
|
meillo@8
|
240 Multibyte-Verarbeitung des POSIX-Zeichenmodus bereits seit
|
|
meillo@8
|
241 1992 standardisiert, wie steht es aber mit deren Umsetzung?
|
|
meillo@10
|
242 Welche Versionen implementieren POSIX korrekt?
|
|
meillo@9
|
243 Die Situation ist dreiteilig: Es gibt traditionelle
|
|
meillo@8
|
244 Implementierungen, die nur -c und -f kennen. Dann gibt es
|
|
meillo@10
|
245 Implementierungen die -b zwar kennen, es aber lediglich als Alias
|
|
meillo@8
|
246 fuer -c handhaben. Diese Implementierungen funktionieren mit
|
|
meillo@8
|
247 Single-Byte-Encodings (z.B. US-ASCII, Latin1) korrekt, bei
|
|
meillo@8
|
248 Multi-Byte-Encodings (z.B. UTF-8) verhaelt sich ihr -c aber
|
|
meillo@8
|
249 wie -b (und -n wird ignoriert). Schliesslich gibt es noch
|
|
meillo@8
|
250 Implementierungen, die -b und -c tatsaechlich POSIX-konform
|
|
meillo@8
|
251 implementieren.
|
|
meillo@8
|
252
|
|
meillo@8
|
253 Traditionelle Zwei-Modi-Implementierungen sind z.B. die von
|
|
meillo@8
|
254 System III, System V und die aller BSDs bis in die 90er.
|
|
meillo@8
|
255
|
|
meillo@10
|
256 Pseudo-Multibyte-Implementierungen bieten GNU und die
|
|
meillo@9
|
257 modernen NetBSDs und OpenBSDs. Wie sehr dort ein Schein von
|
|
meillo@9
|
258 POSIX-Konformitaet gewahrt wird, ist unterschiedlich. Nicht
|
|
meillo@8
|
259 immer findet man klare Aussagen wie diese:
|
|
meillo@8
|
260
|
|
meillo@8
|
261 /* Since we don't support multi-byte characters, the -c and -b
|
|
meillo@8
|
262 options are equivalent, and the -n option is meaningless. */
|
|
meillo@8
|
263
|
|
meillo@8
|
264 [ XXX
|
|
meillo@8
|
265
|
|
meillo@8
|
266 Tatsaechlich standardkonforme Implementierungen, die
|
|
meillo@8
|
267 Multibytes korrekt handhaben, bekommt man bei einem modernen
|
|
meillo@8
|
268 FreeBSD und bei den Heirloom Tools. Bei FreeBSD hat Tim Robbins
|
|
meillo@9
|
269 im Sommer 2004 den Zeichenmodus POSIX-konform reimplementiert.
|
|
meillo@8
|
270 [ https://svnweb.freebsd.org/base?view=revision&revision=131194
|
|
meillo@8
|
271 Warum die beiden anderen grossen BSDs diese Aenderung nicht
|
|
meillo@8
|
272 uebernommen haben, bleibt offen. Es scheint aber an der im
|
|
meillo@8
|
273 obigen Kommentar formulierten Grundausrichtung zu liegen.
|
|
meillo@8
|
274
|
|
meillo@8
|
275 Wie findet man als Nutzer heraus, ob beim cut(1) des eigenen
|
|
meillo@8
|
276 Systems Multibytes korrekt unterstuetzt werden? Zuerst ist
|
|
meillo@8
|
277 entscheidend, ob das System selbst mit einem Multibyte-Encoding
|
|
meillo@9
|
278 arbeitet, denn tut es das nicht, dann entsprechen sich naemlich
|
|
meillo@9
|
279 Zeichen und Bytes und die Frage eruebrigt sich. Man kann das
|
|
meillo@9
|
280 herausfinden indem man sich das Locale anschaut, aber einfacher
|
|
meillo@9
|
281 ist es, ein typisches Mehrbytezeichen, wie z.B. einen Umlaut,
|
|
meillo@9
|
282 auszugeben und zu schauen ob dieses in einem oder in mehreren
|
|
meillo@9
|
283 Bytes kodiert ist:
|
|
meillo@8
|
284
|
|
meillo@8
|
285 $ echo ä | od -c
|
|
meillo@8
|
286 0000000 303 244 \n
|
|
meillo@8
|
287 0000003
|
|
meillo@8
|
288
|
|
meillo@8
|
289 In diesem Fall sind es zwei Bytes: oktal 303 und 244 . (Den
|
|
meillo@8
|
290 Zeilenumbruch fuegt echo(1) hinzu.)
|
|
meillo@8
|
291
|
|
meillo@9
|
292 Mit dem Programm iconv(1) kann man Text explizit in bestimmte
|
|
meillo@10
|
293 Kodierungen konvertieren. Hier Beispiele, wie die Ausgabe
|
|
meillo@10
|
294 bei Latin1 und wie sie bei UTF-8 aussieht.
|
|
meillo@8
|
295
|
|
meillo@8
|
296 $ echo ä | iconv -t latin1 | od -c
|
|
meillo@8
|
297 0000000 344 \n
|
|
meillo@8
|
298 0000002
|
|
meillo@8
|
299
|
|
meillo@8
|
300 $ echo ä | iconv -t utf8 | od -c
|
|
meillo@8
|
301 0000000 303 244 \n
|
|
meillo@8
|
302 0000003
|
|
meillo@8
|
303
|
|
meillo@8
|
304 Die Ausgabe auf dem eigenen System (ohne die iconv-Konvertierung)
|
|
meillo@8
|
305 wird recht sicher einer dieser beiden Ausgaben entsprechen.
|
|
meillo@8
|
306
|
|
meillo@8
|
307 Nun zum Test der cut-Implementierung. Hat man ein UTF-8-System,
|
|
meillo@8
|
308 dann sollte sich eine POSIX-konforme Implementierung so verhalten:
|
|
meillo@8
|
309
|
|
meillo@10
|
310 $ echo ä | ./cut -c 1 | od -c
|
|
meillo@10
|
311 0000000 303 244 \n
|
|
meillo@8
|
312 0000003
|
|
meillo@8
|
313
|
|
meillo@10
|
314 $ echo ä | ./cut -b 1 | od -c
|
|
meillo@10
|
315 0000000 303 \n
|
|
meillo@8
|
316 0000002
|
|
meillo@8
|
317
|
|
meillo@10
|
318 $ echo ä | ./cut -b 1 -n | od -c
|
|
meillo@10
|
319 0000000 \n
|
|
meillo@10
|
320 0000001
|
|
meillo@10
|
321
|
|
meillo@10
|
322 Bei einer Pseudo-POSIX-Implementierung ist die Ausgabe in
|
|
meillo@10
|
323 allen drei Faellen wie die mittlere: Es wird das erste Byte
|
|
meillo@10
|
324 ausgegeben.
|
|
meillo@8
|
325
|
|
meillo@8
|
326
|
|
meillo@8
|
327 Implementierungen
|
|
meillo@8
|
328
|
|
meillo@9
|
329 Nun ein Blick auf den Code. Betrachtet wird eine Auswahl an
|
|
meillo@9
|
330 Implementierungen.
|
|
meillo@9
|
331
|
|
meillo@9
|
332 Fuer einen ersten Eindruck ist der Umfang des Quellcodes
|
|
meillo@9
|
333 hilfreich. Typischerweise steigt dieser ueber die Jahre an. Diese
|
|
meillo@8
|
334 Beobachtung kann hier in der Tendenz, aber nicht in jedem Fall,
|
|
meillo@9
|
335 bestaetigt werden. Die Unterstuetzung des Byte-Modus (-b)
|
|
meillo@9
|
336 erfordert zwangslaeufig mehr Code, deshalb sind die
|
|
meillo@9
|
337 POSIX-konformen Implementierungen tendenziell umfangreicher.
|
|
meillo@8
|
338
|
|
meillo@8
|
339
|
|
meillo@9
|
340 SLOC Zeilen Bytes Gehoert zu Dateidatum Kategorie
|
|
meillo@9
|
341 -----------------------------------------------------------------
|
|
meillo@9
|
342 116 123 2966 System III 1980-04-11 (trad)
|
|
meillo@9
|
343 118 125 3038 4.3BSD-UWisc 1986-11-07 (trad)
|
|
meillo@9
|
344 200 256 5715 4.3BSD-Reno 1990-06-25 (trad)
|
|
meillo@9
|
345 200 270 6545 NetBSD 1993-03-21 (trad)
|
|
meillo@9
|
346 218 290 6892 OpenBSD 2008-06-27 (pseudo)
|
|
meillo@9
|
347 224 296 6920 FreeBSD 1994-05-27 (trad)
|
|
meillo@9
|
348 232 306 7500 NetBSD 2014-02-03 (pseudo)
|
|
meillo@9
|
349 340 405 7423 Heirloom 2012-05-20 (POSIX)
|
|
meillo@9
|
350 382 586 14175 GNU coreutils 1992-11-08 (pseudo)
|
|
meillo@9
|
351 391 479 10961 FreeBSD 2012-11-24 (POSIX)
|
|
meillo@9
|
352 588 830 23167 GNU coreutils 2015-05-01 (pseudo)
|
|
meillo@9
|
353 XXX verlinken
|
|
meillo@8
|
354
|
|
meillo@8
|
355
|
|
meillo@9
|
356 Das Kandidatenfeld teilt sich grob in vier Gruppen: (1) Die zwei
|
|
meillo@9
|
357 urspruenglichen Implementierungen, die sich nur minimal
|
|
meillo@9
|
358 unterscheiden, mit gut 100 SLOCs. (2) Die fuenf BSD-Versionen mit
|
|
meillo@9
|
359 gut 200 SLOCs. (3) Die zwei POSIX-konformen Programme und
|
|
meillo@9
|
360 die alte GNU-Version mit 340-390 SLOCs. Und (4) die moderne
|
|
meillo@9
|
361 GNU-Variante mit fast 600 SLOCs.
|
|
meillo@8
|
362
|
|
meillo@9
|
363 Die Abweichung zwischen logischen Codezeilen (SLOC, ermittelt mit
|
|
meillo@9
|
364 SLOCcount) und der Anzahl von Zeilenumbruechen in der Datei (`wc
|
|
meillo@9
|
365 -l') erstreckt sich ueber einen Faktor von 1.06 bei den aeltesten
|
|
meillo@9
|
366 Vertretern bis zu Faktor 1.5 bei GNU. Der groesste
|
|
meillo@9
|
367 Einflussfaktor darauf sind Leerzeilen, reine Kommentarzeilen und
|
|
meillo@9
|
368 die Groesse des Lizenzblocks am Dateianfang.
|
|
meillo@8
|
369
|
|
meillo@9
|
370 Betrachtet man die Abweichungen zwischen den logischen Codezeilen
|
|
meillo@9
|
371 und der Dateigroesse (`wc -c'), so pendelt das Teilnehmerfeld
|
|
meillo@9
|
372 zwischen 25 und 30 Bytes je Anweisung. Die Heirloom-Implementierung
|
|
meillo@9
|
373 weicht mit nur 21 nach unten ab, die GNU-Implementierungen mit
|
|
meillo@10
|
374 fast 40 nach oben. Dies liegt bei GNU hauptsaechlich an deren
|
|
meillo@9
|
375 Programmierstil, mit spezieller Einrueckung und langen Bezeichnern.
|
|
meillo@9
|
376 Ob man die Heirloom-Implementierung als besonders kryptisch
|
|
meillo@9
|
377 oder als besonders elegant bezeichnen will, das soll der
|
|
meillo@9
|
378 eigenen Einschaetzung des Lesers ueberlassen bleiben.
|
|
meillo@8
|
379
|
|
meillo@8
|
380
|
|
meillo@11
|
381 Die interne Struktur des C-Codes ist meist aehnlich. Neben der
|
|
meillo@11
|
382 obligatorischen main-Funktion, die die Kommandozeilenargumente
|
|
meillo@11
|
383 verarbeitet, gibt es im Normalfall eine Funktion, die die
|
|
meillo@11
|
384 Feldauswahl in eine interne Datenstruktur ueberfuehrt, desweiteren
|
|
meillo@11
|
385 haben fast alle Implementierungen separate Funktionen fuer die
|
|
meillo@11
|
386 zwei bzw. drei Modi. Bei den POSIX-konformen Implementierungen
|
|
meillo@11
|
387 wird die `-b -n'-Kombination als weiterer Modus behandelt, und
|
|
meillo@11
|
388 damit in einer eigenen Funktion umgesetzt. Nur bei der fruehen
|
|
meillo@11
|
389 System III-Implementierung (und seiner 4.3BSD-UWisc-Variante)
|
|
meillo@11
|
390 wird nichts aus der main-Funktion ausgelagert, ausser den
|
|
meillo@11
|
391 Fehlerausgaben.
|
|
meillo@11
|
392
|
|
meillo@12
|
393 Bei System III ist die Anzahl der moeglichen Felder und ebenso
|
|
meillo@12
|
394 die Zeilenlaenge auf 512 begrenzt. 4.3BSD-Reno und die BSDs
|
|
meillo@12
|
395 der 90er Jahre haben ebenfalls fixe Grenzen (_BSD_LINE_MAX
|
|
meillo@12
|
396 bzw. _POSIX2_LINE_MAX). Bei modernen FreeBSDs, NetBSDs, bei
|
|
meillo@12
|
397 allen GNU-Implementierungen und bei Heirloom kann sowohl
|
|
meillo@12
|
398 die Felderanzahl als auch die maximale Zeilenlaenge beliebig
|
|
meillo@12
|
399 gross werden; der Speicher dafür wird dynamisch alloziiert.
|
|
meillo@12
|
400 OpenBSD ist ein Hybrid aus fixer Maximalzahl an Feldern, aber
|
|
meillo@12
|
401 beliebiger Zeilenlaenge (fgetln). XXX
|
|
meillo@11
|
402
|
|
meillo@8
|
403
|
|
meillo@8
|
404
|
|
meillo@2
|
405 Beschreibungen
|
|
meillo@1
|
406
|
|
meillo@9
|
407 Interessant ist auch ein Vergleich der Kurzbeschreibungen von
|
|
meillo@9
|
408 cut, wie sie sich in der Titelzeile von Manpages oder manchmal
|
|
meillo@9
|
409 auch am Anfang der Quellcodedatei finden. Die folgende Liste
|
|
meillo@9
|
410 ist grob zeitlich geordnet und nach Abstammung gruppiert:
|
|
meillo@3
|
411
|
|
meillo@3
|
412
|
|
meillo@2
|
413 System III cut out selected fields of each line of a file
|
|
meillo@3
|
414 System III (src) cut and paste columns of a table (projection of a relation)
|
|
meillo@2
|
415 System V cut out selected fields of each line of a file
|
|
meillo@2
|
416 HP-UX cut out (extract) selected fields of each line of a file
|
|
meillo@2
|
417
|
|
meillo@3
|
418 4.3BSD-UWisc (src) cut and paste columns of a table (projection of a relation)
|
|
meillo@2
|
419 4.3BSD-Reno select portions of each line of a file
|
|
meillo@2
|
420 NetBSD select portions of each line of a file
|
|
meillo@7
|
421 OpenBSD 4.6 select portions of each line of a file
|
|
meillo@2
|
422 FreeBSD 1.0 select portions of each line of a file
|
|
meillo@10
|
423 FreeBSD 10.0 cut out selected portions of each line of a file
|
|
meillo@2
|
424 SunOS 4.1.3 remove selected fields from each line of a file
|
|
meillo@2
|
425 SunOS 5.5.1 cut out selected fields of each line of a file
|
|
meillo@2
|
426
|
|
meillo@8
|
427 Heirloom Tools cut out selected fields of each line of a file
|
|
meillo@9
|
428 Heirloom Tools (src) cut out fields of lines of files
|
|
meillo@2
|
429
|
|
meillo@2
|
430 GNU coreutils remove sections from each line of files
|
|
meillo@2
|
431
|
|
meillo@2
|
432 Minix select out columns of a file
|
|
meillo@2
|
433
|
|
meillo@2
|
434 Version 8 Unix rearrange columns of data
|
|
meillo@2
|
435 ``Unix Reader'' rearrange columns of text
|
|
meillo@2
|
436
|
|
meillo@9
|
437 POSIX cut out selected fields of each line of a file
|
|
meillo@2
|
438
|
|
meillo@9
|
439
|
|
meillo@9
|
440 Die mit ``(src)'' markierten Beschreibungen sind aus dem
|
|
meillo@9
|
441 jeweiligen Quellcode entnommen.
|
|
meillo@9
|
442 Der POSIX-Eintrag enthaelt die Beschreibung des Standards.
|
|
meillo@9
|
443 Der ``Unix Reader'' ist ein rueckblickendes Textdokument von
|
|
meillo@5
|
444 Doug McIlroy, das das Auftreten von Tools in der Geschichte
|
|
meillo@9
|
445 des Research Unix zum Thema hat.
|
|
meillo@9
|
446 [ XXX
|
|
meillo@9
|
447 Eigentlich sollte seine
|
|
meillo@9
|
448 Beschreibung der in Version 8 Unix entsprechen. Die
|
|
meillo@9
|
449 Abweichung koennte sowohl ein Uebertragungsfehler als auch
|
|
meillo@9
|
450 eine nachtraegliche Korrektur sein.
|
|
meillo@9
|
451 Alle uebrigen Beschreibungen entstammen den Manpages.
|
|
meillo@5
|
452
|
|
meillo@9
|
453 Oft ist mit der Zeit die POSIX-Beschreibung uebernommen
|
|
meillo@5
|
454 worden, wie beispielsweise bei FreeBSD zu sehen.
|
|
meillo@5
|
455 [ https://svnweb.freebsd.org/base?view=revision&revision=167101
|
|
meillo@9
|
456 XXX fixme!
|
|
meillo@5
|
457
|
|
meillo@7
|
458 Interessant ist, dass die GNU coreutils seit Anbeginn vom
|
|
meillo@5
|
459 Entfernen von Teilen der Eingabe sprechen, wohingegen die
|
|
meillo@5
|
460 Kommandozeilenangabe klar ein Auswaehlen darstellt. Die
|
|
meillo@10
|
461 Worte ``cut out'' sind vielleicht auch nur etwas zu
|
|
meillo@9
|
462 missverstaendlich. HP-UX hat sie deshalb praezisiert.
|
|
meillo@5
|
463
|
|
meillo@10
|
464 Auch beim Begriff, was selektiert wird, ist man sich
|
|
meillo@5
|
465 uneins. Die einen reden von Feldern (POSIX), andere von
|
|
meillo@5
|
466 Abschnitten bzw. Teilen (BSD) und wieder andere von Spalten
|
|
meillo@5
|
467 (Research Unix). Ironischerweise leistet sich gerade Version
|
|
meillo@5
|
468 8 Unix, das eigentlich um eine sehr treffende Weltsicht
|
|
meillo@5
|
469 bemueht ist, mit ``rearrange columns of data'' die
|
|
meillo@5
|
470 unzutreffendste der Beschreibungen.
|
|
meillo@5
|
471
|
|
meillo@5
|
472
|
|
meillo@6
|
473 Autoreninfo
|
|
meillo@6
|
474
|
|
meillo@6
|
475 Markus Schnalke interessiert sich fuer die Hintergruende
|
|
meillo@6
|
476 von Unix und seinen Werkzeugen. Fuer die Erarbeitung dieses
|
|
meillo@6
|
477 Textes wurde er regelrecht zum Historiker.
|
|
meillo@6
|
478
|
|
meillo@6
|
479
|
|
meillo@6
|
480 Lizenz
|
|
meillo@10
|
481
|
|
meillo@6
|
482 CC0 (und kann damit auch unter CC BY-SA 4.0 Unported
|
|
meillo@6
|
483 veroeffentlicht werden)
|
