| rev |
line source |
|
meillo@6
|
1 cut - cut out selected fields of each line of a file
|
|
meillo@6
|
2 ----------------------------------------------------
|
|
meillo@6
|
3 markus schnalke <meillo@marmaro.de>
|
|
meillo@6
|
4 2015-05
|
|
meillo@0
|
5
|
|
meillo@0
|
6
|
|
meillo@1
|
7 Cut ist ein klassisches Programm im Unix-Werkzeugkasten.
|
|
meillo@8
|
8 In keinem ordentlichen Tutorial zur Shellprogrammierung fehlt
|
|
meillo@21
|
9 es, denn es ist ein schönes, praktisches und anschauliches
|
|
meillo@9
|
10 Helferlein. Hier soll ein wenig hinter seine Fassade geschaut
|
|
meillo@9
|
11 werden.
|
|
meillo@0
|
12
|
|
meillo@0
|
13
|
|
meillo@4
|
14 Funktionsweise
|
|
meillo@4
|
15
|
|
meillo@21
|
16 Ursprünglich hatte cut zwei Modi, die später um einen dritten
|
|
meillo@21
|
17 erweitert wurden. Cut schneidet entweder gewünschte Zeichen aus
|
|
meillo@21
|
18 den Zeilen der Eingabe oder gewünschte, durch Trennzeichen
|
|
meillo@8
|
19 definierte, Felder.
|
|
meillo@0
|
20
|
|
meillo@9
|
21 Der Zeichenmodus ist optimal geeignet um Festbreitenformate zu
|
|
meillo@19
|
22 zerteilen. Man kann damit beispielsweise bestimmte
|
|
meillo@9
|
23 Zugriffsrechte aus der Ausgabe von `ls -l' ausschneiden, in
|
|
meillo@9
|
24 diesem Beispiel die Rechte des Besitzers:
|
|
meillo@0
|
25
|
|
meillo@15
|
26 $ ls -l foo
|
|
meillo@15
|
27 -rw-rw-r-- 1 meillo users 0 May 12 07:32 foo
|
|
meillo@15
|
28
|
|
meillo@4
|
29 $ ls -l foo | cut -c 2-4
|
|
meillo@4
|
30 rw-
|
|
meillo@0
|
31
|
|
meillo@4
|
32 Oder die Schreibrechte des Besitzers, der Gruppe und der
|
|
meillo@4
|
33 Welt:
|
|
meillo@0
|
34
|
|
meillo@4
|
35 $ ls -l | cut -c 3,6,9
|
|
meillo@4
|
36 ww-
|
|
meillo@0
|
37
|
|
meillo@21
|
38 Mit cut lassen sich aber auch Strings kürzen.
|
|
meillo@0
|
39
|
|
meillo@10
|
40 $ long=12345678901234567890
|
|
meillo@10
|
41 $ echo "$long" | cut -c -10
|
|
meillo@10
|
42 1234567890
|
|
meillo@0
|
43
|
|
meillo@10
|
44 Dieser Befehl gibt die ersten maximal 10 Zeichen von
|
|
meillo@21
|
45 `$long' aus. (Alternativ kann man hierfür `printf
|
|
meillo@10
|
46 "%.10s\n" "$long"' verwenden.)
|
|
meillo@0
|
47
|
|
meillo@4
|
48 Geht es aber nicht um die Darstellung von Zeichen, sondern um
|
|
meillo@8
|
49 ihre Speicherung, dann ist `-c' nicht unbedingt geeignet.
|
|
meillo@21
|
50 Früher, als US-ASCII noch die omnipräsente Zeichenkodierung
|
|
meillo@17
|
51 war, wurde jedes Zeichen mit genau einem
|
|
meillo@21
|
52 Byte gespeichert. Somit selektierte `cut -c' gleichermaßen
|
|
meillo@4
|
53 sowohl Ausgabezeichen als auch Bytes. Mit dem Aufkommen von
|
|
meillo@4
|
54 Multibyte-Kodierungen (wie UTF-8) musste man sich jedoch von
|
|
meillo@21
|
55 dieser Annahme lösen. In diesem Zug bekam cut mit
|
|
meillo@9
|
56 POSIX.2-1992 einen Bytemodus (Option `-b'). Will man
|
|
meillo@4
|
57 also nur die ersten maximal 500 Bytes vor dem
|
|
meillo@0
|
58 Newline-Zeichen stehen haben (und den Rest stillschweigend
|
|
meillo@0
|
59 ignorieren), dann macht man das mit:
|
|
meillo@0
|
60
|
|
meillo@6
|
61 $ cut -b -500
|
|
meillo@0
|
62
|
|
meillo@4
|
63 Den Rest kann man sich mit `cut -b 501-' einfangen. Diese
|
|
meillo@21
|
64 Funktion ist insbesondere für POSIX wichtig, da man damit
|
|
meillo@21
|
65 Textdateien mit begrenzter Zeilenlänge erzeugen kann.
|
|
meillo@4
|
66 [ http://pubs.opengroup.org/onlinepubs/9699919799/utilities/cut.html#tag_20_28_17
|
|
meillo@0
|
67
|
|
meillo@21
|
68 Wenn auch der Bytemodus neu eingeführt worden war, so sollte
|
|
meillo@17
|
69 er sich doch nur so verhalten wie der alte Zeichenmodus
|
|
meillo@17
|
70 normalerweise schon implementiert war. Beim Zeichenmodus aber
|
|
meillo@17
|
71 wurde eine neue Implementierungsweise gefordert. Das Problem
|
|
meillo@19
|
72 war folglich nicht, den neuen Bytemodus zu implementieren, sondern
|
|
meillo@10
|
73 den Zeichenmodus neu zu implementieren.
|
|
meillo@10
|
74
|
|
meillo@17
|
75 Neben dem Zeichen- und Bytemodus bietet cut noch den
|
|
meillo@17
|
76 Feldmodus, den man mit `-f' einleitet. Mit ihm
|
|
meillo@21
|
77 können Felder ausgewählt werden. Das Trennzeichen (per
|
|
meillo@21
|
78 Default der Tab) kann mit `-d' geändert werden. Es gilt in
|
|
meillo@21
|
79 gleicher Weise für die Eingabe und die Ausgabe.
|
|
meillo@0
|
80
|
|
meillo@21
|
81 Der typische Anwendungsfall für cut im Feldmodus ist die
|
|
meillo@19
|
82 Auswahl von Information aus der passwd-Datei. Hier z.B. der
|
|
meillo@17
|
83 Benutzername und seine ID:
|
|
meillo@0
|
84
|
|
meillo@17
|
85 $ cut -d: -f1,3 /etc/passwd
|
|
meillo@17
|
86 root:0
|
|
meillo@17
|
87 bin:1
|
|
meillo@17
|
88 daemon:2
|
|
meillo@17
|
89 mail:8
|
|
meillo@9
|
90 ...
|
|
meillo@0
|
91
|
|
meillo@21
|
92 (Die Argumente für die Optionen können bei cut übrigens
|
|
meillo@21
|
93 mit Whitespace abgetrennt oder direkt angehängt folgen.)
|
|
meillo@0
|
94
|
|
meillo@21
|
95 Dieser Feldmodus ist für einfache tabellarische Dateien,
|
|
meillo@4
|
96 wie eben die passwd, gut geeignet. Er kommt aber schnell an
|
|
meillo@21
|
97 seine Grenzen. Gerade der häufige Fall, dass an Whitespace
|
|
meillo@0
|
98 in Felder geteilt werden soll, wird damit nicht abgedeckt.
|
|
meillo@17
|
99 Der Delimiter kann bei cut nur genau ein Zeichen sein. Es kann
|
|
meillo@19
|
100 demnach nicht sowohl an Leerzeichen als auch an Tabs aufgetrennt
|
|
meillo@19
|
101 werden. Zudem unterteilt cut an jedem Trennzeichen. Zwei aneinander
|
|
meillo@21
|
102 stehende Trennzeichen führen zu einem leeren Feld. Dieses
|
|
meillo@8
|
103 Verhalten widerspricht den Erwartungen, die man an die
|
|
meillo@8
|
104 Verarbeitung einer Datei mit Whitespace-getrennten Feldern
|
|
meillo@8
|
105 hat. Manche Implementierungen von cut, z.B. die von FreeBSD,
|
|
meillo@21
|
106 haben deshalb Erweiterungen, die das gewünschte Verhalten
|
|
meillo@21
|
107 für Whitespace-getrennte Felder bieten. Ansonsten, d.h. wenn
|
|
meillo@9
|
108 man portabel bleiben will, verwendet man awk in diesen
|
|
meillo@21
|
109 Fällen.
|
|
meillo@0
|
110
|
|
meillo@4
|
111 Awk bietet noch eine weitere Funktion, die cut missen
|
|
meillo@21
|
112 lässt: Das Tauschen der Feld-Reihenfolge in der Ausgabe. Bei
|
|
meillo@8
|
113 cut ist die Reihenfolge der Feldauswahlangabe irrelevant; ein
|
|
meillo@19
|
114 Feld kann selbst mehrfach angegeben werden. Dementsprechend gibt
|
|
meillo@19
|
115 der Aufruf
|
|
meillo@8
|
116 von `cut -c 5-8,1,4-6' die Zeichen Nummer 1, 4, 5, 6, 7 und 8
|
|
meillo@8
|
117 in genau dieser Reihenfolge aus. Die Auswahl entspricht damit
|
|
meillo@8
|
118 der Mengenlehre in der Mathematik: Jedes angegebene Feld wird
|
|
meillo@9
|
119 Teil der Ergebnismenge. Die Felder der Ergebnismenge sind
|
|
meillo@19
|
120 hierbei immer gleich geordnet wie in der Eingabe. Um die Worte
|
|
meillo@16
|
121 der Manpage von Version 8 Unix wiederzugeben: ``In data base
|
|
meillo@9
|
122 parlance, it projects a relation.''
|
|
meillo@16
|
123 [ http://man.cat-v.org/unix_8th/1/cut
|
|
meillo@21
|
124 Cut führt demnach die Datenbankoperation Projektion auf
|
|
meillo@21
|
125 Textdateien aus. Die Wikipedia erklärt das folgendermaßen:
|
|
meillo@7
|
126
|
|
meillo@7
|
127 Die Projektion entspricht der Projektionsabbildung aus der
|
|
meillo@7
|
128 Mengenlehre und kann auch Attributbeschränkung genannt
|
|
meillo@7
|
129 werden. Sie extrahiert einzelne Attribute aus der
|
|
meillo@7
|
130 ursprünglichen Attributmenge und ist somit als eine Art
|
|
meillo@7
|
131 Selektion auf Spaltenebene zu verstehen, das heißt, die
|
|
meillo@7
|
132 Projektion blendet Spalten aus.
|
|
meillo@7
|
133
|
|
meillo@8
|
134 [ http://de.wikipedia.org/wiki/Projektion_(Informatik)#Projektion
|
|
meillo@8
|
135
|
|
meillo@7
|
136
|
|
meillo@0
|
137 Geschichtliches
|
|
meillo@0
|
138
|
|
meillo@4
|
139 Cut erblickte 1982 mit dem Release von UNIX System III das
|
|
meillo@21
|
140 Licht der öffentlichen Welt. Wenn man die Quellen von System
|
|
meillo@4
|
141 III durchforstet, findet man die Quellcodedatei cut.c mit dem
|
|
meillo@4
|
142 Zeitstempel 1980-04-11.
|
|
meillo@1
|
143 [ http://minnie.tuhs.org/cgi-bin/utree.pl?file=SysIII/usr/src/cmd
|
|
meillo@21
|
144 Das ist die älteste Manifestation des Programms, die ich
|
|
meillo@21
|
145 aufstöbern konnte. Allerdings spricht die SCCS-ID im
|
|
meillo@20
|
146 Quellcode von Version 1.5. Die Vorgeschichte liegt, der Aussage
|
|
meillo@20
|
147 Doug McIlroys
|
|
meillo@20
|
148 [ XXX
|
|
meillo@21
|
149 zufolge, in PWB/UNIX, das die Grundlage für System III war.
|
|
meillo@20
|
150 (PWB 3.0 entspricht System III.) In den von PWB 1.0 (1977)
|
|
meillo@21
|
151 verfügbaren Quellen
|
|
meillo@20
|
152 [ XXX
|
|
meillo@20
|
153 ist cut noch nicht zu finden; von PWB 2.0 sind mir keine
|
|
meillo@21
|
154 verfügbaren Quellen oder hilfreiche Dokumentation bekannt.
|
|
meillo@0
|
155
|
|
meillo@21
|
156 Nun ein Blick auf die BSD-Linie: Dort ist mein frühester
|
|
meillo@17
|
157 Fund ein cut.c mit dem Dateimodifikationsdatum 1986-11-07
|
|
meillo@8
|
158 [ http://minnie.tuhs.org/cgi-bin/utree.pl?file=4.3BSD-UWisc/src/usr.bin/cut
|
|
meillo@8
|
159 als Teil der Spezialversion 4.3BSD-UWisc,
|
|
meillo@6
|
160 [ http://gunkies.org/wiki/4.3_BSD_NFS_Wisconsin_Unix
|
|
meillo@21
|
161 die im Januar 1987 veröffentlicht wurde.
|
|
meillo@8
|
162 Die Implementierung unterscheidet sich nur minimal von der
|
|
meillo@8
|
163 in System III.
|
|
meillo@17
|
164 Im bekannteren 4.3BSD-Tahoe (1988) tauchte cut nicht auf.
|
|
meillo@17
|
165 Das darauf folgende 4.3BSD-Reno (1990) lieferte aber wieder
|
|
meillo@17
|
166 ein cut mit aus. Dieses cut war ein von Adam S. Moskowitz und
|
|
meillo@8
|
167 Marciano Pitargue neu implementiertes cut, das 1989 in BSD
|
|
meillo@8
|
168 aufgenommen wurde.
|
|
meillo@1
|
169 [ http://minnie.tuhs.org/cgi-bin/utree.pl?file=4.3BSD-Reno/src/usr.bin/cut
|
|
meillo@4
|
170 Seine Manpage
|
|
meillo@1
|
171 [ http://minnie.tuhs.org/cgi-bin/utree.pl?file=4.3BSD-Reno/src/usr.bin/cut/cut.1
|
|
meillo@21
|
172 erwähnt bereits die erwartete Konformität mit POSIX.2.
|
|
meillo@17
|
173 Nun muss man wissen, dass POSIX.2 erst im September
|
|
meillo@21
|
174 1992 veröffentlicht wurde, erst gut zwei Jahren nachdem die
|
|
meillo@17
|
175 Manpage und das Programm geschrieben worden waren. Das Programm
|
|
meillo@10
|
176 wurde folglich anhand von Arbeitsversionen des Standards
|
|
meillo@21
|
177 implementiert. Ein Blick in den Code bekräftigt diese Vermutung.
|
|
meillo@15
|
178 In der Funktion zum parsen der Feldauswahlliste findet sich
|
|
meillo@15
|
179 dieser Kommentar:
|
|
meillo@0
|
180
|
|
meillo@15
|
181 This parser is less restrictive than the Draft 9 POSIX spec.
|
|
meillo@15
|
182 POSIX doesn't allow lists that aren't in increasing order or
|
|
meillo@15
|
183 overlapping lists.
|
|
meillo@9
|
184
|
|
meillo@21
|
185 Im Draft 11.2 (1991-09) fordert POSIX diese Flexibilität bereits
|
|
meillo@15
|
186 ein:
|
|
meillo@12
|
187
|
|
meillo@15
|
188 The elements in list can be repeated, can overlap, and can
|
|
meillo@15
|
189 be specified in any order.
|
|
meillo@15
|
190
|
|
meillo@21
|
191 Zudem listet Draft 11.2 alle drei Modi, während in diesem
|
|
meillo@21
|
192 BSD cut nur die zwei alten implementiert sind. Es könnte also
|
|
meillo@17
|
193 sein, dass in Draft 9 der Bytemodus noch nicht vorhanden war.
|
|
meillo@17
|
194 Da ich keinen Zugang zu Draft 9 oder 10 finden konnte, war es mir
|
|
meillo@21
|
195 leider nicht möglich, diese Vermutung zu prüfen.
|
|
meillo@17
|
196
|
|
meillo@21
|
197 Die Versionsnummern und Änderungsdaten der älteren
|
|
meillo@17
|
198 BSD-Implementierungen kann man aus den SCCS-IDs, die vom
|
|
meillo@21
|
199 damaligen Versionskontrollsystem in den Code eingefügt wurden,
|
|
meillo@15
|
200 ablesen. So z.B. bei 4.3BSD-Reno: ``5.3 (Berkeley) 6/24/90''.
|
|
meillo@12
|
201
|
|
meillo@21
|
202 Das cut der GNU Coreutils enthält folgenden Copyrightvermerk:
|
|
meillo@12
|
203
|
|
meillo@12
|
204 Copyright (C) 1997-2015 Free Software Foundation, Inc.
|
|
meillo@12
|
205 Copyright (C) 1984 David M. Ihnat
|
|
meillo@12
|
206
|
|
meillo@21
|
207 Der Code hat also recht alte Ursprünge. Wie aus weiteren
|
|
meillo@17
|
208 Kommentaren zu entnehmen ist, wurde der Programmcode zuerst von David
|
|
meillo@21
|
209 MacKenzie und später von Jim Meyering überarbeitet. Letzterer
|
|
meillo@12
|
210 hat den Code 1992 auch ins Versionkontrollsystem eingestellt.
|
|
meillo@17
|
211 Weshalb die Jahre vor 1997, zumindest ab 1992, nicht im
|
|
meillo@17
|
212 Copyright-Vermerk auftauchen, ist unklar.
|
|
meillo@12
|
213
|
|
meillo@21
|
214 Trotz der vielen Jahreszahlen aus den 80er Jahren gehört cut,
|
|
meillo@21
|
215 aus Sicht des ursprünglichen Unix, zu den jüngeren Tools.
|
|
meillo@21
|
216 Wenn cut auch ein Jahrzehnt älter als Linux, der Kernel, ist,
|
|
meillo@21
|
217 so war Unix doch schon über zehn Jahre alt, als cut das
|
|
meillo@21
|
218 erste Mal auftauchte. Insbesondere gehörte cut noch nicht
|
|
meillo@4
|
219 zu Version 7 Unix, das die Ausgangsbasis aller modernen
|
|
meillo@4
|
220 Unix-Systeme darstellt. Die weit komplexeren Programme sed
|
|
meillo@4
|
221 und awk waren dort schon vertreten. Man muss sich also
|
|
meillo@21
|
222 fragen, warum cut überhaupt noch entwickelt wurde, wo es
|
|
meillo@9
|
223 schon zwei Programme gab, die die Funktion von cut abdecken
|
|
meillo@21
|
224 konnten. Ein Argument für cut war sicher seine Kompaktheit und
|
|
meillo@21
|
225 die damit verbundene Geschwindigkeit gegenüber dem damals
|
|
meillo@21
|
226 trägen awk. Diese schlanke Gestalt ist es auch, die der
|
|
meillo@17
|
227 Unix-Philosopie entspricht: Mache eine Aufgabe und die richtig!
|
|
meillo@21
|
228 Cut überzeugte. Es wurde in andere Unix Varianten übernommen,
|
|
meillo@21
|
229 standardisiert und ist heutzutage überall anzutreffen.
|
|
meillo@1
|
230
|
|
meillo@21
|
231 Die ursprüngliche Variante (ohne -b) wurde schon 1985 in
|
|
meillo@5
|
232 der System V Interface Definition, einer wichtigen formalen
|
|
meillo@9
|
233 Beschreibung von UNIX System V, spezifiziert und tauchte
|
|
meillo@21
|
234 anschließend in allen relevanten Standards auf. Mit POSIX.2
|
|
meillo@9
|
235 im Jahre 1992 wurde cut zum ersten Mal in der heutigen Form
|
|
meillo@9
|
236 (mit -b) standardisiert.
|
|
meillo@1
|
237
|
|
meillo@1
|
238
|
|
meillo@21
|
239 Multibyte-Unterstützung
|
|
meillo@8
|
240
|
|
meillo@8
|
241 Nun sind der Bytemodus und die damit verbundene
|
|
meillo@8
|
242 Multibyte-Verarbeitung des POSIX-Zeichenmodus bereits seit
|
|
meillo@8
|
243 1992 standardisiert, wie steht es aber mit deren Umsetzung?
|
|
meillo@10
|
244 Welche Versionen implementieren POSIX korrekt?
|
|
meillo@17
|
245 Die Situation ist dreiteilig: Es gibt historische
|
|
meillo@8
|
246 Implementierungen, die nur -c und -f kennen. Dann gibt es
|
|
meillo@10
|
247 Implementierungen die -b zwar kennen, es aber lediglich als Alias
|
|
meillo@21
|
248 für -c handhaben. Diese Implementierungen funktionieren mit
|
|
meillo@8
|
249 Single-Byte-Encodings (z.B. US-ASCII, Latin1) korrekt, bei
|
|
meillo@21
|
250 Multibyte-Encodings (z.B. UTF-8) verhält sich ihr -c aber
|
|
meillo@21
|
251 wie -b (und -n wird ignoriert). Schließlich gibt es noch
|
|
meillo@21
|
252 Implementierungen, die -b und -c tatsächlich POSIX-konform
|
|
meillo@8
|
253 implementieren.
|
|
meillo@8
|
254
|
|
meillo@17
|
255 Historische Zwei-Modi-Implementierungen sind z.B. die von
|
|
meillo@8
|
256 System III, System V und die aller BSDs bis in die 90er.
|
|
meillo@8
|
257
|
|
meillo@10
|
258 Pseudo-Multibyte-Implementierungen bieten GNU und die
|
|
meillo@17
|
259 modernen NetBSDs und OpenBSDs. Man darf sich sicher fragen,
|
|
meillo@21
|
260 ob dort ein Schein von POSIX-Konformität gewahrt wird.
|
|
meillo@15
|
261 Teilweise findet man erst nach genauerer Suche heraus, dass
|
|
meillo@15
|
262 -c und -n nicht wie erwartet funktionieren; teilweise machen es
|
|
meillo@17
|
263 sich die Systeme auch einfach, indem sie auf
|
|
meillo@21
|
264 Singlebyte-Zeichenkodierungen beharren, das aber dafür meist
|
|
meillo@17
|
265 klar darlegen:
|
|
meillo@8
|
266
|
|
meillo@15
|
267 Since we don't support multi-byte characters, the -c and -b
|
|
meillo@15
|
268 options are equivalent, and the -n option is meaningless.
|
|
meillo@8
|
269
|
|
meillo@16
|
270 [ http://cvsweb.openbsd.org/cgi-bin/cvsweb/src/usr.bin/cut/cut.c?rev=1.18&content-type=text/x-cvsweb-markup
|
|
meillo@8
|
271
|
|
meillo@21
|
272 Tatsächlich standardkonforme Implementierungen, die
|
|
meillo@8
|
273 Multibytes korrekt handhaben, bekommt man bei einem modernen
|
|
meillo@8
|
274 FreeBSD und bei den Heirloom Tools. Bei FreeBSD hat Tim Robbins
|
|
meillo@9
|
275 im Sommer 2004 den Zeichenmodus POSIX-konform reimplementiert.
|
|
meillo@8
|
276 [ https://svnweb.freebsd.org/base?view=revision&revision=131194
|
|
meillo@21
|
277 Warum die beiden anderen großen BSDs diese Änderung nicht
|
|
meillo@21
|
278 übernommen haben, bleibt offen. Es scheint aber an der im
|
|
meillo@8
|
279 obigen Kommentar formulierten Grundausrichtung zu liegen.
|
|
meillo@8
|
280
|
|
meillo@17
|
281 Wie findet man nun als Nutzer heraus, ob beim cut(1) des eigenen
|
|
meillo@21
|
282 Systems Multibytes korrekt unterstützt werden? Zuerst ist
|
|
meillo@8
|
283 entscheidend, ob das System selbst mit einem Multibyte-Encoding
|
|
meillo@17
|
284 arbeitet, denn tut es das nicht, dann entsprechen sich
|
|
meillo@21
|
285 Zeichen und Bytes und die Frage erübrigt sich. Man kann das
|
|
meillo@9
|
286 herausfinden indem man sich das Locale anschaut, aber einfacher
|
|
meillo@9
|
287 ist es, ein typisches Mehrbytezeichen, wie z.B. einen Umlaut,
|
|
meillo@9
|
288 auszugeben und zu schauen ob dieses in einem oder in mehreren
|
|
meillo@9
|
289 Bytes kodiert ist:
|
|
meillo@8
|
290
|
|
meillo@8
|
291 $ echo ä | od -c
|
|
meillo@8
|
292 0000000 303 244 \n
|
|
meillo@8
|
293 0000003
|
|
meillo@8
|
294
|
|
meillo@8
|
295 In diesem Fall sind es zwei Bytes: oktal 303 und 244 . (Den
|
|
meillo@21
|
296 Zeilenumbruch fügt echo(1) hinzu.)
|
|
meillo@8
|
297
|
|
meillo@9
|
298 Mit dem Programm iconv(1) kann man Text explizit in bestimmte
|
|
meillo@10
|
299 Kodierungen konvertieren. Hier Beispiele, wie die Ausgabe
|
|
meillo@10
|
300 bei Latin1 und wie sie bei UTF-8 aussieht.
|
|
meillo@8
|
301
|
|
meillo@8
|
302 $ echo ä | iconv -t latin1 | od -c
|
|
meillo@8
|
303 0000000 344 \n
|
|
meillo@8
|
304 0000002
|
|
meillo@8
|
305
|
|
meillo@8
|
306 $ echo ä | iconv -t utf8 | od -c
|
|
meillo@8
|
307 0000000 303 244 \n
|
|
meillo@8
|
308 0000003
|
|
meillo@8
|
309
|
|
meillo@8
|
310 Die Ausgabe auf dem eigenen System (ohne die iconv-Konvertierung)
|
|
meillo@8
|
311 wird recht sicher einer dieser beiden Ausgaben entsprechen.
|
|
meillo@8
|
312
|
|
meillo@8
|
313 Nun zum Test der cut-Implementierung. Hat man ein UTF-8-System,
|
|
meillo@21
|
314 dann sollte sich eine POSIX-konforme Implementierung folgendermaßen
|
|
meillo@17
|
315 verhalten:
|
|
meillo@8
|
316
|
|
meillo@18
|
317 $ echo ä | cut -c 1 | od -c
|
|
meillo@10
|
318 0000000 303 244 \n
|
|
meillo@8
|
319 0000003
|
|
meillo@8
|
320
|
|
meillo@18
|
321 $ echo ä | cut -b 1 | od -c
|
|
meillo@10
|
322 0000000 303 \n
|
|
meillo@8
|
323 0000002
|
|
meillo@8
|
324
|
|
meillo@18
|
325 $ echo ä | cut -b 1 -n | od -c
|
|
meillo@10
|
326 0000000 \n
|
|
meillo@10
|
327 0000001
|
|
meillo@10
|
328
|
|
meillo@10
|
329 Bei einer Pseudo-POSIX-Implementierung ist die Ausgabe in
|
|
meillo@21
|
330 allen drei Fällen wie die mittlere: Es wird das erste Byte
|
|
meillo@10
|
331 ausgegeben.
|
|
meillo@8
|
332
|
|
meillo@8
|
333
|
|
meillo@8
|
334 Implementierungen
|
|
meillo@8
|
335
|
|
meillo@9
|
336 Nun ein Blick auf den Code. Betrachtet wird eine Auswahl an
|
|
meillo@9
|
337 Implementierungen.
|
|
meillo@9
|
338
|
|
meillo@21
|
339 Für einen ersten Eindruck ist der Umfang des Quellcodes
|
|
meillo@21
|
340 hilfreich. Typischerweise steigt dieser über die Jahre an. Diese
|
|
meillo@8
|
341 Beobachtung kann hier in der Tendenz, aber nicht in jedem Fall,
|
|
meillo@21
|
342 bestätigt werden. Die POSIX-konforme Umsetzung des Zeichenmodus
|
|
meillo@21
|
343 erfordert zwangsläufig mehr Code, deshalb sind diese
|
|
meillo@17
|
344 Implementierungen tendenziell umfangreicher.
|
|
meillo@8
|
345
|
|
meillo@8
|
346
|
|
meillo@21
|
347 SLOC Zeilen Bytes Gehört zu Dateidatum Kategorie
|
|
meillo@9
|
348 -----------------------------------------------------------------
|
|
meillo@17
|
349 116 123 2966 System III 1980-04-11 (hist)
|
|
meillo@17
|
350 118 125 3038 4.3BSD-UWisc 1986-11-07 (hist)
|
|
meillo@17
|
351 200 256 5715 4.3BSD-Reno 1990-06-25 (hist)
|
|
meillo@17
|
352 200 270 6545 NetBSD 1993-03-21 (hist)
|
|
meillo@9
|
353 218 290 6892 OpenBSD 2008-06-27 (pseudo)
|
|
meillo@17
|
354 224 296 6920 FreeBSD 1994-05-27 (hist)
|
|
meillo@9
|
355 232 306 7500 NetBSD 2014-02-03 (pseudo)
|
|
meillo@9
|
356 340 405 7423 Heirloom 2012-05-20 (POSIX)
|
|
meillo@9
|
357 382 586 14175 GNU coreutils 1992-11-08 (pseudo)
|
|
meillo@9
|
358 391 479 10961 FreeBSD 2012-11-24 (POSIX)
|
|
meillo@9
|
359 588 830 23167 GNU coreutils 2015-05-01 (pseudo)
|
|
meillo@8
|
360
|
|
meillo@8
|
361
|
|
meillo@9
|
362 Das Kandidatenfeld teilt sich grob in vier Gruppen: (1) Die zwei
|
|
meillo@21
|
363 ursprünglichen Implementierungen, die sich nur minimal
|
|
meillo@21
|
364 unterscheiden, mit gut 100 SLOCs. (2) Die fünf BSD-Versionen mit
|
|
meillo@9
|
365 gut 200 SLOCs. (3) Die zwei POSIX-konformen Programme und
|
|
meillo@21
|
366 die alte GNU-Version mit 340-390 SLOCs. Und schließlich (4) die
|
|
meillo@17
|
367 moderne GNU-Variante mit fast 600 SLOCs.
|
|
meillo@8
|
368
|
|
meillo@9
|
369 Die Abweichung zwischen logischen Codezeilen (SLOC, ermittelt mit
|
|
meillo@21
|
370 SLOCcount) und der Anzahl von Zeilenumbrüchen in der Datei (`wc
|
|
meillo@21
|
371 -l') erstreckt sich über eine Spanne von Faktor 1.06 bei den
|
|
meillo@21
|
372 ältesten Vertretern bis zu Faktor 1.5 bei GNU. Den größten
|
|
meillo@19
|
373 Einfluss darauf haben Leerzeilen, reine Kommentarzeilen und
|
|
meillo@21
|
374 die Größe des Lizenzblocks am Dateianfang.
|
|
meillo@8
|
375
|
|
meillo@9
|
376 Betrachtet man die Abweichungen zwischen den logischen Codezeilen
|
|
meillo@21
|
377 und der Dateigröße (`wc -c'), so pendelt das Teilnehmerfeld
|
|
meillo@9
|
378 zwischen 25 und 30 Bytes je Anweisung. Die Heirloom-Implementierung
|
|
meillo@9
|
379 weicht mit nur 21 nach unten ab, die GNU-Implementierungen mit
|
|
meillo@21
|
380 fast 40 nach oben. Bei GNU liegt dies hauptsächlich an deren
|
|
meillo@21
|
381 Programmierstil, mit spezieller Einrückung und langen Bezeichnern.
|
|
meillo@21
|
382 Ob man die Heirloom-Implementierung
|
|
meillo@21
|
383 [ XXX
|
|
meillo@21
|
384 als besonders kryptisch
|
|
meillo@9
|
385 oder als besonders elegant bezeichnen will, das soll der
|
|
meillo@21
|
386 eigenen Einschätzung des Lesers überlassen bleiben. Vor allem
|
|
meillo@21
|
387 der Vergleich mit einer GNU-Implementierung
|
|
meillo@21
|
388 [ XXX
|
|
meillo@21
|
389 ist eindrucksvoll.
|
|
meillo@8
|
390
|
|
meillo@8
|
391
|
|
meillo@21
|
392 Die interne Struktur der Programmcodes (in C) ist meist ähnlich.
|
|
meillo@17
|
393 Neben der obligatorischen main-Funktion, die die Kommandozeilenargumente
|
|
meillo@11
|
394 verarbeitet, gibt es im Normalfall eine Funktion, die die
|
|
meillo@21
|
395 Feldauswahl in eine interne Datenstruktur überführt. Desweiteren
|
|
meillo@21
|
396 haben fast alle Implementierungen separate Funktionen für die
|
|
meillo@19
|
397 zwei oder drei Modi. Bei den POSIX-konformen Implementierungen
|
|
meillo@11
|
398 wird die `-b -n'-Kombination als weiterer Modus behandelt, und
|
|
meillo@21
|
399 damit in einer eigenen Funktion umgesetzt. Nur bei der frühen
|
|
meillo@11
|
400 System III-Implementierung (und seiner 4.3BSD-UWisc-Variante)
|
|
meillo@21
|
401 wird außer den Fehlerausgaben alles in der main-Funktion
|
|
meillo@17
|
402 erledigt.
|
|
meillo@11
|
403
|
|
meillo@15
|
404 Cut-Implementierungen haben typischerweise zwei limitierende
|
|
meillo@21
|
405 Größen: Die Maximalanzahl unterstützter Felder und die maximale
|
|
meillo@21
|
406 Zeilenlänge. Bei System III sind beide Größen auf 512 begrenzt.
|
|
meillo@17
|
407 4.3BSD-Reno und die BSDs der 90er Jahre haben ebenfalls fixe
|
|
meillo@17
|
408 Grenzen (_BSD_LINE_MAX bzw. _POSIX2_LINE_MAX). Bei modernen
|
|
meillo@17
|
409 FreeBSDs, NetBSDs, bei allen GNU-Implementierungen und bei
|
|
meillo@17
|
410 Heirloom kann sowohl die Felderanzahl als auch die maximale
|
|
meillo@21
|
411 Zeilenlänge beliebig groß werden; der Speicher dafür wird
|
|
meillo@17
|
412 dynamisch alloziiert. OpenBSD ist ein Hybrid aus fixer
|
|
meillo@21
|
413 Maximalzahl an Feldern, aber beliebiger Zeilenlänge. Die
|
|
meillo@17
|
414 begrenzte Felderanzahl scheint jedoch kein Praxisproblem
|
|
meillo@17
|
415 darzustellen, da _POSIX2_LINE_MAX mit mindestens 2048 durchaus
|
|
meillo@21
|
416 groß genug sein sollte.
|
|
meillo@11
|
417
|
|
meillo@8
|
418
|
|
meillo@2
|
419 Beschreibungen
|
|
meillo@1
|
420
|
|
meillo@19
|
421 Interessant ist zudem ein Vergleich der Kurzbeschreibungen von
|
|
meillo@17
|
422 cut, wie sie sich in der Titelzeile der Manpages oder manchmal
|
|
meillo@19
|
423 am Anfang der Quellcodedatei finden. Die folgende Liste
|
|
meillo@9
|
424 ist grob zeitlich geordnet und nach Abstammung gruppiert:
|
|
meillo@3
|
425
|
|
meillo@3
|
426
|
|
meillo@2
|
427 System III cut out selected fields of each line of a file
|
|
meillo@3
|
428 System III (src) cut and paste columns of a table (projection of a relation)
|
|
meillo@2
|
429 System V cut out selected fields of each line of a file
|
|
meillo@2
|
430 HP-UX cut out (extract) selected fields of each line of a file
|
|
meillo@2
|
431
|
|
meillo@3
|
432 4.3BSD-UWisc (src) cut and paste columns of a table (projection of a relation)
|
|
meillo@2
|
433 4.3BSD-Reno select portions of each line of a file
|
|
meillo@2
|
434 NetBSD select portions of each line of a file
|
|
meillo@7
|
435 OpenBSD 4.6 select portions of each line of a file
|
|
meillo@2
|
436 FreeBSD 1.0 select portions of each line of a file
|
|
meillo@10
|
437 FreeBSD 10.0 cut out selected portions of each line of a file
|
|
meillo@2
|
438 SunOS 4.1.3 remove selected fields from each line of a file
|
|
meillo@2
|
439 SunOS 5.5.1 cut out selected fields of each line of a file
|
|
meillo@2
|
440
|
|
meillo@8
|
441 Heirloom Tools cut out selected fields of each line of a file
|
|
meillo@9
|
442 Heirloom Tools (src) cut out fields of lines of files
|
|
meillo@2
|
443
|
|
meillo@2
|
444 GNU coreutils remove sections from each line of files
|
|
meillo@2
|
445
|
|
meillo@2
|
446 Minix select out columns of a file
|
|
meillo@2
|
447
|
|
meillo@2
|
448 Version 8 Unix rearrange columns of data
|
|
meillo@2
|
449 ``Unix Reader'' rearrange columns of text
|
|
meillo@2
|
450
|
|
meillo@9
|
451 POSIX cut out selected fields of each line of a file
|
|
meillo@2
|
452
|
|
meillo@9
|
453
|
|
meillo@9
|
454 Die mit ``(src)'' markierten Beschreibungen sind aus dem
|
|
meillo@21
|
455 jeweiligen Quellcode entnommen. Der POSIX-Eintrag enthält
|
|
meillo@18
|
456 die Beschreibung im Standard. Der ``Unix Reader'' ist ein
|
|
meillo@21
|
457 rückblickendes Textdokument von Doug McIlroy, das das
|
|
meillo@18
|
458 Auftreten der Tools in der Geschichte des Research Unix zum
|
|
meillo@17
|
459 Thema hat.
|
|
meillo@16
|
460 [ http://doc.cat-v.org/unix/unix-reader/contents.pdf
|
|
meillo@17
|
461 Eigentlich sollte seine Beschreibung der in Version 8 Unix
|
|
meillo@21
|
462 entsprechen. Die Abweichung könnte ein Übertragungsfehler
|
|
meillo@21
|
463 oder eine nachträgliche Korrektur sein. Alle übrigen
|
|
meillo@19
|
464 Beschreibungen entstammen den Manpages.
|
|
meillo@5
|
465
|
|
meillo@21
|
466 Oft ist mit der Zeit die POSIX-Beschreibung übernommen
|
|
meillo@17
|
467 oder an sie angeglichen worden, wie beispielsweise bei FreeBSD.
|
|
meillo@5
|
468 [ https://svnweb.freebsd.org/base?view=revision&revision=167101
|
|
meillo@5
|
469
|
|
meillo@7
|
470 Interessant ist, dass die GNU coreutils seit Anbeginn vom
|
|
meillo@5
|
471 Entfernen von Teilen der Eingabe sprechen, wohingegen die
|
|
meillo@21
|
472 Kommandozeilenangabe klar ein Auswählen darstellt. Die
|
|
meillo@21
|
473 Worte ``cut out'' sind vielleicht auch zu missverständlich.
|
|
meillo@21
|
474 HP-UX hat sie deshalb präzisiert.
|
|
meillo@5
|
475
|
|
meillo@19
|
476 Beim Begriff, was selektiert wird, ist man sich ebenfalls
|
|
meillo@17
|
477 uneins. Die Einen reden von Feldern (POSIX), Andere von
|
|
meillo@17
|
478 Abschnitten bzw. Teilen (BSD) und wieder Andere von Spalten
|
|
meillo@5
|
479 (Research Unix). Ironischerweise leistet sich gerade Version
|
|
meillo@5
|
480 8 Unix, das eigentlich um eine sehr treffende Weltsicht
|
|
meillo@21
|
481 bemüht ist, mit ``rearrange columns of data'' die
|
|
meillo@5
|
482 unzutreffendste der Beschreibungen.
|
|
meillo@5
|
483
|
|
meillo@5
|
484
|
|
meillo@6
|
485 Autoreninfo
|
|
meillo@6
|
486
|
|
meillo@21
|
487 Markus Schnalke interessiert sich für die Hintergründe
|
|
meillo@21
|
488 von Unix und seinen Werkzeugen. Für die Erarbeitung dieses
|
|
meillo@6
|
489 Textes wurde er regelrecht zum Historiker.
|
|
meillo@6
|
490
|
|
meillo@6
|
491
|
|
meillo@6
|
492 Lizenz
|
|
meillo@10
|
493
|
|
meillo@6
|
494 CC0 (und kann damit auch unter CC BY-SA 4.0 Unported
|
|
meillo@21
|
495 veröffentlicht werden)
|
