CSV-Datenverarbeitung: Parsing, Bereinigung und Konvertierungstechniken

Was ist CSV

CSV (Comma-Separated Values) ist eine Datei mit kommagetrennten Werten. Das einfachste Tabellendatenformat, jede Zeile ist ein Datensatz, Felder werden durch Kommas getrennt.

Name,Alter,Stadt
Hans,25,Berlin
Anna,30,Hamburg

CSV ist ein universelles Format zum Datenaustausch. Excel, Datenbanken und Programmiersprachen können CSV lesen und schreiben.

CSV-Parsing-Regeln

Grundstruktur

• Eine Zeile = ein Datensatz
• Felder werden durch ein Trennzeichen getrennt (meistens Komma)
• Die erste Zeile ist meistens die Kopfzeile
• Datensätze werden durch Zeilenumbrüche getrennt

Feld mit Komma

Wenn ein Feld ein Komma enthält, in doppelte Anführungszeichen einschließen:

Name,Beschreibung
Hans,"Hallo, Welt"

Ohne Anführungszeichen wird es als zwei Felder interpretiert.

Feld mit doppelten Anführungszeichen

Wenn ein Feld doppelte Anführungszeichen enthält, durch Verdopplung escapen:

Name,Beschreibung
Hans,"Er sagte ""Hallo"""

Feld mit Zeilenumbruch

Wenn ein Feld einen Zeilenumbruch enthält, in doppelte Anführungszeichen einschließen:

Name,Beschreibung
Hans,"Erste Zeile
Zweite Zeile"

Trennzeichen-Varianten

• Komma: Standard-CSV
• Semikolon: in Europa gebräuchlich (Excel europäische Version als Standard)
• Tabulator: TSV (Tab-Separated Values)
• Pipe: einige Systeme verwenden |

Vor der Konvertierung das Trennzeichen bestätigen.

Datenbereinigung

Leerzeichen entfernen

• Leerzeichen vor und nach Feldern: trim
• Leere Zeilen: löschen
• BOM-Header: entfernen

Formate vereinheitlichen

• Daten: auf YYYY-MM-DD vereinheitlichen
• Zahlen: einheitliches Dezimaltrennzeichen (ohne Tausendertrennzeichen)
• Boolesche Werte: einheitlich true/false oder 0/1
• Kodierung: einheitlich UTF-8

Umgang mit fehlenden Werten

• Leere Felder: Standardwert eintragen oder als null markieren
• Komplett fehlende Zeilen: löschen oder ergänzen
• Fehlende Schlüsselfelder: als Fehler markieren

Deduplizierung

• Komplett doppelte Zeilen: löschen
• Doppelte Primärschlüssel: neueste behalten oder zusammenführen

Häufige Probleme

Verstümmelte chinesische Zeichen

CSV-Kodierungsprobleme sind am häufigsten. Excel verwendet standardmäßig GBK (chinesische Version), andere Tools verwenden UTF-8.

Lösungen:

• Beim Excel-Export „CSV UTF-8“ wählen
• Mit einem Texteditor als UTF-8 speichern
• Konvertierungstools unterstützen automatische Kodierungserkennung

Trennzeichen-Erkennungsfehler

CSV verwendet Kommas, aber Excel in der europäischen Version verwendet standardmäßig Semikolons. Beim Öffnen der CSV wird alles in eine Spalte gepresst.

Lösungen:

• Mit einem Texteditor öffnen und Trennzeichen bestätigen
• Beim Excel-Import Trennzeichen angeben (Daten → Text in Spalten)

BOM-Header

Von Excel exportierte UTF-8-CSVs können einen BOM (\uFEFF) enthalten. Vor dem ersten Feldnamen erscheint ein unsichtbares Zeichen.

Lösung: BOM mit einem Texteditor entfernen oder vom Konvertierungstool automatisch behandeln lassen.

Zahlen in wissenschaftlicher Notation

Lange Zahlen (Ausweisnummern, Bestellnummern) werden in Excel zur wissenschaftlichen Notation (1.23E+18).

Lösungen:

• In Excel die Spalte auf „Text“ formatieren vor dem Einfügen
• Im CSV ein führendes Apostroph vor der Zahl setzen ('123456)
• Beim Import die Spalte als Text angeben

Inkonsistentes Datumsformat

Datumsformate unterscheiden sich je nach Region:

• China: 2024/1/1
• USA: 1/1/2024
• Europa: 1.1.2024

Lösung: auf ISO 8601 vereinheitlichen (2024-01-01).

Inkonsistente Zeilenumbrüche

Windows verwendet \r\n, Mac/Linux verwendet \n. Gemischte Verwendung führt zu Parsing-Fehlern.

Lösung: Zeilenumbrüche vereinheitlichen.

CSV-Konvertierung

CSV zu JSON

Programme verarbeiten JSON leichter als CSV. Mit dem CSV-zu-JSON-Tool mit einem Klick konvertieren.

CSV zu Excel

CSV in Excel geöffnet wird zur Tabelle. Aber auf Kodierung und Trennzeichen achten.

Excel zu CSV

Excel als CSV speichern. Hinweise:

• Nur das aktive Tabellenblatt wird gespeichert
• Formeln werden zu Werten
• Formatierungen gehen verloren
• Mehrere Tabellenblätter müssen einzeln gespeichert werden

Batch-Verarbeitung

Mehrere CSVs zusammenführen

Mehrere CSV-Dateien zu einer zusammenführen:

1. Kopfzeilen auf Konsistenz prüfen
2. Kopfzeile der ersten Datei behalten
3. Kopfzeilen der nachfolgenden Dateien entfernen
4. Inhalte verketten

Große CSV aufteilen

Große CSV nach Zeilenzahl aufteilen:

1. Kopfzeile in jede Datei übernehmen
2. Nach angegebener Zeilenzahl aufteilen
3. Mehrere kleine Dateien erzeugen

Daten filtern

CSV-Daten nach Bedingungen filtern:

• Ein Feld gleich einem bestimmten Wert
• Filterung nach Zahlenbereich
• Filterung nach Datumsbereich

CSV mit DocsAll verarbeiten

CSV-zu-JSON-Tool:

1. CSV hochladen oder Inhalt einfügen
2. Automatisches Parsing
3. Zu JSON konvertieren
4. Kopieren oder herunterladen

Verarbeitung im Browser, Daten werden nicht hochgeladen.

Verarbeitungstipps

Zuerst Daten ansehen

Vor der Verarbeitung den CSV-Inhalt ansehen:

• Mit einem Texteditor öffnen (nicht Excel)
• Trennzeichen bestätigen
• Kodierung bestätigen
• Kopfzeile bestätigen
• Datenvollständigkeit prüfen

Originaldatei sichern

Vor der Verarbeitung das Original-CSV sichern. Bei Bereinigungsfehlern kann zurückgegangen werden.

Kleinere Charge testen

Zuerst einige Zeilen testweise verarbeiten, die Logik bestätigen, dann die Batch-Verarbeitung durchführen.

Ergebnisse validieren

Nach der Verarbeitung validieren:

• Ist die Zeilenanzahl korrekt (nach Bereinigung sollte sie nicht unnötig reduziert sein)
• Ist die Feldanzahl konsistent
• Stichprobenartige Prüfung der Schlüsseldaten

Zusammenfassung

Essenz der CSV-Verarbeitung: Parsing-Regeln verstehen (Komma, Anführungszeichen, Zeilenumbruch), Kodierungsprobleme lösen (UTF-8, BOM), Daten bereinigen (Leerzeichen, Formate, fehlende Werte), Formate konvertieren (JSON, Excel). Vor der Verarbeitung Daten ansehen, nach der Verarbeitung Ergebnisse validieren. Das DocsAll CSV-zu-JSON-Tool läuft im Browser, Daten werden nicht übertragen.