Wie teilt man eine CSV-Datei nach der Anzahl der Zeilen auf?

Wie teilt man eine CSV-Datei nach der Anzahl der Zeilen auf?

In unserer täglichen Arbeit müssen wir eine Datei oft in kleine Dateien aufteilen. Ich habe zum Beispiel eine Datei mit 1 Million Zeilen und möchte sie in eine Datei mit jeweils 100.000 Zeilen aufteilen. Das ist keine einfache Angelegenheit, und manchmal muss man sie programmieren.

Es gibt mehrere Möglichkeiten, eine große CSV- oder Excel-Datei in kleinere Dateien aufzuteilen:

• Mit Excel: Öffnen Sie die große Datei in Excel, sortieren Sie die Daten in der Spalte, die Sie zum Teilen der Daten verwenden möchten, wählen Sie dann die Daten für jede kleinere Datei aus, kopieren Sie sie und fügen Sie sie in eine neue Arbeitsmappe ein. Speichern Sie jede neue Arbeitsmappe als separate Datei.
• Verwenden einer Skriptsprache wie Python: Verwenden Sie die Pandas-Bibliothek, um die große Datei einzulesen, verwenden Sie dann die Pandas-Methoden, um die Daten in kleinere Datenrahmen aufzuteilen, und schreiben Sie schließlich jeden Datenrahmen in eine separate CSV-Datei.
• Verwenden eines Datenmanagement-Tools wie SQL: Importieren Sie die große Datei in eine Datenbank, verwenden Sie dann SQL-Abfragen, um die Daten in kleinere Tabellen aufzuteilen und jede Tabelle als separate CSV-Datei zu exportieren.
• Mit einem Befehlszeilentool wie Split: Wenn es sich bei der großen Datei um eine einfache Textdatei (CSV) handelt, können Sie sie mit dem Befehl „Split“ in einem Terminal in kleinere Dateien aufteilen. Zum Beispiel teilt „split -l 20000 largefile.csv splitfile_“ die largefile.csv in mehrere Dateien auf, die jeweils 20000 Zeilen enthalten und Namen wie splitfile_aa, splitfile_ab usw. haben.

Sie können Microsoft Excel verwenden, um eine große CSV- oder Excel-Datei in kleinere Dateien aufzuteilen. So geht's:

• Öffnen Sie die große Datei in Microsoft Excel.
• Sortieren Sie die Daten anhand der Spalte, die Sie verwenden möchten, um die Daten in kleinere Dateien aufzuteilen.
• Wählen Sie die Daten für die erste kleinere Datei aus und kopieren Sie sie.
• Erstellen Sie eine neue Arbeitsmappe in Microsoft Excel.
• Fügen Sie die kopierten Daten in die neue Arbeitsmappe ein.
• Speichern Sie die neue Arbeitsmappe als separate Datei.
• Wiederholen Sie die Schritte 3-6 für jede weitere kleinere Datei.

Hinweis: Die Anzahl der Zeilen in jeder kleineren Datei hängt von der Anzahl der Zeilen ab, die Sie zum Kopieren und Einfügen in jede neue Arbeitsmappe auswählen.

Hier ist ein Beispiel dafür, wie man eine große CSV-Datei basierend auf der Anzahl der Zeilen mit Python und Pandas in kleinere Dateien aufteilt:

import pandas as pd

# Read the large csv file into a pandas dataframe
df = pd.read_csv("largefile.csv")

# Set the number of rows per file
rows_per_file = 5000

# Get the total number of rows
total_rows = df.shape[0]

# Calculate the number of files needed
num_files = total_rows // rows_per_file + (total_rows % rows_per_file > 0)

# Split the data into smaller dataframes
for i in range(num_files):
    start = i * rows_per_file
    end = (i + 1) * rows_per_file
    filename = f"split_file_{i}.csv"
    df.iloc[start:end].to_csv(filename, index=False)

Der beste Weg: Verwenden Sie die QuickTran-Funktion

• Besuchen Sie unsere Website und finden Sie das Online-Tool.
• Öffnen Sie Ihre CSV-Datei, indem Sie auf die Schaltfläche „Datei auswählen“ klicken und die Datei auswählen, die Sie ändern möchten.
• Sobald die Datei hochgeladen wurde, können Sie „die Anzahl der Zeilen“ eingeben, in die Sie aufgeteilt werden möchten. In Sekunden teilen Sie die große CSV-Datei in kleine Dateien auf.
• Sie können die Dateien dann herunterladen und auf Ihrem Computer speichern.