Hoe een csv-bestand te verdelen op basis van het aantal rijen？

Hoe een csv-bestand te verdelen op basis van het aantal rijen？

In ons dagelijks werk moeten we vaak een bestand opdelen in kleine bestanden. Ik heb bijvoorbeeld een bestand van 1 miljoen regels en ik wil het opdelen in een bestand met elke 100.000 regels. Dit is niet eenvoudig en soms moet je het programmeren.

Er zijn verschillende manieren om een groot CSV- of Excel-bestand op te splitsen in kleinere bestanden:

• Excel gebruiken: Open het grote bestand in Excel, sorteer de gegevens in de kolom die u wilt gebruiken om de gegevens te splitsen, selecteer en kopieer vervolgens de gegevens voor elk kleiner bestand en plak deze in een nieuwe werkmap. Sla elke nieuwe werkmap op als een apart bestand.
• Een scripttaal zoals Python gebruiken: Gebruik de pandabibliotheek om het grote bestand in te lezen, gebruik vervolgens pandamethoden om de gegevens op te splitsen in kleinere dataframes en schrijf uiteindelijk elk dataframe naar een apart CSV-bestand.
• Met behulp van een gegevensbeheertool zoals SQL: Importeer het grote bestand in een database, gebruik vervolgens SQL-query's om de gegevens op te splitsen in kleinere tabellen en exporteer elke tabel als een afzonderlijk CSV-bestand.
• Met behulp van een opdrachtregelprogramma zoals splitsen: Als het grote bestand een gewoon tekstbestand (CSV) is, kunt u het in kleinere bestanden splitsen met de opdracht „split” in een terminal. Bijvoorbeeld, „split -l 20000 largefile.csv splitfile_” zal largefile.csv opsplitsen in meerdere bestanden, die elk 20000 regels bevatten, met namen zoals splitfile_aa, splitfile_ab, enz.

Je kunt Microsoft Excel gebruiken om een groot CSV- of Excel-bestand op te splitsen in kleinere bestanden. Hier is hoe:

• Open het grote bestand in Microsoft Excel.
• Sorteer de gegevens op basis van de kolom die u wilt gebruiken om de gegevens op te splitsen in kleinere bestanden.
• Selecteer en kopieer de gegevens voor het eerste kleinere bestand.
• Maak een nieuwe werkmap in Microsoft Excel.
• Plak de gekopieerde gegevens in de nieuwe werkmap.
• Sla de nieuwe werkmap op als een apart bestand.
• Herhaal de stappen 3-6 voor elk extra kleiner bestand.

Opmerking: Het aantal rijen in elk kleiner bestand is afhankelijk van het aantal rijen dat u in elke nieuwe werkmap wilt kopiëren en plakken.

Hier is een voorbeeld van hoe je een groot CSV-bestand kunt splitsen in kleinere bestanden op basis van het aantal rijen met Python en panda's:

import pandas as pd

# Read the large csv file into a pandas dataframe
df = pd.read_csv("largefile.csv")

# Set the number of rows per file
rows_per_file = 5000

# Get the total number of rows
total_rows = df.shape[0]

# Calculate the number of files needed
num_files = total_rows // rows_per_file + (total_rows % rows_per_file > 0)

# Split the data into smaller dataframes
for i in range(num_files):
    start = i * rows_per_file
    end = (i + 1) * rows_per_file
    filename = f"split_file_{i}.csv"
    df.iloc[start:end].to_csv(filename, index=False)

De beste manier: gebruik de QuickTran-functie

• Bezoek onze website en vind de online tool.
• Open je csv-bestand door op de knop „Bestand kiezen” te klikken en het bestand te selecteren dat je wilt wijzigen.
• Nadat het bestand is geüpload, kunt u „het aantal rijen” invoeren waarin u wilt splitsen. Binnen enkele seconden splits je het grote csv op in kleine bestanden.
• Vervolgens kunt u de bestanden downloaden en op uw computer opslaan.