Hoe kan ik een csv-bestand opsplitsen in meerdere kleine bestanden?

Hoe een csv-bestand te splitsen in meerdere kleine bestanden

Een groot bestand opsplitsen in kleine bestanden is niet zo eenvoudig. We zullen bijvoorbeeld veel van dit soort scenario's tegenkomen op het werk, we hebben misschien een csv-bestand waarin bestelgegevens worden opgeslagen en er staan miljoenen regels in. We moeten dit plaatsen. Het bestand is opgesplitst in verschillende csv-bestanden van vergelijkbare grootte. Hoe kunnen we dat doen? Volg deze stappen en handleidingen om meer te weten te komen over ons product en hoe je het effectief kunt gebruiken.

Er zijn verschillende manieren om een groot CSV- of Excel-bestand op te splitsen in kleinere bestanden:

• Excel gebruiken: Open het grote bestand in Excel, sorteer de gegevens in de kolom die u wilt gebruiken om de gegevens te splitsen, selecteer en kopieer vervolgens de gegevens voor elk kleiner bestand en plak deze in een nieuwe werkmap. Sla elke nieuwe werkmap op als een apart bestand.
• Een scripttaal zoals Python gebruiken: Gebruik de pandabibliotheek om het grote bestand in te lezen, gebruik vervolgens pandamethoden om de gegevens op te splitsen in kleinere dataframes en schrijf uiteindelijk elk dataframe naar een apart CSV-bestand.
• Met behulp van een gegevensbeheertool zoals SQL: Importeer het grote bestand in een database, gebruik vervolgens SQL-query's om de gegevens op te splitsen in kleinere tabellen en exporteer elke tabel als een afzonderlijk CSV-bestand.
• Met behulp van een opdrachtregelprogramma zoals splitsen: Als het grote bestand een gewoon tekstbestand (CSV) is, kunt u het in kleinere bestanden splitsen met de opdracht „split” in een terminal. Bijvoorbeeld, „split -l 20000 largefile.csv splitfile_” zal largefile.csv opsplitsen in meerdere bestanden, die elk 20000 regels bevatten, met namen zoals splitfile_aa, splitfile_ab, enz.

Als je Python kunt gebruiken, kun je het grote csv-bestand opsplitsen in kleine bestanden:

Hier is een voorbeeld van Python-code die de pandabibliotheek gebruikt om een groot CSV-bestand op te splitsen in kleinere bestanden op basis van een specifieke kolom:

import pandas as pd

# read the large csv file into a pandas dataframe
df = pd.read_csv('largefile.csv')

# get the unique values of the column you want to split the data by
column_values = df[column_name].unique()

# loop over the unique values of the column
for value in column_values:
    # create a dataframe for each unique value
    value_df = df[df[column_name] == value]

    # write the dataframe to a new csv file
    value_df.to_csv(f'{column_name}_{value}.csv', index=False)

De beste manier: gebruik de QuickTran-functie

• Bezoek onze website en vind de online tool.
• Open je csv-bestand door op de knop „Bestand kiezen” te klikken en het bestand te selecteren dat je wilt wijzigen.
• Nadat het bestand is geüpload, kunt u de nummers invoeren waarin u wilt splitsen. Binnen enkele seconden splits je het grote csv op in kleine bestanden.
• Vervolgens kunt u de bestanden downloaden en op uw computer opslaan.