Comment diviser un fichier csv en plusieurs petits fichiers ?

Comment diviser un fichier CSV en plusieurs petits fichiers

Diviser un gros fichier en petits fichiers n'est pas une mince affaire. Par exemple, nous serons confrontés à de nombreux scénarios de ce type au travail. Il se peut que nous ayons un fichier CSV qui enregistre les données des commandes et qu'il contient des millions de lignes. Nous devons mettre ceci Le fichier est divisé en plusieurs fichiers csv de taille similaire. Comment pouvons-nous le faire ? Suivez ces étapes et ces guides pour en savoir plus sur notre produit et sur la façon de l'utiliser efficacement.

Il existe plusieurs méthodes pour diviser un fichier CSV ou Excel volumineux en fichiers plus petits :

• À l'aide d'Excel : ouvrez le fichier volumineux dans Excel, triez les données de la colonne que vous souhaitez utiliser pour fractionner les données, puis sélectionnez et copiez les données pour chaque fichier plus petit et collez-les dans un nouveau classeur. Enregistrez chaque nouveau classeur dans un fichier distinct.
• À l'aide d'un langage de script tel que Python : utilisez la bibliothèque pandas pour lire le gros fichier, puis utilisez les méthodes pandas pour diviser les données en trames de données plus petites, et enfin écrivez chaque trame de données dans un fichier CSV distinct.
• À l'aide d'un outil de gestion des données tel que SQL : importez le fichier volumineux dans une base de données, puis utilisez des requêtes SQL pour diviser les données en tables plus petites et exporter chaque table dans un fichier CSV distinct.
• À l'aide d'un outil en ligne de commande tel que split : si le fichier volumineux est un fichier texte brut (CSV), vous pouvez le diviser en fichiers plus petits à l'aide de la commande « split » dans un terminal. Par exemple, « split -l 20000 largefile.csv splitfile_ » divisera le fichier largefile.csv en plusieurs fichiers, chacun contenant 20 000 lignes, avec des noms tels que splitfile_aa, splitfile_ab, etc.

Si vous pouvez utiliser Python, vous pouvez diviser le gros fichier csv en petits fichiers :

Voici un exemple de code Python utilisant la bibliothèque pandas pour diviser un fichier CSV volumineux en fichiers plus petits en fonction d'une colonne spécifique :

import pandas as pd

# read the large csv file into a pandas dataframe
df = pd.read_csv('largefile.csv')

# get the unique values of the column you want to split the data by
column_values = df[column_name].unique()

# loop over the unique values of the column
for value in column_values:
    # create a dataframe for each unique value
    value_df = df[df[column_name] == value]

    # write the dataframe to a new csv file
    value_df.to_csv(f'{column_name}_{value}.csv', index=False)

Le meilleur moyen : Utiliser la fonction QuickTran

• Visitez notre site Web et trouvez l'outil en ligne.
• Ouvrez votre fichier csv en cliquant sur le bouton « Choisir un fichier » et en sélectionnant le fichier que vous souhaitez modifier.
• Une fois le fichier chargé, vous pouvez saisir les numéros entre lesquels vous souhaitez le diviser. En quelques secondes, vous allez diviser le gros fichier csv en petits fichiers.
• Vous pouvez ensuite télécharger les fichiers et les enregistrer sur votre ordinateur.