Comment diviser un fichier csv en fonction du nombre de lignes ?

Comment diviser un fichier csv en fonction du nombre de lignes ?

Dans notre travail quotidien, nous avons souvent besoin de diviser un fichier en petits fichiers. Par exemple, j'ai un fichier de 1 million de lignes et je veux le diviser en un fichier de 100 000 lignes. Ce n'est pas une mince affaire et il faut parfois le programmer.

Il existe plusieurs méthodes pour diviser un fichier CSV ou Excel volumineux en fichiers plus petits :

• À l'aide d'Excel : ouvrez le fichier volumineux dans Excel, triez les données de la colonne que vous souhaitez utiliser pour fractionner les données, puis sélectionnez et copiez les données pour chaque fichier plus petit et collez-les dans un nouveau classeur. Enregistrez chaque nouveau classeur dans un fichier distinct.
• À l'aide d'un langage de script tel que Python : utilisez la bibliothèque pandas pour lire le gros fichier, puis utilisez les méthodes pandas pour diviser les données en trames de données plus petites, et enfin écrivez chaque trame de données dans un fichier CSV distinct.
• À l'aide d'un outil de gestion des données tel que SQL : importez le fichier volumineux dans une base de données, puis utilisez des requêtes SQL pour diviser les données en tables plus petites et exporter chaque table dans un fichier CSV distinct.
• À l'aide d'un outil en ligne de commande tel que split : si le fichier volumineux est un fichier texte brut (CSV), vous pouvez le diviser en fichiers plus petits à l'aide de la commande « split » dans un terminal. Par exemple, « split -l 20000 largefile.csv splitfile_ » divisera le fichier largefile.csv en plusieurs fichiers, chacun contenant 20 000 lignes, avec des noms tels que splitfile_aa, splitfile_ab, etc.

Vous pouvez utiliser Microsoft Excel pour diviser un fichier CSV ou Excel volumineux en fichiers plus petits. Voici comment procéder :

• Ouvrez le fichier volumineux dans Microsoft Excel.
• Triez les données en fonction de la colonne que vous souhaitez utiliser pour diviser les données en fichiers plus petits.
• Sélectionnez et copiez les données pour le premier fichier plus petit.
• Créez un nouveau classeur dans Microsoft Excel.
• Collez les données copiées dans le nouveau classeur.
• Enregistrez le nouveau classeur dans un fichier distinct.
• Répétez les étapes 3 à 6 pour chaque fichier plus petit supplémentaire.

Remarque : Le nombre de lignes dans chaque petit fichier dépend du nombre de lignes que vous choisissez de copier et coller dans chaque nouveau classeur.

Voici un exemple de division d'un fichier CSV volumineux en fichiers plus petits en fonction du nombre de lignes à l'aide de Python et de pandas :

import pandas as pd

# Read the large csv file into a pandas dataframe
df = pd.read_csv("largefile.csv")

# Set the number of rows per file
rows_per_file = 5000

# Get the total number of rows
total_rows = df.shape[0]

# Calculate the number of files needed
num_files = total_rows // rows_per_file + (total_rows % rows_per_file > 0)

# Split the data into smaller dataframes
for i in range(num_files):
    start = i * rows_per_file
    end = (i + 1) * rows_per_file
    filename = f"split_file_{i}.csv"
    df.iloc[start:end].to_csv(filename, index=False)

Le meilleur moyen : Utiliser la fonction QuickTran

• Visitez notre site Web et trouvez l'outil en ligne.
• Ouvrez votre fichier csv en cliquant sur le bouton « Choisir un fichier » et en sélectionnant le fichier que vous souhaitez modifier.
• Une fois le fichier chargé, vous pouvez saisir « le nombre de lignes » que vous souhaitez diviser. En quelques secondes, vous allez diviser le gros fichier csv en petits fichiers.
• Vous pouvez ensuite télécharger les fichiers et les enregistrer sur votre ordinateur.