¿Cómo dividir un archivo csv según el número de filas?

¿Cómo dividir un archivo csv según el número de filas?

A menudo necesitamos dividir un archivo en archivos pequeños en nuestro trabajo diario. Por ejemplo, tengo un archivo con 1 millón de líneas y quiero dividirlo en un archivo cada 100 000 líneas. Este no es un asunto sencillo y, a veces, es necesario programarlo.

Hay varias formas de dividir un archivo CSV o Excel grande en archivos más pequeños:

• Uso de Excel: abra el archivo grande en Excel, ordene los datos de la columna que desee usar para dividir los datos y, a continuación, seleccione y copie los datos de cada archivo más pequeño y péguelos en un nuevo libro de trabajo. Guarde cada libro nuevo como un archivo independiente.
• Uso de un lenguaje de secuencias de comandos como Python: utilice la biblioteca pandas para leer el archivo grande y, a continuación, utilice los métodos de pandas para dividir los datos en marcos de datos más pequeños y, finalmente, escriba cada marco de datos en un archivo CSV independiente.
• Uso de una herramienta de gestión de datos como SQL: importe el archivo grande a una base de datos y, a continuación, utilice consultas SQL para dividir los datos en tablas más pequeñas y exportar cada tabla como un archivo CSV independiente.
• Uso de una herramienta de línea de comandos, como dividir: si el archivo grande es un archivo de texto sin formato (CSV), puedes dividirlo en archivos más pequeños mediante el comando «dividir» en una terminal. Por ejemplo, «split -l 20000 largefile.csv splitfile_» dividirá el largefile.csv en varios archivos, cada uno con 20000 líneas, con nombres como splitfile_aa, splitfile_ab, etc.

Puede utilizar Microsoft Excel para dividir un archivo CSV o Excel grande en archivos más pequeños. He aquí cómo:

• Abra el archivo grande en Microsoft Excel.
• Ordena los datos según la columna que quieras usar para dividir los datos en archivos más pequeños.
• Seleccione y copie los datos del primer archivo más pequeño.
• Cree un nuevo libro de trabajo en Microsoft Excel.
• Pegue los datos copiados en el nuevo libro de trabajo.
• Guarde el nuevo libro de trabajo como un archivo independiente.
• Repita los pasos 3 a 6 para cada archivo adicional más pequeño.

Nota: El número de filas de cada archivo más pequeño dependerá del número de filas que elija copiar y pegar en cada libro nuevo.

Este es un ejemplo de cómo dividir un archivo CSV grande en archivos más pequeños en función del número de filas con Python y pandas:

import pandas as pd

# Read the large csv file into a pandas dataframe
df = pd.read_csv("largefile.csv")

# Set the number of rows per file
rows_per_file = 5000

# Get the total number of rows
total_rows = df.shape[0]

# Calculate the number of files needed
num_files = total_rows // rows_per_file + (total_rows % rows_per_file > 0)

# Split the data into smaller dataframes
for i in range(num_files):
    start = i * rows_per_file
    end = (i + 1) * rows_per_file
    filename = f"split_file_{i}.csv"
    df.iloc[start:end].to_csv(filename, index=False)

La mejor manera: utilice la función QuickTran

• Visite nuestro sitio web y busque la herramienta en línea.
• Abre tu archivo csv haciendo clic en el botón «Elegir archivo» y seleccionando el archivo que deseas cambiar.
• Una vez cargado el archivo, puedes introducir «el número de filas» en las que quieres dividirlo. En segundos, dividirás el archivo CSV grande en archivos pequeños.
• A continuación, puede descargar los archivos y guardarlos en su ordenador.