Como dividir um arquivo csv de acordo com o número de linhas？

Como dividir um arquivo csv de acordo com o número de linhas？

Muitas vezes, precisamos dividir um arquivo em pequenos arquivos em nosso trabalho diário. Por exemplo, tenho um arquivo com 1 milhão de linhas e quero dividi-lo em um arquivo a cada 100.000 linhas. Isso não é uma questão simples e, às vezes, você precisa programá-la.

Há várias maneiras de dividir um arquivo CSV ou Excel grande em arquivos menores:

• Usando o Excel: abra o arquivo grande no Excel, classifique os dados na coluna que você deseja usar para dividir os dados, selecione e copie os dados para cada arquivo menor e cole-os em uma nova pasta de trabalho. Salve cada nova pasta de trabalho como um arquivo separado.
• Usando uma linguagem de script como Python: use a biblioteca pandas para ler o arquivo grande, depois use os métodos pandas para dividir os dados em quadros de dados menores e, finalmente, gravar cada quadro de dados em um arquivo CSV separado.
• Usando uma ferramenta de gerenciamento de dados como SQL: importe o arquivo grande para um banco de dados e use consultas SQL para dividir os dados em tabelas menores e exportar cada tabela como um arquivo CSV separado.
• Usando uma ferramenta de linha de comando, como dividir: se o arquivo grande for um arquivo de texto simples (CSV), você poderá dividi-lo em arquivos menores usando o comando “dividir” em um terminal. Por exemplo, “split -l 20000 largefile.csv splitfile_” dividirá o largefile.csv em vários arquivos, cada um contendo 20.000 linhas, com nomes como splitfile_aa, splitfile_ab etc.

Você pode usar o Microsoft Excel para dividir um arquivo CSV ou Excel grande em arquivos menores. Veja como:

• Abra o arquivo grande no Microsoft Excel.
• Classifique os dados com base na coluna que você deseja usar para dividir os dados em arquivos menores.
• Selecione e copie os dados para o primeiro arquivo menor.
• Crie uma nova pasta de trabalho no Microsoft Excel.
• Cole os dados copiados na nova pasta de trabalho.
• Salve a nova pasta de trabalho como um arquivo separado.
• Repita as etapas 3 a 6 para cada arquivo menor adicional.

Nota: O número de linhas em cada arquivo menor dependerá do número de linhas que você escolher para copiar e colar em cada nova pasta de trabalho.

Veja um exemplo de como dividir um arquivo CSV grande em arquivos menores com base no número de linhas usando Python e pandas:

import pandas as pd

# Read the large csv file into a pandas dataframe
df = pd.read_csv("largefile.csv")

# Set the number of rows per file
rows_per_file = 5000

# Get the total number of rows
total_rows = df.shape[0]

# Calculate the number of files needed
num_files = total_rows // rows_per_file + (total_rows % rows_per_file > 0)

# Split the data into smaller dataframes
for i in range(num_files):
    start = i * rows_per_file
    end = (i + 1) * rows_per_file
    filename = f"split_file_{i}.csv"
    df.iloc[start:end].to_csv(filename, index=False)

A melhor maneira: Use a função QuickTran

• Visite nosso site e encontre a ferramenta online.
• Abra seu arquivo csv clicando no botão “Escolher arquivo” e selecionando o arquivo que você deseja alterar.
• Depois que o arquivo for carregado, você poderá inserir “o número de linhas” nas quais deseja dividir. Em segundos, você dividirá o csv grande em arquivos pequenos.
• Em seguida, você pode baixar os arquivos e salvá-los em seu computador.