Como dividir um arquivo csv em vários arquivos pequenos?

Como dividir um arquivo csv em vários arquivos pequenos

Dividir um arquivo grande em arquivos pequenos não é uma questão muito simples. Por exemplo, encontraremos muitos cenários como esse no trabalho. Talvez tenhamos um arquivo csv que salve os dados do pedido e haja milhões de linhas nele. Precisamos colocar isso. O arquivo é dividido em vários arquivos csv de tamanho semelhante. Como podemos fazer isso? Siga estas etapas e guias para saber mais sobre nosso produto e como usá-lo de forma eficaz.

Há várias maneiras de dividir um arquivo CSV ou Excel grande em arquivos menores:

• Usando o Excel: abra o arquivo grande no Excel, classifique os dados na coluna que você deseja usar para dividir os dados, selecione e copie os dados para cada arquivo menor e cole-os em uma nova pasta de trabalho. Salve cada nova pasta de trabalho como um arquivo separado.
• Usando uma linguagem de script como Python: use a biblioteca pandas para ler o arquivo grande, depois use os métodos pandas para dividir os dados em quadros de dados menores e, finalmente, gravar cada quadro de dados em um arquivo CSV separado.
• Usando uma ferramenta de gerenciamento de dados como SQL: importe o arquivo grande para um banco de dados e use consultas SQL para dividir os dados em tabelas menores e exportar cada tabela como um arquivo CSV separado.
• Usando uma ferramenta de linha de comando, como dividir: se o arquivo grande for um arquivo de texto simples (CSV), você poderá dividi-lo em arquivos menores usando o comando “dividir” em um terminal. Por exemplo, “split -l 20000 largefile.csv splitfile_” dividirá o largefile.csv em vários arquivos, cada um contendo 20.000 linhas, com nomes como splitfile_aa, splitfile_ab etc.

Se você pode usar Python, você pode dividir o arquivo csv grande em arquivos pequenos:

Aqui está um exemplo de código Python usando a biblioteca pandas para dividir um arquivo CSV grande em arquivos menores com base em uma coluna específica:

import pandas as pd

# read the large csv file into a pandas dataframe
df = pd.read_csv('largefile.csv')

# get the unique values of the column you want to split the data by
column_values = df[column_name].unique()

# loop over the unique values of the column
for value in column_values:
    # create a dataframe for each unique value
    value_df = df[df[column_name] == value]

    # write the dataframe to a new csv file
    value_df.to_csv(f'{column_name}_{value}.csv', index=False)

A melhor maneira: Use a função QuickTran

• Visite nosso site e encontre a ferramenta online.
• Abra seu arquivo csv clicando no botão “Escolher arquivo” e selecionando o arquivo que você deseja alterar.
• Depois que o arquivo for carregado, você poderá inserir os números nos quais deseja dividir. Em segundos, você dividirá o csv grande em arquivos pequenos.
• Em seguida, você pode baixar os arquivos e salvá-los em seu computador.