Как разделить csv-файл на несколько небольших файлов?

Как разделить csv-файл на несколько небольших файлов

Разделение большого файла на маленькие — дело не очень простое. Например, на работе мы столкнемся со многими подобными сценариями: у нас может быть csv-файл, который сохраняет данные о заказах, и в нем миллионы строк. Нам нужно поместить это Файл разделен на несколько csv-файлов одинакового размера. Как нам это сделать? Следуйте этим инструкциям и инструкциям, чтобы узнать больше о нашем продукте и способах его эффективного использования.

Существует несколько способов разбить большой файл CSV или Excel на файлы меньшего размера:

• Использование Excel: откройте большой файл в Excel, отсортируйте данные в столбце, который вы хотите использовать для разделения данных, затем выберите и скопируйте данные для каждого файла меньшего размера и вставьте их в новую рабочую книгу. Сохраняйте каждую новую рабочую книгу в виде отдельного файла.
• Использование скриптового языка, такого как Python: используйте библиотеку pandas для чтения большого файла, затем используйте методы pandas для разделения данных на более мелкие фреймы данных и, наконец, запишите каждый фрейм данных в отдельный CSV-файл.
• Использование инструмента управления данными, такого как SQL: импортируйте большой файл в базу данных, затем используйте SQL-запросы, чтобы разделить данные на небольшие таблицы и экспортировать каждую таблицу в отдельный CSV-файл.
• Использование инструмента командной строки, например split: если большой файл представляет собой обычный текстовый файл (CSV), его можно разделить на файлы меньшего размера с помощью команды «split» в терминале. Например, «split -l 20000 largefile.csv splitfile_» разделит файл largefile.csv на несколько файлов, каждый из которых содержит 20000 строк с такими именами, как splitfile_aa, splitfile_ab и т. д.

Если вы можете использовать Python, вы можете разделить большой csv-файл на маленькие:

Вот пример кода Python, использующего библиотеку pandas для разделения большого CSV-файла на файлы меньшего размера на основе определенного столбца:

import pandas as pd

# read the large csv file into a pandas dataframe
df = pd.read_csv('largefile.csv')

# get the unique values of the column you want to split the data by
column_values = df[column_name].unique()

# loop over the unique values of the column
for value in column_values:
    # create a dataframe for each unique value
    value_df = df[df[column_name] == value]

    # write the dataframe to a new csv file
    value_df.to_csv(f'{column_name}_{value}.csv', index=False)

Лучший способ: используйте функцию QuickTran

• Посетите наш веб-сайт и найдите онлайн-инструмент.
• Откройте csv-файл, нажав кнопку «Выбрать файл» и выбрав файл, который хотите изменить.
• Как только файл будет загружен, вы можете ввести числа, на которые вы хотите разделить. Через несколько секунд вы разделите большой csv-файл на небольшие файлы.
• Затем вы можете загрузить файлы и сохранить их на своем компьютере.