Как разделить csv-файл по количеству строк？

Как разделить csv-файл по количеству строк？

В повседневной работе нам часто приходится разделять файл на небольшие файлы. Например, у меня есть файл с 1 миллионом строк, и я хочу разделить его на файл с каждые 100 000 строк. Это непростой вопрос, и иногда его нужно запрограммировать.

Существует несколько способов разбить большой файл CSV или Excel на файлы меньшего размера:

• Использование Excel: откройте большой файл в Excel, отсортируйте данные в столбце, который вы хотите использовать для разделения данных, затем выберите и скопируйте данные для каждого файла меньшего размера и вставьте их в новую рабочую книгу. Сохраняйте каждую новую рабочую книгу в виде отдельного файла.
• Использование скриптового языка, такого как Python: используйте библиотеку pandas для чтения большого файла, затем используйте методы pandas для разделения данных на более мелкие фреймы данных и, наконец, запишите каждый фрейм данных в отдельный CSV-файл.
• Использование инструмента управления данными, такого как SQL: импортируйте большой файл в базу данных, затем используйте SQL-запросы, чтобы разделить данные на небольшие таблицы и экспортировать каждую таблицу в отдельный CSV-файл.
• Использование инструмента командной строки, например split: если большой файл представляет собой обычный текстовый файл (CSV), его можно разделить на файлы меньшего размера с помощью команды «split» в терминале. Например, «split -l 20000 largefile.csv splitfile_» разделит файл largefile.csv на несколько файлов, каждый из которых содержит 20000 строк с такими именами, как splitfile_aa, splitfile_ab и т. д.

Можно использовать Microsoft Excel для разделения большого файла CSV или Excel на файлы меньшего размера. Вот как:

• Откройте большой файл в Microsoft Excel.
• Отсортируйте данные по столбцу, который вы хотите использовать для разделения данных на файлы меньшего размера.
• Выберите и скопируйте данные для первого файла меньшего размера.
• Создайте новую рабочую книгу в Microsoft Excel.
• Вставьте скопированные данные в новую рабочую книгу.
• Сохраните новую рабочую книгу в виде отдельного файла.
• Повторите шаги 3-6 для каждого дополнительного файла меньшего размера.

Примечание. Количество строк в каждом файле меньшего размера будет зависеть от количества строк, которые вы решите скопировать и вставить в каждую новую рабочую книгу.

Вот пример того, как разделить большой CSV-файл на файлы меньшего размера в зависимости от количества строк с помощью Python и pandas:

import pandas as pd

# Read the large csv file into a pandas dataframe
df = pd.read_csv("largefile.csv")

# Set the number of rows per file
rows_per_file = 5000

# Get the total number of rows
total_rows = df.shape[0]

# Calculate the number of files needed
num_files = total_rows // rows_per_file + (total_rows % rows_per_file > 0)

# Split the data into smaller dataframes
for i in range(num_files):
    start = i * rows_per_file
    end = (i + 1) * rows_per_file
    filename = f"split_file_{i}.csv"
    df.iloc[start:end].to_csv(filename, index=False)

Лучший способ: используйте функцию QuickTran

• Посетите наш веб-сайт и найдите онлайн-инструмент.
• Откройте csv-файл, нажав кнопку «Выбрать файл» и выбрав файл, который хотите изменить.
• После загрузки файла вы можете ввести «количество строк», на которые вы хотите разделить. Через несколько секунд вы разделите большой csv-файл на небольшие файлы.
• Затем вы можете загрузить файлы и сохранить их на своем компьютере.