如何根据行数划分csv文件？

如何根据行数划分csv文件？

在日常工作中，我们经常需要将文件分成小文件。例如，我有一个有100万行的文件，我想把它分成一个每100,000行的文件。这不是一件简单的事情，有时你需要对其进行编程。

有几种方法可以将大型 CSV 或 Excel 文件拆分成较小的文件：

• 使用 Excel：在 Excel 中打开大文件，对要用于拆分数据的列上的数据进行排序，然后选择并复制每个较小文件的数据并将其粘贴到新的工作簿中。将每个新工作簿另存为一个单独的文件。
• 使用 Python 等脚本语言：使用 pandas 库读取大文件，然后使用 pandas 方法将数据拆分成更小的数据框，最后将每个数据框写入单独的 CSV 文件。
• 使用诸如 SQL 之类的数据管理工具：将大文件导入数据库，然后使用 SQL 查询将数据拆分成较小的表，并将每个表导出为单独的 CSV 文件。
• 使用诸如 split 之类的命令行工具：如果大文件是纯文本文件 (CSV)，则可以使用终端中的 “拆分” 命令将其拆分成较小的文件。例如，“split-l 20000 largefile.csv splitfile_” 会将 largefile.csv 拆分成多个文件，每个文件包含 20000 行，名称如 splitfile_aa、splitfile_ab 等。

你可以使用微软 Excel 将一个大的 CSV 或 Excel 文件拆分成较小的文件。方法如下：

• 在微软 Excel 中打开这个大文件。
• 根据要用于将数据拆分成小文件的列对数据进行排序。
• 选择并复制第一个较小文件的数据。
• 在微软 Excel 中创建一个新的工作簿。
• 将复制的数据粘贴到新工作簿中。
• 将新工作簿另存为单独的文件。
• 对每个其他较小的文件重复步骤 3-6。

注意：每个较小文件中的行数将取决于您选择复制并粘贴到每个新工作簿中的行数。

以下是如何使用 Python 和 pandas 根据行数将大型 CSV 文件拆分成较小的文件的示例：

import pandas as pd

# Read the large csv file into a pandas dataframe
df = pd.read_csv("largefile.csv")

# Set the number of rows per file
rows_per_file = 5000

# Get the total number of rows
total_rows = df.shape[0]

# Calculate the number of files needed
num_files = total_rows // rows_per_file + (total_rows % rows_per_file > 0)

# Split the data into smaller dataframes
for i in range(num_files):
    start = i * rows_per_file
    end = (i + 1) * rows_per_file
    filename = f"split_file_{i}.csv"
    df.iloc[start:end].to_csv(filename, index=False)

最好的方法：使用 QuickTran 函数

• 访问我们的网站并找到在线工具。
• 单击 “选择文件” 按钮并选择要更改的文件，打开 csv 文件。
• 文件上传后，您可以输入要拆分的 “行数”。在几秒钟内，你会将大 csv 拆分成小文件。
• 然后，您可以下载文件并将其保存到您的计算机上。