Làm thế nào để chia một tập tin csv theo số hàng?

Làm thế nào để chia một tập tin csv theo số hàng?

Chúng ta thường cần chia một tập tin thành các tệp nhỏ trong công việc hàng ngày của chúng tôi. Ví dụ, tôi có một tập tin với 1 triệu dòng, và tôi muốn chia nó thành một tập tin với mỗi 100.000 dòng. Đây không phải là một vấn đề đơn giản, và đôi khi bạn cần phải lập trình nó.

Có một số cách để chia một tệp CSV hoặc Excel lớn thành các tệp nhỏ hơn:

• Sử dụng Excel: Mở tệp lớn trong Excel, sắp xếp dữ liệu trên cột mà bạn muốn sử dụng để tách dữ liệu, sau đó chọn và sao chép dữ liệu cho từng tệp nhỏ hơn và dán nó vào sổ làm việc mới. Lưu từng sổ làm việc mới dưới dạng một tệp riêng biệt.
• Sử dụng một ngôn ngữ kịch bản như Python: Sử dụng thư viện gấu trúc để đọc trong tập tin lớn, sau đó sử dụng các phương pháp gấu trúc để chia dữ liệu thành các dataframes nhỏ hơn, và cuối cùng viết mỗi dataframe vào một tệp CSV riêng biệt.
• Sử dụng công cụ quản lý dữ liệu như SQL: Nhập tệp lớn vào cơ sở dữ liệu, sau đó sử dụng truy vấn SQL để chia dữ liệu thành các bảng nhỏ hơn và xuất mỗi bảng dưới dạng tệp CSV riêng biệt.
• Sử dụng một công cụ dòng lệnh như split: Nếu tập tin lớn là một tập tin văn bản thuần túy (CSV), bạn có thể chia nó thành các tập tin nhỏ hơn bằng cách sử dụng lệnh “split” trong một terminal. Ví dụ, “split -l 20000 largefile.csv splitfile_” sẽ chia largefile.csv thành nhiều file, mỗi file chứa 20000 dòng, với các tên như splitfile_aa, splitfile_ab, v.v.

Bạn có thể sử dụng Microsoft Excel để chia một tệp CSV hoặc Excel lớn thành các tệp nhỏ hơn. Dưới đây là cách:

• Mở tệp lớn trong Microsoft Excel.
• Sắp xếp dữ liệu dựa trên cột mà bạn muốn sử dụng để chia dữ liệu thành các tệp nhỏ hơn.
• Chọn và sao chép dữ liệu cho tệp nhỏ hơn đầu tiên.
• Tạo một sổ làm việc mới trong Microsoft Excel.
• Dán dữ liệu đã sao chép vào sổ làm việc mới.
• Lưu sổ làm việc mới dưới dạng tệp riêng biệt.
• Lặp lại các bước 3-6 cho mỗi tập tin nhỏ hơn bổ sung.

Lưu ý: Số hàng trong mỗi tệp nhỏ hơn sẽ phụ thuộc vào số hàng bạn chọn để sao chép và dán vào mỗi sổ làm việc mới.

Dưới đây là ví dụ về cách tách tệp CSV lớn thành các tệp nhỏ hơn dựa trên số lượng hàng bằng Python và gấu trúc:

import pandas as pd

# Read the large csv file into a pandas dataframe
df = pd.read_csv("largefile.csv")

# Set the number of rows per file
rows_per_file = 5000

# Get the total number of rows
total_rows = df.shape[0]

# Calculate the number of files needed
num_files = total_rows // rows_per_file + (total_rows % rows_per_file > 0)

# Split the data into smaller dataframes
for i in range(num_files):
    start = i * rows_per_file
    end = (i + 1) * rows_per_file
    filename = f"split_file_{i}.csv"
    df.iloc[start:end].to_csv(filename, index=False)

Cách tốt nhất：Sử dụng chức năng QuickTran

• Truy cập trang web của chúng tôi và tìm công cụ trực tuyến.
• Mở tệp csv của bạn bằng cách nhấp vào nút “Chọn tệp” và chọn tệp bạn muốn thay đổi.
• Sau khi tệp đã được tải lên, bạn có thể nhập “số hàng” mà bạn muốn chia thành. Trong vài giây, bạn sẽ chia csv lớn thành các tệp nhỏ.
• Sau đó, bạn có thể tải xuống các tệp và lưu chúng vào máy tính của bạn.