Làm thế nào để chia một tập tin csv thành nhiều tệp nhỏ?

Làm thế nào để chia một tập tin csv thành nhiều tập tin nhỏ

Tách một tập tin lớn thành các tệp nhỏ không phải là một vấn đề rất đơn giản. Ví dụ, chúng tôi sẽ gặp phải nhiều tình huống như thế này trong công việc, chúng tôi có thể có một tệp csv lưu dữ liệu đơn đặt hàng và có hàng triệu dòng trong đó. Chúng ta cần phải đặt điều này Tệp được chia thành nhiều tệp csv có kích thước tương tự. Làm thế nào chúng ta có thể làm điều đó? Thực hiện theo các bước và hướng dẫn sau để tìm hiểu thêm về sản phẩm của chúng tôi và cách sử dụng sản phẩm một cách hiệu quả.

Có một số cách để chia một tệp CSV hoặc Excel lớn thành các tệp nhỏ hơn:

• Sử dụng Excel: Mở tệp lớn trong Excel, sắp xếp dữ liệu trên cột mà bạn muốn sử dụng để tách dữ liệu, sau đó chọn và sao chép dữ liệu cho từng tệp nhỏ hơn và dán nó vào sổ làm việc mới. Lưu từng sổ làm việc mới dưới dạng một tệp riêng biệt.
• Sử dụng một ngôn ngữ kịch bản như Python: Sử dụng thư viện gấu trúc để đọc trong tập tin lớn, sau đó sử dụng các phương pháp gấu trúc để chia dữ liệu thành các dataframes nhỏ hơn, và cuối cùng viết mỗi dataframe vào một tệp CSV riêng biệt.
• Sử dụng công cụ quản lý dữ liệu như SQL: Nhập tệp lớn vào cơ sở dữ liệu, sau đó sử dụng truy vấn SQL để chia dữ liệu thành các bảng nhỏ hơn và xuất mỗi bảng dưới dạng tệp CSV riêng biệt.
• Sử dụng một công cụ dòng lệnh như split: Nếu tập tin lớn là một tập tin văn bản thuần túy (CSV), bạn có thể chia nó thành các tập tin nhỏ hơn bằng cách sử dụng lệnh “split” trong một terminal. Ví dụ, “split -l 20000 largefile.csv splitfile_” sẽ chia largefile.csv thành nhiều file, mỗi file chứa 20000 dòng, với các tên như splitfile_aa, splitfile_ab, v.v.

Nếu bạn có thể sử dụng Python, bạn có thể chia file csv lớn thành những cái nhỏ:

Dưới đây là một mã Python mẫu sử dụng thư viện gấu trúc để chia một tệp CSV lớn thành các tệp nhỏ hơn dựa trên một cột cụ thể:

import pandas as pd

# read the large csv file into a pandas dataframe
df = pd.read_csv('largefile.csv')

# get the unique values of the column you want to split the data by
column_values = df[column_name].unique()

# loop over the unique values of the column
for value in column_values:
    # create a dataframe for each unique value
    value_df = df[df[column_name] == value]

    # write the dataframe to a new csv file
    value_df.to_csv(f'{column_name}_{value}.csv', index=False)

Cách tốt nhất：Sử dụng chức năng QuickTran

• Truy cập trang web của chúng tôi và tìm công cụ trực tuyến.
• Mở tệp csv của bạn bằng cách nhấp vào nút “Chọn tệp” và chọn tệp bạn muốn thay đổi.
• Sau khi tệp đã được tải lên, bạn có thể nhập các số bạn muốn chia thành. Trong vài giây, bạn sẽ chia csv lớn thành các tệp nhỏ.
• Sau đó, bạn có thể tải xuống các tập tin và lưu nó vào máy tính của bạn.