Jak podzielić plik csv na wiele małych plików?

Jak podzielić plik csv na wiele małych plików

Dzielenie dużego pliku na małe pliki nie jest bardzo prostą sprawą. Na przykład napotkamy wiele takich scenariuszy w pracy, możemy mieć plik csv, który zapisuje dane zamówienia i są w nim miliony wierszy. Musimy to umieścić Plik jest podzielony na kilka plików csv o podobnym rozmiarze. Jak możemy to zrobić? Postępuj zgodnie z poniższymi instrukcjami i przewodnikami, aby dowiedzieć się więcej o naszym produkcie i jak skutecznie z niego korzystać.

Istnieje kilka sposobów dzielenia dużego pliku CSV lub Excel na mniejsze pliki:

• Korzystanie z programu Excel: Otwórz duży plik w programie Excel, posortuj dane w kolumnie, której chcesz użyć do podziału danych, a następnie wybierz i skopiuj dane dla każdego mniejszego pliku i wklej go do nowego skoroszytu. Zapisz każdy nowy skoroszyt jako osobny plik.
• Korzystanie z języka skryptowego, takiego jak Python: Użyj biblioteki pand do odczytu w dużym pliku, następnie użyj metod pandy, aby podzielić dane na mniejsze ramy danych, i na koniec zapisz każdą ramę danych do oddzielnego pliku CSV.
• Korzystanie z narzędzia do zarządzania danymi, takiego jak SQL: Importuj duży plik do bazy danych, a następnie użyj zapytań SQL, aby podzielić dane na mniejsze tabele i wyeksportować każdą tabelę jako oddzielny plik CSV.
• Korzystanie z narzędzia wiersza poleceń, takiego jak split: Jeśli duży plik jest plikiem tekstowym (CSV), możesz podzielić go na mniejsze pliki za pomocą polecenia „split” w terminalu. Na przykład „split -l 20000 largefile.csv splitfile_” podzieli largefile.csv na wiele plików, z których każdy zawiera 20000 linii, o nazwach takich jak splitfile_aa, splitfile_ab itp.

Jeśli możesz użyć Pythona, możesz podzielić duży plik csv na małe:

Oto przykładowy kod Pythona wykorzystujący bibliotekę pandy do dzielenia dużego pliku CSV na mniejsze pliki w oparciu o określoną kolumnę:

import pandas as pd

# read the large csv file into a pandas dataframe
df = pd.read_csv('largefile.csv')

# get the unique values of the column you want to split the data by
column_values = df[column_name].unique()

# loop over the unique values of the column
for value in column_values:
    # create a dataframe for each unique value
    value_df = df[df[column_name] == value]

    # write the dataframe to a new csv file
    value_df.to_csv(f'{column_name}_{value}.csv', index=False)

Najlepszym sposobem: Użyj funkcji QuickTran

• Odwiedź naszą stronę internetową i znajdź narzędzie online.
• Otwórz plik csv, klikając przycisk „Wybierz plik” i wybierając plik, który chcesz zmienić.
• Po przesłaniu pliku możesz wprowadzić liczby, na które chcesz podzielić. W kilka sekund podzielisz duży plik csv na małe pliki.
• Następnie możesz pobrać pliki i zapisać je na swoim komputerze.