Jak podzielić plik csv zgodnie z liczbą wierszy？

Jak podzielić plik csv zgodnie z liczbą wierszy？

Często musimy podzielić plik na małe pliki w naszej codziennej pracy. Na przykład mam plik z 1 milionem linii i chcę podzielić go na plik z każdą linią 100 000. To nie jest prosta sprawa, a czasami trzeba ją zaprogramować.

Istnieje kilka sposobów dzielenia dużego pliku CSV lub Excel na mniejsze pliki:

• Korzystanie z programu Excel: Otwórz duży plik w programie Excel, posortuj dane w kolumnie, której chcesz użyć do podziału danych, a następnie wybierz i skopiuj dane dla każdego mniejszego pliku i wklej go do nowego skoroszytu. Zapisz każdy nowy skoroszyt jako osobny plik.
• Korzystanie z języka skryptowego, takiego jak Python: Użyj biblioteki pand do odczytu w dużym pliku, następnie użyj metod pandy, aby podzielić dane na mniejsze ramy danych, i na koniec zapisz każdą ramę danych do oddzielnego pliku CSV.
• Korzystanie z narzędzia do zarządzania danymi, takiego jak SQL: Importuj duży plik do bazy danych, a następnie użyj zapytań SQL, aby podzielić dane na mniejsze tabele i wyeksportować każdą tabelę jako oddzielny plik CSV.
• Korzystanie z narzędzia wiersza poleceń, takiego jak split: Jeśli duży plik jest plikiem tekstowym (CSV), możesz podzielić go na mniejsze pliki za pomocą polecenia „split” w terminalu. Na przykład „split -l 20000 largefile.csv splitfile_” podzieli largefile.csv na wiele plików, z których każdy zawiera 20000 linii, o nazwach takich jak splitfile_aa, splitfile_ab itp.

Za pomocą programu Microsoft Excel można podzielić duży plik CSV lub Excel na mniejsze pliki. Oto jak:

• Otwórz duży plik w programie Microsoft Excel.
• Sortuj dane na podstawie kolumny, której chcesz użyć do podziału danych na mniejsze pliki.
• Wybierz i skopiuj dane dla pierwszego mniejszego pliku.
• Utwórz nowy skoroszyt w programie Microsoft Excel.
• Wklej skopiowane dane do nowego skoroszytu.
• Zapisz nowy skoroszyt jako osobny plik.
• Powtórz kroki 3-6 dla każdego dodatkowego mniejszego pliku.

Uwagi: Liczba wierszy w każdym mniejszym pliku będzie zależeć od liczby wierszy, które chcesz skopiować i wkleić do każdego nowego skoroszytu.

Oto przykład dzielenia dużego pliku CSV na mniejsze pliki w oparciu o liczbę wierszy za pomocą Pythona i pandy:

import pandas as pd

# Read the large csv file into a pandas dataframe
df = pd.read_csv("largefile.csv")

# Set the number of rows per file
rows_per_file = 5000

# Get the total number of rows
total_rows = df.shape[0]

# Calculate the number of files needed
num_files = total_rows // rows_per_file + (total_rows % rows_per_file > 0)

# Split the data into smaller dataframes
for i in range(num_files):
    start = i * rows_per_file
    end = (i + 1) * rows_per_file
    filename = f"split_file_{i}.csv"
    df.iloc[start:end].to_csv(filename, index=False)

Najlepszym sposobem: Użyj funkcji QuickTran

• Odwiedź naszą stronę internetową i znajdź narzędzie online.
• Otwórz plik csv, klikając przycisk „Wybierz plik” i wybierając plik, który chcesz zmienić.
• Po przesłaniu pliku możesz wpisać „liczbę wierszy”, na które chcesz podzielić. W kilka sekund podzielisz duży plik csv na małe pliki.
• Następnie możesz pobrać pliki i zapisać je na swoim komputerze.