csvファイルを行数で分割する方法は？

csvファイルを行数で分割する方法は？

日常業務では、ファイルを小さなファイルに分割する必要があることがよくあります。たとえば、100万行のファイルがあり、それを100,000行ごとにファイルに分割したいとします。これは簡単なことではなく、プログラムする必要がある場合もあります。

大きな CSV ファイルや Excel ファイルを小さなファイルに分割する方法はいくつかあります。

• Excel の使用:大きいファイルを Excel で開き、データの分割に使用する列のデータを並べ替えます。次に、小さいファイルごとにデータを選択してコピーし、新しいワークブックに貼り付けます。新しいワークブックはそれぞれ別のファイルとして保存します。
• Python などのスクリプト言語を使用する:pandas ライブラリを使用して大きなファイルを読み込み、次に pandas メソッドを使用してデータを小さなデータフレームに分割し、最後に各データフレームを別の CSV ファイルに書き込みます。
• SQL などのデータ管理ツールを使用する:大きなファイルをデータベースにインポートし、SQL クエリを使用してデータを小さなテーブルに分割し、各テーブルを個別の CSV ファイルとしてエクスポートします。
• split などのコマンドラインツールを使用する:大きいファイルがプレーンテキストファイル (CSV) の場合、ターミナルの「split」コマンドを使用して小さなファイルに分割できます。たとえば、「split-l 20000 largefile.csv splitfile_」と入力すると、largefile.csv は splitfile_aa、splitfile_ab などの名前の付いた複数のファイルに分割されます。各ファイルには 20000 行が含まれます。

Microsoft Excel を使用して、大きな CSV ファイルまたは Excel ファイルを小さなファイルに分割できます。その方法は次のとおりです。

• この大きなファイルを Microsoft Excel で開きます。
• データをより小さなファイルに分割するために使用する列に基づいてデータをソートします。
• 最初の小さいファイルのデータを選択してコピーします。
• Microsoft Excel で新しいワークブックを作成します。
• コピーしたデータを新しいワークブックに貼り付けます。
• 新しいワークブックを別のファイルとして保存します。
• 小さいファイルを追加するたびに、手順 3 ～ 6 を繰り返します。

注:小さいファイルごとの行数は、新しいワークブックにコピーして貼り付ける行の数によって異なります。

Python と pandas を使用して、大きな CSV ファイルを行数に基づいて小さなファイルに分割する方法の例を次に示します。

import pandas as pd

# Read the large csv file into a pandas dataframe
df = pd.read_csv("largefile.csv")

# Set the number of rows per file
rows_per_file = 5000

# Get the total number of rows
total_rows = df.shape[0]

# Calculate the number of files needed
num_files = total_rows // rows_per_file + (total_rows % rows_per_file > 0)

# Split the data into smaller dataframes
for i in range(num_files):
    start = i * rows_per_file
    end = (i + 1) * rows_per_file
    filename = f"split_file_{i}.csv"
    df.iloc[start:end].to_csv(filename, index=False)

最善の方法：QuickTran機能を使用する

• 当社のウェブサイトにアクセスして、オンラインツールを見つけてください。
• [ファイルを選択] ボタンをクリックし、変更するファイルを選択して、CSV ファイルを開きます。
• ファイルがアップロードされたら、分割したい「行数」を入力できます。数秒で、大きなCSVを小さなファイルに分割します。
• その後、ファイルをダウンロードしてコンピューターに保存できます。