Pythonで重複ファイル・重複写真を見つけて整理する方法

用意するもの

今回もPythonに標準で付属している機能だけを使います。pip installで追加のライブラリを用意する必要はありません。

• Python本体
• コードを書くためのエディタ(VS Codeなど)

重複検出の仕組みを知る

ファイル名や更新日時で比較すると、「中身は同じだけど名前が違うファイル」を見逃してしまいます。そこでこの記事では、ファイルの中身そのものから計算される「ハッシュ値」という指紋のような値を使って比較します。中身が1バイトでも違えば、まったく違うハッシュ値になります。逆に言えば、ハッシュ値が同じ2つのファイルは、中身が完全に同じということになります。

ファイルのハッシュ値を計算してみる

まずは1つのファイルで、ハッシュ値を計算する基本の書き方を試してみましょう。

import hashlib

def get_file_hash(file_path):
    hasher = hashlib.md5()
    with open(file_path, "rb") as f:
        while chunk := f.read(8192):
            hasher.update(chunk)
    return hasher.hexdigest()

print(get_file_hash("photo1.jpg"))

実行すると、ファイルの中身から計算された英数字の文字列(ハッシュ値)が表示されます。同じ中身のファイルであれば、ファイル名が違っても、どのパソコンで実行しても、必ず同じハッシュ値になります。

フォルダ内の重複ファイルを見つける

先ほどの関数を使って、フォルダ内のすべてのファイルのハッシュ値を計算し、同じハッシュ値を持つファイルをグループ化します。

from pathlib import Path
import hashlib

def get_file_hash(file_path):
    hasher = hashlib.md5()
    with open(file_path, "rb") as f:
        while chunk := f.read(8192):
            hasher.update(chunk)
    return hasher.hexdigest()

target_dir = Path.home() / "Desktop" / "test_photos"

hash_to_files = {}

for file in target_dir.iterdir():
    if file.is_file():
        file_hash = get_file_hash(file)
        hash_to_files.setdefault(file_hash, []).append(file)

# 同じハッシュ値のファイルが2つ以上あるものだけを「重複」として取り出す
duplicates = {h: files for h, files in hash_to_files.items() if len(files) > 1}

for file_hash, files in duplicates.items():
    print(f"重複グループ({len(files)}件):")
    for f in files:
        print(f"  {f.name}")

実行すると、中身が同じファイルどうしがグループごとに一覧表示されます。hash_to_files.setdefault(file_hash, []).append(file)は、「同じハッシュ値のリストがまだなければ新しく作り、あればそこに追加する」という書き方です。

重複候補を安全にまとめて確認する

重複が見つかっても、いきなり削除するのはおすすめしません。まずは、各グループの1つ目だけを「残すファイル」として、残りを専用のフォルダへ移動し、目で見て確認できるようにしましょう。

import shutil

review_dir = target_dir / "重複候補"
review_dir.mkdir(exist_ok=True)

for file_hash, files in duplicates.items():
    keep = files[0]
    remove_candidates = files[1:]
    print(f"残す: {keep.name}")
    for f in remove_candidates:
        shutil.move(str(f), str(review_dir / f.name))
        print(f"  移動: {f.name}")

print("重複候補フォルダへの移動が完了しました")

実行すると、「重複候補」という新しいフォルダが作られ、各グループの2つ目以降のファイルがそこに移動します。元のフォルダには重複のないファイルだけが残るので、あとは「重複候補」フォルダの中身を確認し、問題なければまとめて削除する、という流れが安全です。

うまくいかないときのトラブルシューティング

まとめ

Python標準のhashlibを使って、ファイルの中身からハッシュ値を計算し、重複ファイルを正確に見つける方法を紹介しました。見つけた重複はいきなり削除せず、まず専用フォルダに移動して確認する、という安全な流れで整理してみてください。