Pythonで重複写真を探す:見つかるもの・見つからないものを13通り試しました
中身のハッシュで見つかる範囲、大きさで絞ったときの速さ、移すときのつまずきまで
スマホから何度も写真を取り込んでいるうちに、同じ写真がいくつも残ってしまった。そんなとき「Python でファイルの中身を比べれば見つかる」という説明をよく見かけます。この記事も、もともとはその作り方だけを書いたものでした。
では、どこまでが「同じ」として見つかるのでしょうか。2026年11月13日に、試しの写真を13通りに変えて確かめました。あわせて、600本・2.39GBのフォルダで時間を測り、見つけた重複をフォルダへ移すときに起きたことも書きます。この記事は「Pythonでできる日常の自動化6選」の⑤を詳しくしたものです。
見つかるのは、中身が1バイトも違わないものだけ:名前・置き場所・更新日時が違っても見つかります。縮めた・回した・保存し直した・撮影日を書き換えた写真は、見た目が同じでも見つかりませんでした(13通り中、見つかったのは3通り)。
先に大きさで絞ると速い:600本の試しでは、読む量が2.39GBから0.50GBに減り、時間は中央値で6.68秒から1.37秒になりました。
移すときは同じ名前に気をつける:shutil.move は、移す先に同じ名前があると、Windows ではエラーを出さずに上書きしました。
中身のハッシュで見つかる重複、見つからない重複
ファイルの中身から計算した「ハッシュ」は、ファイルの指紋のような値です。中身が1バイトでも違えば、まったく違う値になります。ファイルの名前や更新日時は中身に含まれないので、名前が違う写しも同じ値になります。Python では、標準の hashlib で計算できます。追加のインストールは要りません。
では、写真に手が加わったときはどうなるか。Python の画像ライブラリ Pillow で架空の風景(2400×1600、JPEG)を1枚描き、それを写したり縮めたりして13通り作りました。実在の写真は使っていません。
元の写真と、それぞれの中身のハッシュ(md5)が一致するかを比べた結果です。右端の「見た目の近さ」は、あとのimagehash の節で使う数字で、0 に近いほど似ていると判定されます。
| 番号と変えたこと | 大きさ(バイト) | 中身のハッシュ | 見た目の近さ |
|---|---|---|---|
| 00 元の写真 | 317,759 | — | — |
| 01 そのまま写した | 317,759 | 一致 | 0 |
| 02 名前を変えて写した | 317,759 | 一致 | 0 |
| 03 更新日時だけ変えた | 317,759 | 一致 | 0 |
| 04 開いて同じ画質で保存し直した | 317,777 | ちがう | 0 |
| 05 撮影日(EXIF)だけ書き換えた | 317,759 | ちがう | 0 |
| 06 EXIF を消した | 317,681 | ちがう | 0 |
| 07 半分に縮めた | 62,259 | ちがう | 0 |
| 08 縮めて画質70で保存した | 30,099 | ちがう | 2 |
| 09 90度回した | 322,035 | ちがう | 34 |
| 10 PNG で保存し直した | 1,747,062 | ちがう | 0 |
| 11 左右の端を1%切った | 312,165 | ちがう | 6 |
| 12 ちがう写真(物を少しずらした) | 317,742 | ちがう | 4 |
| 13 ちがう写真(別の景色) | 325,850 | ちがう | 36 |
中身のハッシュで見つかったのは、01〜03の3通りだけでした。名前・置き場所・更新日時は中身ではないので、そこが違っても見つかります。反対に、04〜11は人の目には同じ写真でも、すべて「ちがう」になりました。
気をつけたいのは05です。撮影日の文字を書き換えただけなので、大きさまで元と同じ317,759バイトでした。それでもハッシュは違います。写真の情報を書き換えるソフトを一度通すと、もう同じファイルとしては見つからない、ということです。04も同じで、Pillow で開いて同じ画質で保存し直しただけで、中身は変わりました。
ファイルの中身ではなく、Pillow で開いた画素の並びのハッシュを比べると、05(撮影日の書き換え)・06(EXIF を消した)・10(PNG で保存し直し)も一致しました。写真の情報や保存の形式が変わっても、画素が同じなら同じと判定できます。ただし04(保存し直し)と07以降は、画素が変わるので一致しませんでした。
大きさで先に絞ると、読む量は約5分の1
ハッシュを計算するには、ファイルを最後まで読む必要があります。写真が何千枚もあると、ここに時間がかかります。
そこで、先にファイルの大きさ(バイト数)でまとめます。大きさが違えば、中身も必ず違います。大きさが同じ相手がいないファイルは、読まずに外せます。大きさはファイルを開かなくても分かります。下の試しの600本では、大きさを調べるだけなら0.04秒ほどでした(5回測った中央値)。
試しのフォルダを作って測りました。1本2〜6MBのファイルを600本、合計2.39GB。そのうち60本は、ほかのファイルの写しです。時間は読むバイト数で決まるので、中身は画像ではなく乱数にしました。それぞれ5回ずつ測っています。
| やり方 | ハッシュした本数 | 読んだ量 | 時間(中央値) | 時間(最小〜最大) |
|---|---|---|---|---|
| 全部ハッシュする | 600本 | 2.39GB | 6.68秒 | 6.20〜23.24秒 |
| 大きさで絞ってからハッシュする | 120本 | 0.50GB | 1.37秒 | 1.29〜2.11秒 |
見つかった重複は、どちらも同じ60組でした。結果は変わらず、読む量が約5分の1、時間も約5分の1になっています。
ハッシュを計算する部分を、Python 3.11 から使える hashlib.file_digest に置き換えても測りました。中央値は全部ハッシュで6.07秒、大きさで絞って1.26秒です。少し速くなり、コードも短くなるので、このあとのコードではこちらを使います。
「全部ハッシュする」の1回目だけが23.24秒で、2回目以降は6.2〜7.0秒でした。なぜ1回目だけ遅かったのかは、確かめられていません。2回目以降は、読んだファイルがパソコンのメモリに残っている状態での時間だと考えられます。ディスクから読む時間はパソコンによって大きく変わるので、比べるときは「読んだ量」のほうを見てください。
また、この試しで速くなったのは、写しでない480本がすべて大きさだけで外れたからです。同じ大きさのファイルがたくさんあるフォルダでは、絞り込みの効き目は小さくなるはずです(試していません)。
残す1つの決め方:更新日時だけでは決まらない
重複が見つかったら、どれを残すかを決めます。「いちばん古いものが元だろう」と考えて、更新日時で選びたくなります。そこで、更新日時を2024年5月3日にしたファイルを4つのやり方で写し、日時が引き継がれるかを見ました。
| 写し方 | 更新日時 | 作成日時 |
|---|---|---|
コマンドプロンプトの copy | 元と同じ | 写した時刻 |
PowerShell の Copy-Item | 元と同じ | 写した時刻 |
Python の shutil.copy | 写した時刻 | 写した時刻 |
Python の shutil.copy2 | 元と同じ | 写した時刻 |
4つのうち3つで、写しの更新日時は元とまったく同じでした。更新日時だけで選ぼうとすると、同じ日時が並んで決まりません。
そこでこの記事のコードでは、次の順で並べて、先頭の1つを残すことにしました。
- 更新日時が古いほう
- 同じなら、名前が短いほう(「(1)」や「コピー」が付いた名前は長くなるため)
- それも同じなら、置き場所の名前順
どの順にしても、いつも正しく元が残るとは限りません。だからこのあとのコードは、まず何を残し何を移すかを表示するだけにして、確かめてから移す2段にしています。
この記事の前の版のコードは、フォルダから最初に見つかった1つを残していました。2026年9月に試したときは、元の名前の IMG_0421.jpg ではなく IMG_0421 (1).jpg のほうが残っていました。残す1つは、並べ方を決めて選ぶほうが安全です。
移す先に同じ名前があると、黙って上書きされた
見つけた重複は、いきなり消さずに「重複候補」フォルダへ移して、目で見てから捨てるのが安全です。前の版の記事でも、そう書いていました。ところが、写真が下のフォルダに分かれていると、別の場所に同じ名前のファイルがあることがあります。IMG_0001.jpg のような連番の名前なら、なおさらです。
前の版と同じ書き方 shutil.move(str(f), str(review_dir / f.name)) で、「2024旅行」と「2025運動会」にある同じ名前の IMG_0001.jpg(中身はちがう)を、順に移しました。
移す前 2024旅行\IMG_0001.jpg md5=1811ed45 / 2025運動会\IMG_0001.jpg md5=c0bc4958
移動: 2024旅行\IMG_0001.jpg → エラーなし
移動: 2025運動会\IMG_0001.jpg → エラーなし
移したあとに残っているファイル: 1 本
重複候補\IMG_0001.jpg md5=c0bc4958
2本ともエラーは出ませんでした。それなのに、残ったのは1本だけです。先に移した「2024旅行」のほうは、あとから来た「2025運動会」のファイルに上書きされて、なくなりました。
Python の説明書きと照らすと、理由が分かります。os.rename は、Windows では移す先にファイルがあると必ずエラーになります。shutil.move は、そのエラーを受けると、写してから元を消すやり方に切り替えます。その「写す」が、同じ名前のファイルを上書きしていました。
重複を移すだけなら、上書きで消えるのは「残す側に同じ中身がある写し」なので、写真そのものがなくなるわけではありません。ただ、移したはずの数と重複候補フォルダの中身の数が合わなくなり、「確かめてから捨てる」の確かめが効かなくなります。このあとのコードでは、同じ名前があれば _2、_3 と番号を付けて置くようにしました。
通しで動かすコードと、その出力
ここまでの3つ(大きさで絞る・残す順を決める・同じ名前を避けて移す)をまとめたコードです。Python のインストールとコードの動かし方がまだの方は、先に「Pythonを始める前に:インストールとエディタの準備」をご覧ください。hashlib.file_digest を使うので、Python 3.11 以降が必要です。
試しのフォルダ
デスクトップに test_photos フォルダを作り、次の12本を置いて試しました。写真はさきほどと同じ、Pillow で描いた絵です。
323,941 2024-05-03 10:12:00 2024-05_旅行\IMG_0412.jpg
317,073 2024-05-03 10:13:00 2024-05_旅行\IMG_0413.jpg
324,108 2024-05-03 10:14:00 2024-05_旅行\IMG_0414.jpg
324,131 2024-05-03 10:14:02 2024-05_旅行\IMG_0415.jpg
323,941 2024-05-03 10:12:00 デスクトップから\IMG_0412 (1).jpg
324,108 2026-11-13 10:36:00 デスクトップから\IMG_0414 - コピー.jpg
323,941 2024-05-03 10:12:00 バックアップ\IMG_0412.jpg
323,941 2024-05-03 10:12:00 取り込み_2回目\IMG_0412.jpg
317,073 2024-05-03 10:13:00 取り込み_2回目\IMG_0413.jpg
31 2026-10-01 09:00:00 書類\買い物メモ - コピー.txt
31 2026-10-01 09:00:00 書類\買い物メモ.txt
29,167 2026-11-13 10:36:00 送ってもらった\IMG_0413_small.jpg
左から大きさ(バイト)、更新日時、場所です。IMG_0415.jpg は IMG_0414.jpg の物を少しずらして描いた「連写の2枚目」、IMG_0413_small.jpg は IMG_0413.jpg を縮めて保存し直したものです。
はじめは必ず、このような試し用のフォルダか、写真を写したフォルダで動かしてください。いつも使っているフォルダで動かすのは、出力を見て納得してからにしてください。
コード(chofuku_sagasu.py)
import csv
import hashlib
import shutil
from pathlib import Path
target_dir = Path.home() / "Desktop" / "test_photos"
review_dir = Path.home() / "Desktop" / "test_photos_重複候補"
MOVE = False # True にすると、残す1つ以外を review_dir へ移します
def get_file_hash(path):
with open(path, "rb") as f:
return hashlib.file_digest(f, "md5").hexdigest()
def keep_order(path):
# 更新日時が古い → 名前が短い → 場所の名前順 で並べ、先頭を残す
return (path.stat().st_mtime, len(path.name), str(path))
# 1. 大きさ(バイト数)でまとめる
by_size = {}
for path in sorted(target_dir.rglob("*")):
if path.is_file():
by_size.setdefault(path.stat().st_size, []).append(path)
# 2. 大きさが同じものだけ、中身のハッシュを取る
by_hash = {}
hashed = 0
for size, paths in by_size.items():
if len(paths) < 2:
continue
for path in paths:
by_hash.setdefault(get_file_hash(path), []).append(path)
hashed += 1
groups = [paths for paths in by_hash.values() if len(paths) > 1]
total = sum(len(paths) for paths in by_size.values())
print(f"ファイル {total} 本 / ハッシュを取ったのは {hashed} 本 / 重複 {len(groups)} 組")
# 3. 残す1つを決める
moves = []
for paths in groups:
paths = sorted(paths, key=keep_order)
print(f"残す: {paths[0].relative_to(target_dir)}")
for path in paths[1:]:
print(f" 移す候補: {path.relative_to(target_dir)}")
moves.append(path)
# 4. MOVE = True のときだけ移す(同じ名前があれば _2, _3 … を付ける)
if MOVE and moves:
review_dir.mkdir(exist_ok=True)
with open(review_dir / "移動の記録.csv", "a", newline="", encoding="utf-8-sig") as f:
writer = csv.writer(f)
for path in moves:
dest = review_dir / path.name
n = 2
while dest.exists():
dest = review_dir / f"{path.stem}_{n}{path.suffix}"
n += 1
shutil.move(path, dest)
writer.writerow([path, dest])
print(f"移しました: {path.relative_to(target_dir)} → {dest.name}")
rglob("*") は、下のフォルダの中まで全部見る書き方です。重複候補フォルダは test_photos の外(隣)に作ります。中に作ると、次に動かしたとき、移した写しもまた探す対象に入ってしまうからです。
1回目:表示するだけ(MOVE = False)
ファイル 12 本 / ハッシュを取ったのは 10 本 / 重複 4 組
残す: 2024-05_旅行\IMG_0412.jpg
移す候補: バックアップ\IMG_0412.jpg
移す候補: 取り込み_2回目\IMG_0412.jpg
移す候補: デスクトップから\IMG_0412 (1).jpg
残す: 2024-05_旅行\IMG_0413.jpg
移す候補: 取り込み_2回目\IMG_0413.jpg
残す: 2024-05_旅行\IMG_0414.jpg
移す候補: デスクトップから\IMG_0414 - コピー.jpg
残す: 書類\買い物メモ.txt
移す候補: 書類\買い物メモ - コピー.txt
12本のうち、大きさが同じ相手がいたのは10本でした。IMG_0415.jpg と IMG_0413_small.jpg は、大きさの段階で外れています。写真でなくても、中身が同じなら見つかります(買い物メモ)。
IMG_0412 の4本は更新日時がすべて同じだったので、名前の短さと置き場所の順で「2024-05_旅行」のほうが残りました。IMG_0414 - コピー.jpg は写したときに更新日時が新しくなっていたので、日時の段階で後ろに回っています。
2回目:移す(MOVE = True)
表示に納得できたら、MOVE = False を MOVE = True に書き換えて、もう一度動かします。前半の表示は1回目と同じなので省き、移したところだけ載せます。
移しました: バックアップ\IMG_0412.jpg → IMG_0412.jpg
移しました: 取り込み_2回目\IMG_0412.jpg → IMG_0412_2.jpg
移しました: デスクトップから\IMG_0412 (1).jpg → IMG_0412 (1).jpg
移しました: 取り込み_2回目\IMG_0413.jpg → IMG_0413.jpg
移しました: デスクトップから\IMG_0414 - コピー.jpg → IMG_0414 - コピー.jpg
移しました: 書類\買い物メモ - コピー.txt → 買い物メモ - コピー.txt
同じ名前の IMG_0412.jpg が2本あり、2本目は IMG_0412_2.jpg として置かれました。重複候補フォルダには、移した6本と「移動の記録.csv」が入ります。CSV には元の場所と移した先が1行ずつ書かれるので、元に戻したいときの手がかりになります。
移したあと、もう一度 MOVE = False で動かすと、次のように出ました。
ファイル 6 本 / ハッシュを取ったのは 0 本 / 重複 0 組
移したあと、「バックアップ」「取り込み_2回目」「デスクトップから」の3つは空のフォルダになりました。このコードは空のフォルダを消しません。重複候補フォルダの中身を目で確かめてから、どちらも手で片づけてください。
見た目が似ている写真も探す(imagehash)
中身のハッシュでは、縮めた写真や保存し直した写真は見つかりませんでした。見た目で比べたいときは、imagehash というライブラリが使えます。写真を小さく粗くしてから計算するハッシュで、2枚の値の違い(距離)が小さいほど似ていると判定します。最初の表の「見た目の近さ」がこの距離です。
標準の機能ではないので、インストールが要ります。
python -m pip install imagehash
2026年11月13日に試すと、imagehash 4.3.2 と一緒に Pillow 13.0.0・numpy 2.5.4・scipy 1.18.1・PyWavelets 1.10.0 が入りました。
コード(niteiru.py)
from itertools import combinations
from pathlib import Path
import imagehash
from PIL import Image
target_dir = Path.home() / "Desktop" / "test_photos"
LIMIT = 10 # 距離がこれ以下の組を「似ている」として並べます
hashes = {}
for path in sorted(target_dir.rglob("*")):
if path.suffix.lower() in (".jpg", ".jpeg", ".png"):
with Image.open(path) as img:
hashes[path] = imagehash.phash(img)
for a, b in combinations(hashes, 2):
distance = hashes[a] - hashes[b]
if distance <= LIMIT:
print(f"距離 {distance}: {a.relative_to(target_dir)} と {b.relative_to(target_dir)}")
このコードは何も移しません。似ている組を並べるだけです。重複を移したあとの test_photos で動かしました。
距離 0: 2024-05_旅行\IMG_0413.jpg と 送ってもらった\IMG_0413_small.jpg
距離 2: 2024-05_旅行\IMG_0414.jpg と 2024-05_旅行\IMG_0415.jpg
1行目は、中身のハッシュでは見つからなかった縮めた写真です。ここで見つかりました。
2行目は、物をずらして描き直した「連写の2枚目」です。別の写真なのに、距離は2でした。連写した2枚のどちらか良いほうを残したい、という場面なら役に立ちますが、「同じ写真」として移すと、別の写真を片づけてしまいます。
「少し切った写真」と「別に撮った写真」は分けられなかった
1枚の絵だけでは偶然かもしれないので、景色を20通りに変えて距離を測り直しました。
| 元の写真との違い | 距離(最小〜最大) | 10以下になった数 |
|---|---|---|
| 縮めて画質70で保存した | 0〜2 | 20 / 20 |
| 左右の端を1%切った | 0〜4 | 20 / 20 |
| 物を少しずらした別の写真 | 0〜6 | 20 / 20 |
| 90度回した | 26〜38 | 0 / 20 |
| 別の景色 | 18〜38 | 0 / 20 |
「端を切った同じ写真」(0〜4)と「物をずらした別の写真」(0〜6)は、距離の範囲が重なりました。どんな境目を決めても、この2つは距離だけでは分けられません。また、回した写真は同じ写真なのに、別の景色と同じくらい遠くなりました。
境目の「10」は、測る前にこちらで決めた値です。imagehash の説明ページにも、決まった数は書かれていませんでした。
見た目のハッシュで見つかった組は、移す候補ではなく、目で見る候補として使ってください。自動で移してよいのは、中身のハッシュが一致したものだけです。
確かめていないこと
- 試した写真は、すべて Pillow で描いた単純な絵です。スマホのカメラで撮った本物の写真で、見た目の距離がどう出るかは測っていません。
- 「縮めて画質70で保存した」は、送るときに写真が縮められた場合をまねたものです。実際のメッセージアプリなどで送ったときに写真がどう変わるかは、確かめていません。
- iPhone の HEIC 形式の写真は試していません。この記事で入れた Pillow 13.0.0 は HEIC を開く仕組みを持っていなかったので、niteiru.py では対象にしていません(中身のハッシュのコードは、形式に関係なく比べます)。
- エクスプローラーでコピーしたときの日時と名前は、試していません。
- 時間は、ファイルがメモリに残っている状態での値です。ディスクから読むときの時間は測れていません。
- niteiru.py は、すべての組み合わせを比べます。写真が数千枚あるときにかかる時間は測っていません。
- Mac・Linux では試していません。
shutil.moveの上書きの話は Windows での結果です。
写真を日付や種類ごとのフォルダに振り分けたいときは、「Pythonでファイル・写真を自動整理する方法」をご覧ください。重複を片づけてから振り分けると、同じ写真が別々のフォルダに入るのを防げます。
Windows 11 Pro / Python 3.14.7 / Pillow 13.0.0 / imagehash 4.3.2。試しの写真とファイルは、すべて Python で作りました。この記事のコードと出力は、2026年11月13日に試しのフォルダで動かしたものです。記事の初めの公開は2026年8月11日で、このとき内容を書き直しました。


コメント