Как очистить повторяющиеся файлы. Программы для поиска дубликатов файлов

24.06.2019

Наверняка у любого из нас на диске со временем скапливаются файлы-дубликаты. Файлы в «Загрузках», которые вы скачали несколько раз, одинаковые фотографии и музыкальные композиции, лежащие в таких недрах, что до них просто не доходят руки. Избавиться от всего этого можно и вручную, но куда быстрее за вас сработают специальные утилиты, ищущие одинаковые файлы.

Очень популярный «чистильщик», который, наверное, установлен у каждого. Да, он не только искать системный мусор и очищать историю и cookies браузеров, но и убирать дубликаты файлов.

Платформы: Windows, Mac.

Цена: бесплатно, 24,95 доллара за расширенную версию.

Программа ищет файлы как с одинаковыми или похожими названиями, так и с идентичным содержимым. Хорошо работает с музыкой и может отыскивать одинаковые музыкальные файлы, даже если у них разные теги. Кроме того, dupeGuru умеет сравнивать изображения, чтобы найти не только одинаковые, но и просто похожие фотографии.

Разрабатывается для Mac и Linux. Версия для Windows больше не поддерживается разработчиком, но её можно загрузить с официального сайта - она полностью работоспособна.

Платформы: Windows, Mac, Linux.

Продвинутое приложение для поиска файлов, которое, помимо прочего, может удалять дубликаты. SearchMyFiles обладает гибкими фильтрами, так что вы можете настроить поисковую выдачу так, как вам угодно.

Платформы: Windows.

Популярное приложение для Mac, которое ищет одинаковые или похожие файлы и показывает, в чём разница между ними. Копии в «Фото», в фонотеке iTunes - мимо Gemini 2 не пройдёт ничего. Разработчиками заявлен умный механизм поиска дубликатов, который запоминает, какие файлы вы оставляете, а что решаете удалить.

Платформы: Mac.

Хотя AllDup бесплатна, она умеет немало. Ищет, удаляет, копирует и перемещает дубликаты файлов, в том числе одинаковые аудиозаписи с разными тегами. Присутствует гибкая настройка поиска. С помощью встроенного просмотрщика можно изучить файлы и выбрать, что именно удалять.

Платформы: Windows.

Duplicate File Finder быстро и эффективно отыскивает файлы-копии. Предоставляет интересную возможность поиска дубликатов не только на жёстком диске, но и в локальной сети. Может работать с изображениями и музыкой, сравнивая как теги, так и содержимое. Функция предпросмотра поможет разобраться, что действительно удалить, а что оставить. К сожалению, в бесплатной версии довольно много опций недоступно.

Платформы: Windows.

Цена: бесплатно, 29,95 доллара за расширенную версию.

Универсальный файловый менеджер, который может сделать с вашими файлами что угодно. В том числе и найти файлы-дубликаты. Включить опцию поиска копий можно на вкладке с параметрами поиска, там же, где указываются другие атрибуты искомых файлов.

Платформы: Windows.

DupeGuru выглядит наиболее привлекательным вариантом. Он бесплатен, при этом предлагает все необходимые функции для избавления вашего диска от скопившегося барахла. Огорчает лишь тот факт, что разработка версии для Windows остановлена. Пользователям Windows, не желающим платить за коммерческие альтернативы, больше подойдёт AllDup. А CCleaner и Total Commander - это более универсальные и распространённые решения, которые, наверное, уже установлены у каждого.

Удаление одинаковых файлов (копий одного и того же файла) или папок может освободить свободное дисковое пространство и уменьшает ненужный мусор в системе, что благоприятно отражается на быстродействии системы. Иногда дубликаты создаются самим пользователем (например, одни и те же фотографии копируются в разные папки, находящиеся внутри одного физического диска), в некоторых случаях они остаются после использования различного программного обеспечения. Функцию поиска ненужных копий выполняют множество приложений, большинство которых распространяются по статусу free (бесплатно ). Опишем работу нескольких таких приложений.

Удаление дубликатов с помощью Total Commander

Используем Dupeguru

Данное ПО разработано исключительно для сканирования системы на наличие копий и не выполняет иные функции.

AllDup для определения дубликатов

Дизайн программы выполнен в красивом и удобном для использования стиле. Сразу же после запуска появляется окно с кратким руководством по поиску дубликатов. Можно искать по всему физическому диску целиком, отметив галочкой нужные локальные диски.

Или добавить отдельные папки, нажав на стрелочку возле кнопки «Исходные папки » и выбрав в выпадающем списке «Добавить папки ».

Давайте попробуем найти дубликаты в папке Games в локальном диске «С:\»

Активируем вкладку «Метод поиска », настраиваем критерии. По умолчанию активен параметр поиска дубликатов только по схожим именам , при необходимости отмечаем галочкой нужные настройки . Желательно включить поиск и по расширениям , иначе ПО может показать файлы со схожими именами, даже если они не являются копиями друг друга.

После, нажимаем кнопку начало поиска .

После завершения откроется новое окно с результатами , в котором отмечаем галочками ненужные файлы , щелкаем правой кнопкой мышки по файлу , который предполагается очистить от дубликатов (открываем контекстное меню) и выбираем «Удалить все остальные файлы из этой группы навсегда », чтобы удалить копии. При этом сам оригинал останется не тронутым, удалятся только дубликаты.

Как использовать DuplicateCleaner Free

Очень продуманное приложение для поиска и удаления дубликатов на компьютере. При этом можно выполнять поиск всех файлов в обычном режиме, искать копии изображений или музыки, или одинаковых папок.

Запускаем приложение . Первым делом настраиваем критерии поиска, для этого в разделе «Дополнительные опции » отмечаем настройку «С тем же именем » и переходим во вкладку «Сканировать путь »

Выбираем папку , нажимаем кнопку добавления выбранной папки в включенные пути и жмем кнопку «Сканировать ».

Дожидаемся окончания сканирования, в котором будет отображена статистика обнаруженных дубликатов в отдельном окне. Закрываем окно.

Во вкладке «Дубликаты Файлов » списком отображаются одинаковые файлы, отмечаем ненужные и нажимаем меню «Вид », выбираем пункт «Удаления файлов »

В открывшемся окне нажимаем «Удалить файл(ы) ». При этом желательно включить удаление в Корзину , чтобы можно было восстановить нужные файлы.

Иногда в повседневной компьютерной деятельности возникает задача найти дубликаты файлов. Причин для этого может быть множество: нехватка места на жестком диске, попытки уменьшить энтропию в своих файлах, разобраться со сброшенными в разное время фотографиями с фотоаппарата и множество других нужных случаев.

В сети можно найти большое количество программ, которые позволяют искать дубликаты файлов. Но зачем искать какие-то программы, если шикарный инструмент для такой работы обычно всегда под рукой. И называется этот инструмент Total Commander (TC ).

В этой статье я покажу все методы на основе Total Commander версии 8.5 , в этой версии поиск дубликатов файлов стал очень богат функционально.

!!!Маленькое важное отступление. Что нужно понимать под словом дубликат файла? Два файла ИДЕНТИЧНЫ только тогда, когда они полностью совпадают побитно. Т.е. любая информация в компьютере представлена последовательностью нулей и единиц. Так вот, файлы совпадают только тогда, когда у них полностью совпадает последовательность нулей и единиц, из которых эти файлы состоят. Все разговоры о том, что можно сравнить два файла по какому-либо другому признаку, глубоко ошибочны.

В TC есть два, различающихся по своей сути, метода поиска дублирующихся файлов:

Синхронизировать каталоги;
Поиск дубликатов;

Их особенность и применение лучше всего показать на примерах.

1.Синхронизация каталогов.

Данный метод применяется тогда, когда у вас две сравниваемые папки имеют идентичную структуру. Это обычно бывает во многих случаях, вот несколько из них:

Вы регулярно делали архив своей рабочей папки. Через какое-то время вам понадобилось выяснить, какие файлы были добавлены или изменены с момента создания архива. Вы распаковываете весь архив в отдельную папку. Структура папок в нем практически совпадает с рабочей. Вы проводите сравнение двух папок «исходной» и «восстановленной из архива» и легко получаете список всех измененных, добавленных или удаленных файлов. Пара несложных манипуляций — и вы удаляете из восстановленной папки все дубликаты файлов, которые есть в рабочей.
Вы работаете в папке на сетевом диске и регулярно делаете копию к себе на локальный диск. Со временем ваша рабочая папка стала довольно большой и время, затрачиваемое на полное копирование, стало очень большим. Чтобы не копировать каждый раз всю папку, можно сначала провести сравнение с резервной и скопировать только те файлы, которые были изменены или добавлены, а также удалить в резервной папке файлы, которые были удалены из основной.

Когда вы войдете во вкус, почувствуете всю предоставленную мощь этого метода, вы сами сможете придумать тысячи ситуаций, когда метод синхронизации каталогов окажет вам огромную помощь в работе.

Итак, как же все происходит на практике. Приступаем.

Предположим у нас есть основная папка «Рабочая» , в которой лежат файлы, с которыми происходит работа. И есть папка «Архив» , в которой лежит старая копия папки «Рабочая» . Наша задача найти в обеих папках дублирующиеся файлы и удалить их из папки «Архив» .

Открываем TC. В правой и левой панелях открываем сравниваемые папки:

Нажимаем меню «Команды»-«Синхронизировать каталоги…»

Открывается окно сравнения каталогов

Далее нам необходимо установить параметры сравнения. Ставим галочки в параметры «с подкаталогами», «по содержимому», «игнорировать дату»

«с подкаталогами» — будут сравниваться файлы во всех подкаталогах, указанных папок;
«по содержимому» — вот ключевая опция, которая заставляет TC сравнивать файлы ПОБИТНО!!! В противном случае, файлы будут сравниваться по имени, размеру, дате;
«игнорировать дату» — эта опция заставляет TC показывать различающиеся файлы, без попытки автоматического определения направления будущего копирования;

!!! Сравниваться будут файлы только с одинаковыми именами!!! Если файлы идентичны, но они имеют разное имя, то они не будут сравниваться!

Нажимаем кнопку «Сравнить». В зависимости от объёма файлов, сравнение может идти очень долго, не пугайтесь. В конце концов сравнение закончится и в нижней строке состояния(на рисунке секция 1) отобразится результат:

Если кнопки в секции «Показывать» (на рисунке секция 2) нажаты, то вы увидите результат сравнения для каждого файла.

— эта кнопка включает отображение файлов, которые есть в левой панели, но которых нету в правой;

— эта кнопка включает отображение идентичных файлов;

— эта кнопка включает отображение различающихся файлов;

— эта кнопка включает отображение файлов, которые есть в правой панели, но которых нету в левой;

Если у вас, изначально, все кнопки отображения выключены, то результат сравнения можно оценить только по строке состояния (на рисунке выше секция 1), в данном случае мы видим что сравнились 11 файлов, из которых 8 файлов являются одинаковыми, 2 файла различаются, и еще в левой панели имеется файл, которого нет в правой панели.

Для выполнения нашего задания необходимо оставить отображение только идентичных(одинаковых) файлов, поэтому все остальные кнопки отображения выключаем

Теперь у нас остались только идентичные файлы, и мы спокойно можем удалить их в папке «Архив» . Для этого выделяем все файлы. Проще всего это сделать нажатием универсальной комбинации CTRL+A . Или сначала выделить мышкой первую строчку, потом нажать на клавиатуре клавишу SHIFT и не отпуская ее выделить мышкой последнюю строчку. В результате у вас должно получиться вот так:

Заключительным шагом мы нажимаем правой клавишей мышки на любую строку и в открывшемся меню выбираем пункт «Удалить слева»

TC любезно переспрашивает нас о нашем желании,

и если мы нажимаем «ДА» , то он удаляет все помеченные файлы в папке «Архив» .

После этого, автоматически, происходит повторное сравнение двух папок. Если вам не нужно повторное сравнение, то процесс можно прервать, нажав на кнопку «Прервать» или нажать клавишу ESC на клавиатуре. Если повторное сравнение не было прервано, и мы включили все кнопки отображения, то мы увидим вот такое окно

Все. Поставленная задача выполнена. Все одинаковые файлы найдены и удалены в папке «Архив» .

Обучающее видео по теме

2.Поиск дубликатов.

Коренное отличие данного метода от метода синхронизации каталогов заключается в том, что TC игнорирует имена сравниваемых файлов. Фактически, он сравнивает каждый файл с каждым, и показывает нам идентичные файлы как бы они не назывались ! Такой поиск очень удобен, когда вы не знаете ни структуры папок, ни имен сравниваемых файлов. В любом случае, после поиска дубликатов, вы получите точный список идентичных файлов.

Поиск дубликатов я покажу на одной практической задаче, поиске дубликатов личных фотографий. Довольно часто вы сбрасываете в компьютер фотографии со своих цифровых гаджетов. Частенько ситуация запутывается, что-то сбрасывается по многу раз, что-то пропускается. Как быстро удалить файлы, сброшенные несколько раз? Очень просто!

Приступаем.

Предположим, вы всегда сбрасываете все свои фотографии в папку «ФОТО» на диске D. После всех сбросов папка имеет примерно такой вид:

Как видим, некоторые файлы находятся в папках, названных по дате съемки, некоторые сброшены в корень папки «_Новые» и «_Новые1»

Чтобы начать поиск дубликатов открываем в любой панели TC папку, в которой будем искать. В нашем случае это папка «ФОТО»

Далее нажимаем на клавиатуре комбинацию клавиш ALT+F7 или в меню выбираем «Команды»-«Поиск файлов»

Открывается окно стандартного поиска TC. Строку «Искать файлы:» оставляем пустой, тогда будут сравниваться все файлы.

Затем переходим на закладку «Дополнительно» и выставляем галочки «Поиск дубликатов:», «по размеру», «по содержимому» и нажимаем «Начать поиск» .

Поиск может идти ОЧЕНЬ долго, не надо этого пугаться, так как происходит огромное количество сравнений большого объёма файлов. При этом в строке состояния показывается процент выполнения

Когда поиск закончится, откроется окно результатов поиска, в котором нажимаем кнопку «Файлы на панель»

В окне поиска и в окне панели идентичные файлы собраны в секции, отделенные пунктирными линиям

В каждой секции отображается имя файла и полный путь к файлу. Имена ИДЕНТИЧНЫХ файлов могут быть абсолютно различными!
В данном случае видно, что одна и таже фотография записана ТРИ раза, причем два раза под одним именем(IMG_4187.JPG ) а третий раз эта фотография записана под совершенно другим именем(IMG_4187_13.JPG ).

Далее остается выделить ненужные одинаковые файлы и удалить их. Это можно делать вручную, выделяя каждый файл нажатием клавиши Ins . Но это долго и не эффективно. Есть более правильные и быстрые способы.

Итак, наша задача состоит в том, чтобы удалить повторяющиеся файлы в папках «_Новые» и «_Новые1» .
Для этого нажимаем на дополнительной клавиатуре, справа большую клавишу [+] . Обычно этой клавишей в TC выделяются файлы по маске. Эту же операцию можно сделать через меню «Выделение»-«Выделить группу»

У каждого на компьютере есть папка, в которой он хранит различные фотографии или изображения и нередко случается, что на жестком диске появляются дубликаты таких файлов. Сразу возникает вопрос, как же быстро избавиться от них. В статье будет перечислен ряд программ, которые в состоянии выполнить такие действия быстро и качественно.

Является простой и удобной в использовании программой, которая способна выполнять поиск несколькими способами и создавать галереи из выбранных изображений. Среди остальных инструментов ее выделяет наличие окна помощника, благодаря которому использование Duplicate Photo Finder становится еще проще. Среди минусов можно выделить платное распространение и отсутствие русского языка.

Duplicate Photo Cleaner

Duplicate Photo Cleaner тоже несложная в использовании программа, которая кроме того может считывать немалый перечень форматов графических объектов. Она имеет несколько способов поиска дубликатов, а наличие русскоязычного интерфейса выделяет ее среди большинства описанных здесь решений. При этом Дубликат Фото Клинер является платным, а триал-версия имеет сильно ограниченные возможности.

Duplicate File Remover

Еще одним мощным инструментом для поиска копий фотографий является Duplicate File Remover. Помимо поиска изображений, он также в состоянии выполнить сканирование компьютера на предмет наличия иных идентичных файлов. Возможности Дубликат Файл Ремувер значительно расширяют плагины, которые устанавливаются вместе с ним, но активировать их возможно только после приобретения лицензионного ключа. Еще одним недостатком можно считать отсутствие русского языка в настройках, но это не мешает использовать Duplicate File Remover по назначению, так как все действия здесь выполняются на интуитивном уровне.

Duplicate File Detector

Это мощная многозадачная программа, которая в состоянии моментально отыскать одинаковые документы в указанной директории. Duplicate File Detector поддерживает большое количество форматов, которые будут проверяться во время работы. Это единственный инструмент среди рассмотренных нами, который предоставляет возможность хеширования любого файла, для чего здесь имеется встроенный хэш-калькулятор. Благодаря последнему можно получить результат в 16 вариантах хеш-кодов. Воспользовавшись Duplicate File Detector, можно переименовать выбранную группу файлов по одному из предложенных шаблонов. Программа переведена на русский язык, но при этом является платной.

ImageDupeless

ImageDupeless является мощным инструментом для поиска одинаковых изображений на компьютере. По своему функционалу он очень похож на описанный ранее Duplicate Photo Finder. Здесь присутствует тот же помощник, такие же возможности поиска идентичных графических файлов и функция создания галереи из изображений. Но ИмейджДуплесс имеет русскоязычный интерфейс, что выделяет его на фоне упомянутой программы. Главным недостатком можно считать платное распространение и то, что очень много возможностей доступны исключительно после покупки.

DupKiller

DupKiller является одним из лучших способов для поиска не только дубликатов изображений, но и файлов в целом. Он предоставляет возможность розыска практически в любом месте компьютера, имеет очень большой спектр настроек, поддерживает плагины. Кроме того, он распространяется совершенно бесплатно и переведен на русский язык, что дает возможность использовать его без любых ограничений.

AllDup

AllDup является небольшой бесплатной программой, которая предназначена для поиска одинаковых (в том числе графических) объектов на винчестере. Она поддерживает большой перечень форматов, что гарантирует качественный поиск дубликатов. Еще АллДуп будет отличным вариантом для компьютеров, которым одновременно пользуются несколько людей. На фоне остальных его выделяет возможность создания нескольких профилей с определенными настройками. Такая возможность сильно сэкономит время пользователям, которое было бы потрачена на перенастройку программы. Еще в список положительных качеств AllDup можно добавить наличие русского языка и бесплатное распространение разработчиком.

DupeGuru Picture Edition

Воспользовавшись DupeGuru Picture Edition, пользователь получит бесплатный, простой и незамысловатый поисковик дубликатов фотографий на компьютере с русскоязычным интерфейсом. Среди дополнительных возможностей стоит выделить то, что здесь можно выполнить экспорт полученных результатов в браузер или в формат CSV, который считывается .

Dup Detector

Dup Detector, наверное, самая простая утилита в предоставленном списке. Она не имеет русского языка и каких-либо дополнительных возможностей, кроме создания галерей из изображений, но при этом предоставляет на выбор несколько вариантов поиска дубликатов фотографий. К тому же, Дуб Детектор распространяется разработчиком совершенно бесплатно и поддерживает большой перечень графических форматов.

В этой статье были рассмотрены программы, с помощью которых можно быстро и без лишних усилий обнаружить дубликаты фотографий на винчестере и безвозвратно удалить их. Каким именно инструментом воспользоваться, пусть каждый решит сам, но стоит знать, что любой из них на 100% справится с поставленной задачей.

Здравствуйте, уважаемые. Помните, в своём зелёном сайтостроительном детстве (целый год назад) я Вам уже рекомендовал и описывал программу для поиска и удаления одинаковых фотографий ? Так вот, то была отличная программа, но платная (правда решение этой проблеммы можно найти в интернете довольно легко). А вот и ещё программку описывал для того, чтоб найти и удалить дубликаты файлов . Блин, она тоже платная! 😯

Сегодня буду исправляться — опишу Вам бесплатную и быструю программу для поиска и удаления различных копий файлов в компьютере, коих уйма у Вас. Они тихо сидят в уголках и хихикают над Вами увеличивая размер диска, замедляя работу системы (ведь сканирование файлов жизненно необходимо для её нормальной работы и идёт постоянно практически), просто замусоривая компьютер лишним грузом, усложняя процесс дефрагментации …

Дубликаты файлов нужно удалять и мы с Вами сейчас этим займёмся. Естественно, опишу всё пошагово и в картинках, со всеми нюансами. И конечно, дам Вам две версии программы — обычную с официального сайта и портабельную.

Auslogics Duplicate File Finder — бесплатная программа для поиска и удаления дубликатов файлов

Даже не сомневайтесь — дубликаты файлов есть в Вашем любимом компьютере. Природа их появления до сих пор не изучена учёными. С течением времени они растут, как грибы, возникая из ниоткуда… Конечно же это шутка — дубликаты мы создаём сами, даже не замечая этого. Давайте уже избавимся от них. Для начала, естественно надо скачать программу.

Как и обещал, вот Вам две версии — каждый вправе выбрать нужную именно ему, но я очень рекомендую выбрать портабельную. Дело в том, что в стандартной версии Вам втулят (или попытаются) дополнительный тулбар во все браузеры — оно Вам надо? Я например, как ни старался, а словил его всё-таки — еле избавился. (Как? А вот так .)

Скачать Auslogics Duplicate File Finder: 7 Мб

Скачать Auslogics Duplicate File Finder Portable: 6 Мб

Вот, как я устанавливал обычную версию программы…

Установка Auslogics Duplicate File Finder

Да, установка происходит на английском языке, но помните, что мы с Вами не боимся трудностей и всё победим…

А вот и цена бесплатности — уберите галочки обязательно и кто знает, может именно Вам повезёт и тулбар не установится.

Создать иконку на рабочем столе?

Жмём «Finish» и программа для поиска и удаления дубликатов файлов запустится. Дальше всё очень легко и просто. Как видите программа полностью на русском языке.

Выбираем диск на котором будем искать дубликаты файлов или даже отдельную папку…

Выбираем, что именно будем искать, вернее из каких типов файлов будет вестись поиск…

Если Вы не очень разбираетесь в системе — не рекомендую выбирать первый, верхний пункт. Дело в том, что сама система использует много одинаковых файлов и размещает их там, где ей удобнее и быстрее до них добраться — такие дубликаты файлов не то что не рекомендуется удалять, а категорически низя-я-я!!!

Для подстраховки создайте точку восстановления…