Добрый день.
Программа ваша очень хорошая и быстрая, только в ней я нашёл многопоточность.
Но вся многопоточность теряет смысл, когда приходится потом вручную обрабатывать дубли. А автоматическим режимом пользоваться не хочется так как логика его заточена только на качество фото, а иногда больше имеет важность и расположение файла.
Было бы не плохо добавить ещё различных критериев для маркировки.
(эти я взял из программы Duplicate File Detective )
·Mark Matching File Paths - Provides a means of marking duplicate files with paths matching a specific pattern.
·Mark Largest (by Size) in Each Group - Marks the largest files in each duplicate group (using raw file size for comparison).
·Mark Smallest (by Size) in Each Group - Marks the smallest files in each duplicate group.
If you would like to refer to this comment somewhere else in this project, copy and paste the following link:
Тогда уж можно в меню для выбранных добавить: выделить совпадающие с именем каким-то. Выделеть с наименьшам разрешением, с наименьшим размером, более размытые и т.д.
If you would like to refer to this comment somewhere else in this project, copy and paste the following link:
Ну не знаю, не может быть универсального алгоритма. Иногда важнее разбить задачу на подзадачи, сначала применить один алгоритм, потом другой, третий. И тут как нельзя кстати база данных образов фатографий, которая как раз есть. Не хватает только различных алгоритмов отбраковки.
А с качеством и скоростью распознавания дубликатов думаю уже все в порядке, не хватает функциональности в обработке результатов.
If you would like to refer to this comment somewhere else in this project, copy and paste the following link:
О! Сортировка решает многие задачи, спасибо за совет.
Но хотелось бы что б интерфейс был более классическим для подобных програм, в частности не хватает простых чекбоксов и работы с ними. Чтоб можно было и в ручную их отмечать и автоматом по определённым правилам. А также не плохо было бы чтобы в группе похожих фотографий было не только две фотки, а больше, то есть результаты были представлены не попарно, а группой из нескольких дублей. И в этой группе можно было бы отметить один главный дубль и несколько подчинённых.
Ну и исходя из этого можно набросать примерный функционал.
-------------Правила выбора для главных:-----------
Пометить первые (должны отмечаться автоматом)
Пометить последние
-------------Правила выбора для подчиненных:-----------
Пометить все.
Пометить все кроме главных
Снять пометки.
Инвертировать.
MatchFilePath Пометить только те чей путь содержит...
------------Обработка выбранных---------
Удалить все
Переименовать Имя как у главных
Заменить подчинённые главными
Чтонибудь ещё
Вот такие соображения.
If you would like to refer to this comment somewhere else in this project, copy and paste the following link:
Согласен. Немного поработал, можно и не делать того что я предложил, вполне можно обходиться и тем функционалом, который уже есть.
Ну можно ещё добавить что б при клике на любую из двух фотографий слева она открывалась на полный экран. А при скролинге ( mouse wheel ) переключалась на её дубль. И при следующем клике выходила из полного экрана.
Last edit: Anonymous 2016-03-07
If you would like to refer to this comment somewhere else in this project, copy and paste the following link:
Мне вот одной функции не хватает при использовании - что-то вроде Move image to neighbour, только не к "соседу", а в заранее заданную в настройках папку (или даже одну из нескольких на выбор).
If you would like to refer to this comment somewhere else in this project, copy and paste the following link:
Это уже больше файловый менеджер. Объясните, зачем это может понадобиться? К соседу перемещение нужно чтобы картинки в просмотрошике можно было просматривать друг за другом на весь экран. Пока такое не реализовано в программе.
Бросать может и не бросаю, но и не сделал пока ничего нового. Некогда. Сейчас разбираюсь с питоном и перцептивными хешами. Чтобы поиск был как в яндексе, по кусочку изображения работал и не требовал диких плясок с установкой питона и Opencv для него.
If you would like to refer to this comment somewhere else in this project, copy and paste the following link:
Это для полноэкранного режима и нужно, чтобы при сравнении не мешались другие картинки, не из этой группы дубликатов. Конечно, при использовании своего просмотрщика это не будет помехой, т.к. можно отображать выборочно только фото из одной группы (причём, их для этого и перемещать вроде не надо даже).
Но делать свой просмотрщик, да ещё чтобы был удобный, с хорошим функционалом (чтобы можно было менять масштаб, итд)- это отдельная большая работа. По моему, есть смысл использовать внешнюю программу просмотра (в которой привык смотреть картинки пользователь).
При этом алгоритм примерно такой:
1) вся группа дубликатов копируется во временную папку, и запускается просмотр внешней программой
2) в ней пользователь сравнит фото, в ней же удалит ненужные
3) после закрытия просмотрщика отсутствующие фото удаляем в их исходных папках, во временную загружаем следующую группу дубликатов, и сразу же опять запускаем просмотр
Можно предусмотреть глобальные горячие клавиши- выход из режима и, возможно переход к следующей/ предыдущей группе дубликатов.
Для пользователя всё весьма удобно- сравнение на полном экране с переходом к следующей группе клавишей закрытия просмотрщика (обычно, Esc).
If you would like to refer to this comment somewhere else in this project, copy and paste the following link:
по поводу Питона и pHash: https://github.com/philipbl/duplicate-images
пробовал, под Win не заработало, на Линуксе - нормально
Очень медленно индексирует, но качество определения дубликатов вроде неплохое,
Может быть медленно потому что на виртуалке запускал,
Теперь вот Вашу программу изучаю, достойный продукт!
If you would like to refer to this comment somewhere else in this project, copy and paste the following link:
Добрый день.
Программа очень помогла (нашлась в обсуждении подобного ПО у Экслера), однако в процессе возникла мысль о еще одном способе обработки дублей, который весьма бы пригодился в нашей ситуации, и, думается, будет востребован вообще — это замена удаляемой картинки ссылкой к остающейся.
Наш живой пример — архив фото с различных выставок и событий, производственные фото. Люди в процессе работы часто копируют их в другие расположения, и они там лежат потом годами мертвым грузом, да еще и у нескольких человек, многократно пожирая дисковые пространства.
If you would like to refer to this comment somewhere else in this project, copy and paste the following link:
Безотносительно технических моментов, не совсем (точнее, совсем не) понимаю, зачем это может быть нужно? Есть исходный файл-картинка, лежащий в какой-то целевой папке, именуемой чаще всего по дате создания/редактирования (или по какому-то другому принципу). Зачем нам могут понадобиться ссылки на него в других папках? Если речь идет о "тематических выборках", то с этой задачей отлично справляются вьюверы с их категориями/тегами. Пример в комментарии выше от 2016-10-26 - это повод для соответствующих организационных, а не программных мероприятий. Ничто не мешает установить порядок, при котором сами сотрудники обязаны будут именно ссылаться на оригинал, а не плодить копии. А программными методами (в частности этой замечательной программой) уполномоченные ответственные лица всегда могут удалить копии и вынести соответствующие определения отновительно провинившихся.
MiAMi
Last edit: Anonymous 2016-12-28
If you would like to refer to this comment somewhere else in this project, copy and paste the following link:
Программа очень радует на протяжении многих лет пользуюсь и не перестаю поражаться функционалу и скорости работы и нововведениям, но уже давно ничего новее не выходило и форумы засыпаны странными предложениями о новых функциях. Может, не стану индивидуальным и первым, кто прости, но лично для меня, и соглашусь, для многих не хватает даже не функций и дополнительных кнопок, а немного больше отображаемых полей EXIF. Я был очень рад, что в последней сборке вобще появилось отображение EXIF, если оно есть, но лично мне всё-равно приходится открывать каждый файл вручную, из найденных дубликатов, чтобы смотреть недостающую информацию.
Когда находятся два дубля, да удобно различия видеть, удобно всякие поля, но жутко неудобно, как писал выше, когда отличаются в фотках всего два аспекта: а именно: DPI нигде не видно сколь точек на дюйм содержит каждая картинка, и не видно, хоть и появилась надпись под картинками где есть EXIF что именно содержится в полях EXIF.
Нельзя ли сделать дополнительный столбик с отображением DPI дубликатов?
И нельзя ли сделать возможно кнопку включающую полное содержание EXIF поверх картинки, по аналогу, например надписей FastStone Image Viewer, когда там прям на картинке отображается её название и пр.?
If you would like to refer to this comment somewhere else in this project, copy and paste the following link:
Огромное спасибо за программу! Сколько бы вручную искал дубли без нее и сказать страшно. Скажите, планируется ли версия под андроид? Это было бы грандиозно.
If you would like to refer to this comment somewhere else in this project, copy and paste the following link:
Sorry if i do not know russian, i hope you can understand me, I will add a google translation below hoping it is understandable.
My collection of pictures was developed over time by finding interesting pictures, and then at a later time finding a source image or a different image.
Most images differ by these three factors:
1) they are a cut up version of another image in the search path (scanned then cut to the essential part, but part of a larger picture)
2) they are a badly leveled version of another image (different scanning method or raw scan of same image, usually orientation is almost identical or a fixed 90 degree increment (might differ 1 or 2 degrees at most, the main problem is just... badly leveled... darker areas here and there at random lighter areas on some other parts, black borders due to being scanned)
3) they have been leveled differently from one another (raising white levels, lowering dark levels changing gamma)
Which method do you suggest me to use to find at least differences of type 1 and 3... i do understand that for differences of type 2 you basically need a neural network or something similar.
[RUS]
Извините, если я не знаю русский, надеюсь, вы меня понимаете, я добавлю перевод Google ниже, надеясь, что это понятно.
Моя коллекция фотографий была разработана с течением времени путем поиска интересных изображений, а затем в более позднее время поиска исходного изображения или другого изображения.
Большинство изображений отличаются этими тремя факторами:
1) они являются разрезанной версией другого изображения в пути поиска (отсканированные, затем вырезанные для существенной части, но являющиеся частью более крупного изображения)
2) они представляют собой плохо выровненную версию другого изображения (разный метод сканирования или сырое сканирование одного и того же изображения, обычно ориентация почти идентична или фиксированное приращение в 90 градусов (может отличаться максимум на 1-2 градуса, основная проблема - это просто .. Плохо выровнены ... более темные области здесь и там в случайных светлых областях на некоторых других участках, черные границы из-за того, что сканируются)
3) они были выровнены по-разному друг от друга (повышение уровня белого, снижение темных уровней, изменение гаммы)
Какой метод вы предлагаете мне использовать, чтобы найти, по крайней мере, различия типов 1 и 3 ... Я понимаю, что для различий типа 2 вам в основном нужна нейронная сеть или что-то подобное.
If you would like to refer to this comment somewhere else in this project, copy and paste the following link:
А можно с помощью данной программы как-то решить данную задачу:
Есть каталог, в котором 100500 изображений. Уже есть возможность удалять только дубли или оба файла, если они не нужны.
Но что если мне нужно один удалить, а оставшийся перенести в другой каталог?
Т.е. основная задача такая:
Есть каталог Помойка. Есть каталог Нужное.
Чтобы 2 раза не просматривать оставшиеся файлы в Помойке, нужно еще на этапе ручной обработке дублей переносить файлы в Нужное.
Конечно сумбурно все написал, но надеюсь, что вы меня поймете ))
Спасибо!
Last edit: Anonymous 2017-09-18
If you would like to refer to this comment somewhere else in this project, copy and paste the following link:
View and moderate all "Русский Общий Форум" comments posted by this user
Mark all as spam, and block user from posting to "Discussion"
Добрый день.
Программа ваша очень хорошая и быстрая, только в ней я нашёл многопоточность.
Но вся многопоточность теряет смысл, когда приходится потом вручную обрабатывать дубли. А автоматическим режимом пользоваться не хочется так как логика его заточена только на качество фото, а иногда больше имеет важность и расположение файла.
Было бы не плохо добавить ещё различных критериев для маркировки.
(эти я взял из программы Duplicate File Detective )
·Mark Matching File Paths - Provides a means of marking duplicate files with paths matching a specific pattern.
·Mark Largest (by Size) in Each Group - Marks the largest files in each duplicate group (using raw file size for comparison).
·Mark Smallest (by Size) in Each Group - Marks the smallest files in each duplicate group.
Тогда уж можно в меню для выбранных добавить: выделить совпадающие с именем каким-то. Выделеть с наименьшам разрешением, с наименьшим размером, более размытые и т.д.
View and moderate all "Русский Общий Форум" comments posted by this user
Mark all as spam, and block user from posting to "Discussion"
Ну да, это и есть самые востребованные функции
Это можно добавить, но я сначала хочу разобраться с другими библиотеками машиного обучения. Все же 5000 дубликатов даже группами удалять долго.
View and moderate all "Русский Общий Форум" comments posted by this user
Mark all as spam, and block user from posting to "Discussion"
Ну не знаю, не может быть универсального алгоритма. Иногда важнее разбить задачу на подзадачи, сначала применить один алгоритм, потом другой, третий. И тут как нельзя кстати база данных образов фатографий, которая как раз есть. Не хватает только различных алгоритмов отбраковки.
А с качеством и скоростью распознавания дубликатов думаю уже все в порядке, не хватает функциональности в обработке результатов.
Хорошо чем будет это меню отличаться от сортировки по размеру и нажатия удалить первые в выделенных результатах?
И опять же обрезанные дубликаты не находятся.
Last edit: Dmitry Borisov 2016-03-05
View and moderate all "Русский Общий Форум" comments posted by this user
Mark all as spam, and block user from posting to "Discussion"
О! Сортировка решает многие задачи, спасибо за совет.
Но хотелось бы что б интерфейс был более классическим для подобных програм, в частности не хватает простых чекбоксов и работы с ними. Чтоб можно было и в ручную их отмечать и автоматом по определённым правилам. А также не плохо было бы чтобы в группе похожих фотографий было не только две фотки, а больше, то есть результаты были представлены не попарно, а группой из нескольких дублей. И в этой группе можно было бы отметить один главный дубль и несколько подчинённых.
Ну и исходя из этого можно набросать примерный функционал.
-------------Правила выбора для главных:-----------
Пометить первые (должны отмечаться автоматом)
Пометить последние
-------------Правила выбора для подчиненных:-----------
Пометить все.
Пометить все кроме главных
Снять пометки.
Инвертировать.
MatchFilePath Пометить только те чей путь содержит...
------------Обработка выбранных---------
Удалить все
Переименовать Имя как у главных
Заменить подчинённые главными
Чтонибудь ещё
Вот такие соображения.
View and moderate all "Русский Общий Форум" comments posted by this user
Mark all as spam, and block user from posting to "Discussion"
Согласен. Немного поработал, можно и не делать того что я предложил, вполне можно обходиться и тем функционалом, который уже есть.
Ну можно ещё добавить что б при клике на любую из двух фотографий слева она открывалась на полный экран. А при скролинге ( mouse wheel ) переключалась на её дубль. И при следующем клике выходила из полного экрана.
Last edit: Anonymous 2016-03-07
View and moderate all "Русский Общий Форум" comments posted by this user
Mark all as spam, and block user from posting to "Discussion"
Дмитрий, спасибо, что не бросаете программу.
Мне вот одной функции не хватает при использовании - что-то вроде Move image to neighbour, только не к "соседу", а в заранее заданную в настройках папку (или даже одну из нескольких на выбор).
Это уже больше файловый менеджер. Объясните, зачем это может понадобиться? К соседу перемещение нужно чтобы картинки в просмотрошике можно было просматривать друг за другом на весь экран. Пока такое не реализовано в программе.
Бросать может и не бросаю, но и не сделал пока ничего нового. Некогда. Сейчас разбираюсь с питоном и перцептивными хешами. Чтобы поиск был как в яндексе, по кусочку изображения работал и не требовал диких плясок с установкой питона и Opencv для него.
View and moderate all "Русский Общий Форум" comments posted by this user
Mark all as spam, and block user from posting to "Discussion"
Это для полноэкранного режима и нужно, чтобы при сравнении не мешались другие картинки, не из этой группы дубликатов. Конечно, при использовании своего просмотрщика это не будет помехой, т.к. можно отображать выборочно только фото из одной группы (причём, их для этого и перемещать вроде не надо даже).
Но делать свой просмотрщик, да ещё чтобы был удобный, с хорошим функционалом (чтобы можно было менять масштаб, итд)- это отдельная большая работа. По моему, есть смысл использовать внешнюю программу просмотра (в которой привык смотреть картинки пользователь).
При этом алгоритм примерно такой:
1) вся группа дубликатов копируется во временную папку, и запускается просмотр внешней программой
2) в ней пользователь сравнит фото, в ней же удалит ненужные
3) после закрытия просмотрщика отсутствующие фото удаляем в их исходных папках, во временную загружаем следующую группу дубликатов, и сразу же опять запускаем просмотр
Можно предусмотреть глобальные горячие клавиши- выход из режима и, возможно переход к следующей/ предыдущей группе дубликатов.
Для пользователя всё весьма удобно- сравнение на полном экране с переходом к следующей группе клавишей закрытия просмотрщика (обычно, Esc).
View and moderate all "Русский Общий Форум" comments posted by this user
Mark all as spam, and block user from posting to "Discussion"
по поводу Питона и pHash:
https://github.com/philipbl/duplicate-images
пробовал, под Win не заработало, на Линуксе - нормально
Очень медленно индексирует, но качество определения дубликатов вроде неплохое,
Может быть медленно потому что на виртуалке запускал,
Теперь вот Вашу программу изучаю, достойный продукт!
View and moderate all "Русский Общий Форум" comments posted by this user
Mark all as spam, and block user from posting to "Discussion"
Добрый день.
Программа очень помогла (нашлась в обсуждении подобного ПО у Экслера), однако в процессе возникла мысль о еще одном способе обработки дублей, который весьма бы пригодился в нашей ситуации, и, думается, будет востребован вообще — это замена удаляемой картинки ссылкой к остающейся.
Наш живой пример — архив фото с различных выставок и событий, производственные фото. Люди в процессе работы часто копируют их в другие расположения, и они там лежат потом годами мертвым грузом, да еще и у нескольких человек, многократно пожирая дисковые пространства.
View and moderate all "Русский Общий Форум" comments posted by this user
Mark all as spam, and block user from posting to "Discussion"
Полностью поддерживаю, замена ссылкой очень нужна.
View and moderate all "Русский Общий Форум" comments posted by this user
Mark all as spam, and block user from posting to "Discussion"
желательно было бы опционально добавить удаление графики с размерами меньше заданных пользователем
View and moderate all "Русский Общий Форум" comments posted by this user
Mark all as spam, and block user from posting to "Discussion"
ЗАМЕНА УДАЛЯЕМОЙ КАРТИНКИ ССЫЛКОЙ К ОСТАЮЩЕЙСЯ! - этого сильно не хватает!
А ссылка на каких файловых системах поддерживается? NTFS, FAT, UDF, ISO 9660, EXFAT?
View and moderate all "Русский Общий Форум" comments posted by this user
Mark all as spam, and block user from posting to "Discussion"
Безотносительно технических моментов, не совсем (точнее, совсем не) понимаю, зачем это может быть нужно? Есть исходный файл-картинка, лежащий в какой-то целевой папке, именуемой чаще всего по дате создания/редактирования (или по какому-то другому принципу). Зачем нам могут понадобиться ссылки на него в других папках? Если речь идет о "тематических выборках", то с этой задачей отлично справляются вьюверы с их категориями/тегами. Пример в комментарии выше от 2016-10-26 - это повод для соответствующих организационных, а не программных мероприятий. Ничто не мешает установить порядок, при котором сами сотрудники обязаны будут именно ссылаться на оригинал, а не плодить копии. А программными методами (в частности этой замечательной программой) уполномоченные ответственные лица всегда могут удалить копии и вынести соответствующие определения отновительно провинившихся.
MiAMi
Last edit: Anonymous 2016-12-28
View and moderate all "Русский Общий Форум" comments posted by this user
Mark all as spam, and block user from posting to "Discussion"
Программа очень радует на протяжении многих лет пользуюсь и не перестаю поражаться функционалу и скорости работы и нововведениям, но уже давно ничего новее не выходило и форумы засыпаны странными предложениями о новых функциях. Может, не стану индивидуальным и первым, кто прости, но лично для меня, и соглашусь, для многих не хватает даже не функций и дополнительных кнопок, а немного больше отображаемых полей EXIF. Я был очень рад, что в последней сборке вобще появилось отображение EXIF, если оно есть, но лично мне всё-равно приходится открывать каждый файл вручную, из найденных дубликатов, чтобы смотреть недостающую информацию.
Когда находятся два дубля, да удобно различия видеть, удобно всякие поля, но жутко неудобно, как писал выше, когда отличаются в фотках всего два аспекта: а именно: DPI нигде не видно сколь точек на дюйм содержит каждая картинка, и не видно, хоть и появилась надпись под картинками где есть EXIF что именно содержится в полях EXIF.
Нельзя ли сделать дополнительный столбик с отображением DPI дубликатов?
И нельзя ли сделать возможно кнопку включающую полное содержание EXIF поверх картинки, по аналогу, например надписей FastStone Image Viewer, когда там прям на картинке отображается её название и пр.?
View and moderate all "Русский Общий Форум" comments posted by this user
Mark all as spam, and block user from posting to "Discussion"
Огромное спасибо за программу! Сколько бы вручную искал дубли без нее и сказать страшно. Скажите, планируется ли версия под андроид? Это было бы грандиозно.
Не думаю. Доделать, переделать бы эту, для windows. И на это моего времени может не хватить.
View and moderate all "Русский Общий Форум" comments posted by this user
Mark all as spam, and block user from posting to "Discussion"
[ENG]
Sorry if i do not know russian, i hope you can understand me, I will add a google translation below hoping it is understandable.
My collection of pictures was developed over time by finding interesting pictures, and then at a later time finding a source image or a different image.
Most images differ by these three factors:
1) they are a cut up version of another image in the search path (scanned then cut to the essential part, but part of a larger picture)
2) they are a badly leveled version of another image (different scanning method or raw scan of same image, usually orientation is almost identical or a fixed 90 degree increment (might differ 1 or 2 degrees at most, the main problem is just... badly leveled... darker areas here and there at random lighter areas on some other parts, black borders due to being scanned)
3) they have been leveled differently from one another (raising white levels, lowering dark levels changing gamma)
Which method do you suggest me to use to find at least differences of type 1 and 3... i do understand that for differences of type 2 you basically need a neural network or something similar.
[RUS]
Извините, если я не знаю русский, надеюсь, вы меня понимаете, я добавлю перевод Google ниже, надеясь, что это понятно.
Моя коллекция фотографий была разработана с течением времени путем поиска интересных изображений, а затем в более позднее время поиска исходного изображения или другого изображения.
Большинство изображений отличаются этими тремя факторами:
1) они являются разрезанной версией другого изображения в пути поиска (отсканированные, затем вырезанные для существенной части, но являющиеся частью более крупного изображения)
2) они представляют собой плохо выровненную версию другого изображения (разный метод сканирования или сырое сканирование одного и того же изображения, обычно ориентация почти идентична или фиксированное приращение в 90 градусов (может отличаться максимум на 1-2 градуса, основная проблема - это просто .. Плохо выровнены ... более темные области здесь и там в случайных светлых областях на некоторых других участках, черные границы из-за того, что сканируются)
3) они были выровнены по-разному друг от друга (повышение уровня белого, снижение темных уровней, изменение гаммы)
Какой метод вы предлагаете мне использовать, чтобы найти, по крайней мере, различия типов 1 и 3 ... Я понимаю, что для различий типа 2 вам в основном нужна нейронная сеть или что-то подобное.
"a cut up version of another image" - you mean a cropped picture?
Why for type 2 neural network? We need a detector.
View and moderate all "Русский Общий Форум" comments posted by this user
Mark all as spam, and block user from posting to "Discussion"
А можно с помощью данной программы как-то решить данную задачу:
Есть каталог, в котором 100500 изображений. Уже есть возможность удалять только дубли или оба файла, если они не нужны.
Но что если мне нужно один удалить, а оставшийся перенести в другой каталог?
Т.е. основная задача такая:
Есть каталог Помойка. Есть каталог Нужное.
Чтобы 2 раза не просматривать оставшиеся файлы в Помойке, нужно еще на этапе ручной обработке дублей переносить файлы в Нужное.
Конечно сумбурно все написал, но надеюсь, что вы меня поймете ))
Спасибо!
Last edit: Anonymous 2017-09-18
Нету такого чтобы одной кнопкой перенсети один файл и удалить другой. Сначала перенеси что нужно, а потом удаляй.