Утилита для копирования файлов с определенными условиями

[mef-is-toffel.livejournal.com]

Есть задачка регулярного копирования массива мелких файлов с такими условиями:

1. Если копируемый файл совпадает по размеру/содержанию с существующим -- пропустить или перезаписать.
2. Если копируемый файл отличается по размеру -- копировать, автоматически переименовывая (добавляя к имени что-то вроде _001, _002 и т.д.).
3. Если существующий файл пустой (имеет нулевой размер) -- переписать в любом случае.

Под Windows.

Я полагал, что старый добрый Total Commander с такой задачкой справится, но там либо автоматом все подряд переименовывать, либо заменять файлы большего/меньшего размера. Среди утилиток смотрел Tera Copy -- тоже такого не умеет. Может быть, кто-то сможет подсказать подходящую?

Необязательное пожелание -- при проверке существующего файла выбирать, анализировать ли только размер (для скорости), либо размер и содержимое (для надежности). Но это необязательно.

Comments

[denimih.livejournal.com]

Проще в Дельфях написать за 5 минут.

[mef-is-toffel.livejournal.com]

Без всякой иронии -- полностью с Вами согласен, иногда встречается какая-нибудь задачка, для которой совершенно очевиден алгоритм решения и примерно понятен способ реализации. К сожалению, программированием я занимался давненько, тогда еще дельфей и даже винды не было. Изучить бы неплохо, но времени на то нет... Так что максимум -- это какой-нибудь хитрый батник написать в моем случае.

[agalakhov.livejournal.com]

В UNIX это пара команд на шелле. Если такие задачи возникают регулярно, советую установить msys и делать такие вещи через него. На работе мы именно так и делаем. Искать под каждую такую мелочь отдельную программулину - сдохнуть можно, проще поставить bash на Windows.

В принципе на PowerShell то же самое делается, но не так красиво.

Проще всего сделать так:
1) Удаляем все файлы нулевого размера в целевой папке.
2) Берем список уже существующих файлов и копируем соответствующие им, если они есть, в новое имя.
3) Копируем все файлы, которых еще нет.

Так проще, чем на каждый файл отдельно выяснять, надо ли переименовывать. Еще проще, но медленнее: сначала удалить все совпадающие файлы, потом скопировать вообще все.

[mef-is-toffel.livejournal.com]

Есть порт юникс-команд под винду
http://unxutils.sourceforge.net/

Там ничего подходящего под мои цели не найдется?

Со сравнением каталогов и поисков дубликатов не хотелось бы связываться -- во-первых, большой риск накосячить при каком-нибудь несовпадении имен вложенных каталогов, во-вторых, не встречал, честно говоря, хороших решений по автоматическому удалению дубликатов.

[agalakhov.livejournal.com]

Есть порт юникс-команд под винду под названием msys. Подходящая команда, она же главная - bash, делает почти все. Ну еще rsync можно. И еще tar: классический прием - заархивировать и сразу разархивировать обратно (архив на диске как файл не создается, идет через пайп) очень удобен для копирования файлов, в том числе по сети.

Без пункта о переименовании файлов все делалось бы одной командой rsync. Переименование усложняет, это будет find + xargs или for, но в любом случае из стандартных команд. Так или иначе это не готовое решение, а полуфабрикат, но он того стоит: даже задача "разложи 1000 mp3-файлов по папкам в соответствии с написанными в них! тегами" решается этими инструментами ненамного сложнее.

[mef-is-toffel.livejournal.com]

А не подскажете, есть ли там команда для удаления дубликатов? В принципе, как Вы верно подсказали, довольно просто можно решить задачу, сделав процесс двухступенчатым: скопировать вообще все стандартными средствами Total Commander с автоматическим переименованием, а потом запустить какую-нибудь утилиту для автопоиска и автоудаления дубликатов.

[agalakhov.livejournal.com]

Легко делается. Там есть команда вычисления хэш-суммы файла, например sha256sum или md5sum. Дальше просто: запускаем ее на все файлы, результат сортируем командой sort и прореживаем uniq -f. Получается список всех уникальных файлов (т.е. каждое содержимое встречается ровно один раз). Потом достаточно удалить файлы, которых нет в списке.

$ find . -type f | xargs sha256sum | sort | awk '{print $2, $1}' | uniq -f 1 > unique-files.txt

создает файл со списком уникальных файлов. Команда awk тут нужна, чтобы переставить местами колонки в списке, остальное ясно.

[mef-is-toffel.livejournal.com]

Спасибо!

[agalakhov.livejournal.com]

Вот он:
http://www.mingw.org/wiki/msys
Качаете mingw-get, он все ставит. Получаете в Windows почти настоящую UNIX-консоль, 99% команд линукса будут работать. И дальше что угодно можно делать.

Что надо знать: в именах файлов UNIX слеш пишется в другую сторону, а дисков вроде c: нету. MSYS имитирует диски Windows с помощью папок, поэтому путь C:\Users\MyName превращается в /c/Users/MyName. Обратите внимание, в UNIX имена файлов чувствительны к регистру, readme.txt и Readme.txt - это два разных файла, могущих лежать в одной папке рядом!

[mef-is-toffel.livejournal.com]

Благодарю! Буду разбираться.

[starmaugli.livejournal.com]

Мне тоже кажется, что лучшей бесплатной утилитой в данном случае окажется любой Линукс. Ну, правда, под Виндовс придется еще виртуальную машину городить. Хотя если мощности позволяют, то не такая это уж и проблема.

[mef-is-toffel.livejournal.com]

Есть пакет утилит, портированных под винду
http://unxutils.sourceforge.net/

Не подскажете, среди них ничего подходящего нет?

[starmaugli.livejournal.com]

по присланной вами ссылки shellutils вероятно (sh.exe).

[mef-is-toffel.livejournal.com]

Спасибо!

[alfare.livejournal.com]

Когда-то нечто похожее я делал многофункциональной утилитой, входившей в ТС Beyond Compare. Но гарантировать не могу, если есть жедание - почитайте про эту штуку, очень полезная для всяческой синхронизации и сравнения каталогов по множеству условий.
Причём, она могла проводить операции сравнения и синхронизации в каталогах, содержащих множество вложенных папок с сохранением их структуры.

[mef-is-toffel.livejournal.com]

Благодарю! Буду смотреть. Если удасться расширить функционал TC для выполнения сей задачи, меня бы это устроило больше всего.