Я пытаюсь найти файлы, существующие в одном каталоге, но не в другом, я пытался использовать эту команду:
diff -q dir1 dir2
Проблема с приведенной выше командой в том, что она находит оба файла в dir1
, но не в dir2
, а также файлы в dir2
, но не в dir1
,
Я пытаюсь найти файлы в dir1
, но не только в dir2
.
Вот небольшой пример того, как выглядят мои данные
dir1 dir2 dir3
1.txt 1.txt 1.txt
2.txt 3.txt 3.txt
5.txt 4.txt 5.txt
6.txt 7.txt 8.txt
Другой вопрос, который у меня возникает, - как найти файлы в dir1
, а не в dir2
или dir3
в одной команде?
diff -r dir1 dir2 | grep dir1 | awk '{print $4}' > difference1.txt
Объяснение:
diff -r dir1 dir2
показывает, какие файлы находятся только в dir1 и только в dir2, а также изменения файлов, присутствующих в обоих каталогах, если таковые имеются.
diff -r dir1 dir2 | grep dir1
показывает, какие файлы есть только в dir1
awk
для печати только имени файла.
Это должно сделать работу:
diff -rq dir1 dir2
Опции объяснены (через diff (1) справочная страница ):
-r
- рекурсивно сравнивать любые найденные подкаталоги.-q
- выводить только те файлы, которые отличаются.comm -23 <(ls dir1 |sort) <(ls dir2|sort)
Эта команда выдаст вам файлы, которые находятся в dir1 и не в dir2.
Что касается знака <( )
, вы можете использовать его как «процесс замены».
Хороший способ сделать это сравнение - использовать find
с md5sum
, а затем diff
.
Пример:
Используйте find
для вывода списка всех файлов в каталоге, затем вычислите хэш md5 для каждого файла и передайте его в файл:
find /dir1/ -type f -exec md5sum {} \; > dir1.txt
Проделайте ту же процедуру с другим каталогом:
find /dir2/ -type f -exec md5sum {} \; > dir2.txt
Затем сравните результат двух файлов с «diff»:
diff dir1.txt dir2.txt
Эта стратегия очень полезна, когда сравниваемые два каталога не находятся на одном компьютере, и вам необходимо убедиться, что файлы в обоих каталогах совпадают.
Еще один хороший способ сделать это - использовать git
git diff --no-index dir1/ dir2/
С наилучшими пожеланиями!
Мелд ( http://meldmerge.org/ ) отлично справляется со сравнением каталогов и файлов внутри.
vim's DirDiff plugin - еще один очень полезный инструмент для сравнения каталогов.
vim -c "DirDiff dir1 dir2"
Он не только перечисляет, какие файлы различаются между каталогами, но также позволяет вам проверять/изменять с помощью vimdiff файлы, которые отличаются.
Неудовлетворенный всеми ответами, так как большинство из них работают очень медленно и выдают излишне длинный вывод для больших каталогов, я написал свой собственный скрипт на Python для сравнения двух папок.
В отличие от многих других решений, он не сравнивает содержимое файлов. Также это не входит в подкаталоги, которые отсутствуют в другом каталоге. Таким образом, вывод довольно лаконичен, и скрипт работает быстро.
#!/usr/bin/env python3
import os, sys
def compare_dirs(d1: "old directory name", d2: "new directory name"):
def print_local(a, msg):
print('DIR ' if a[2] else 'FILE', a[1], msg)
# ensure validity
for d in [d1,d2]:
if not os.path.isdir(d):
raise ValueError("not a directory: " + d)
# get relative path
l1 = [(x,os.path.join(d1,x)) for x in os.listdir(d1)]
l2 = [(x,os.path.join(d2,x)) for x in os.listdir(d2)]
# determine type: directory or file?
l1 = sorted([(x,y,os.path.isdir(y)) for x,y in l1])
l2 = sorted([(x,y,os.path.isdir(y)) for x,y in l2])
i1 = i2 = 0
common_dirs = []
while i1<len(l1) and i2<len(l2):
if l1[i1][0] == l2[i2][0]: # same name
if l1[i1][2] == l2[i2][2]: # same type
if l1[i1][2]: # remember this folder for recursion
common_dirs.append((l1[i1][1], l2[i2][1]))
else:
print_local(l1[i1],'type changed')
i1 += 1
i2 += 1
Elif l1[i1][0]<l2[i2][0]:
print_local(l1[i1],'removed')
i1 += 1
Elif l1[i1][0]>l2[i2][0]:
print_local(l2[i2],'added')
i2 += 1
while i1<len(l1):
print_local(l1[i1],'removed')
i1 += 1
while i2<len(l2):
print_local(l2[i2],'added')
i2 += 1
# compare subfolders recursively
for sd1,sd2 in common_dirs:
compare_dirs(sd1, sd2)
if __name__=="__main__":
compare_dirs(sys.argv[1], sys.argv[2])
Пример использования:
[email protected]:~$ python3 compare_dirs.py dir1/ dir2/
DIR dir1/out/flavor-domino removed
DIR dir2/out/flavor-maxim2 added
DIR dir1/target/vendor/flavor-domino removed
DIR dir2/target/vendor/flavor-maxim2 added
FILE dir1/tmp/.kconfig-flavor_domino removed
FILE dir2/tmp/.kconfig-flavor_maxim2 added
DIR dir2/tools/tools/LiveSuit_For_Linux64 added
Или, если вы хотите видеть только файлы из первого каталога:
[email protected]:~$ python3 compare_dirs.py dir2/ dir1/ | grep dir1
DIR dir1/out/flavor-domino added
DIR dir1/target/vendor/flavor-domino added
FILE dir1/tmp/.kconfig-flavor_domino added
Постскриптум Если вам нужно сравнить размеры файлов и хэши файлов на предмет возможных изменений, я опубликовал обновленный скрипт здесь: https://Gist.github.com/amakukha/f489cbde2afd32817f8e866cf4abe779
Другой (может быть, быстрее для больших каталогов) подход:
$ find dir1 | sed 's,^[^/]*/,,' | sort > dir1.txt && find dir2 | sed 's,^[^/]*/,,' | sort > dir2.txt
$ diff dir1.txt dir2.txt
Команда sed
удаляет первый компонент каталога благодаря посту Эрика )
Это немного поздно, но может кому-то помочь. Не уверен, что diff или rsync выкладывают только имена файлов в таком формате. Спасибо plhn за то, что дали то хорошее решение, которое я расширил ниже.
Если вам нужны только имена файлов, поэтому легко скопировать нужные файлы в чистом формате, вы можете использовать команду find.
comm -23 <(find dir1 | sed 's/dir1/\//'| sort) <(find dir2 | sed 's/dir2/\//'| sort) | sed 's/^\//dir1/'
Это предполагает, что и dir1, и dir2 находятся в одной родительской папке. sed просто удаляет родительскую папку, чтобы вы могли сравнить яблоки с яблоками. Последний sed просто возвращает имя dir1.
Если вы просто хотите файлы:
comm -23 <(find dir1 -type f | sed 's/dir1/\//'| sort) <(find dir2 -type f | sed 's/dir2/\//'| sort) | sed 's/^\//dir1/'
Аналогично для каталогов:
comm -23 <(find dir1 -type d | sed 's/dir1/\//'| sort) <(find dir2 -type d | sed 's/dir2/\//'| sort) | sed 's/^\//dir1/'
В принятом ответе также будут перечислены файлы, которые существуют в обоих каталогах, но имеют разное содержимое. Чтобы вывести список ТОЛЬКО файлов, которые существуют в dir1, вы можете использовать:
diff -r dir1 dir2 | grep 'Only in' | grep dir1 | awk '{print $4}' > difference1.txt
Объяснение:
Это скрипт bash для печати команд для синхронизации двух каталогов
dir1=/tmp/path_to_dir1
dir2=/tmp/path_to_dir2
diff -rq $dir1 $dir2 | sed -e "s|Only in $dir2\(.*\): \(.*\)|cp -r $dir2\1/\2 $dir1\1|" | sed -e "s|Only in $dir1\(.*\): \(.*\)|cp -r $dir1\1/\2 $dir2\1|"
Этот ответ оптимизирует одно из предложений @ Adail-Junior, добавив параметр -D
, который полезен, когда ни один из сравниваемых каталогов не является репозиторием git:
git diff -D --no-index dir1/ dir2/
Если вы используете -D
, то вы не увидите сравнения с /dev/null
: text
Binary files a/whatever and /dev/null differ
GNU grep
может инвертировать поиск с помощью опции -v
. Это делает grep
отчетными строками, которые не совпадают. Этим вы можете удалить файлы в dir2
из списка файлов в dir1
.
grep -v -F -x -f <(find dir2 -type f -printf '%P\n') <(find dir1 -type f -printf '%P\n')
Опции -F -x
сообщают grep
выполнить поиск по всей строке.
Упрощенный способ сравнения двух каталогов с помощью команды DIFF
diff filename.1 filename.2> filename.dat >> Enter
открыть файл filename.dat после завершения запуска
и вы увидите: Только в filename.1: filename.2 Только в: directory_name: name_of_file1 Только в: directory_Name: name_of_file2