it-swarm.xyz

Как стереть свободное место на диске в Linux?

Когда файл удален, его содержимое все равно может остаться в файловой системе, если явно не перезаписано чем-то другим. Команда wipe может безопасно удалять файлы, но, похоже, не позволяет стереть свободное дисковое пространство, не используемое никакими файлами.

Что я должен использовать для достижения этой цели?

141
Alex B

Warning:Современное оборудование для дисков/SSD и современные файловые системы могут спрятать данные в местах, где вы не можете их удалить, поэтому этот процесс все равно может оставить данные на диске. безопасные способы удаления данных - команда безопасного удаления ATA (если она реализована правильно) или физическое уничтожение. Также см. Как надежно удалить всю информацию на жестком диске?

Вы можете использовать набор инструментов, который называется secure-delete.

Sudo apt-get install secure-delete

Это имеет четыре инструмента:

srm - безопасно удалить существующий файл
smem - безопасно удалить следы файла из оперативной памяти
sfill - очистить все пространство, помеченное как пустое на вашем жестком диске
sswap - стереть все данные из пространства подкачки.

Со страницы руководства srm

srm предназначен для безопасного удаления данных на носителях, которые не могут быть восстановлены ворами, правоохранительными органами или другими угрозами. Алгоритм очистки основан на статье «Безопасное удаление данных из магнитной и твердотельной памяти», представленной на 6-м симпозиуме по безопасности Usenix Питером Гутманом, одним из ведущих гражданских криптографов.

Процесс безопасного удаления данных в srm выглядит следующим образом:

  • 1 проход с 0xff
  • 5 случайных проходов. /dev/urandom используется для безопасного RNG, если доступно.
  • 27 проходов со специальными значениями, определенными Питером Гутманом.
  • 5 случайных проходов. /dev/urandom используется для безопасного RNG, если доступно.
  • Переименуйте файл в случайное значение
  • Усекать файл

В качестве дополнительной меры безопасности файл открывается в режиме O_SYNC, и после каждого прохода выполняется вызов fsync(). srm для ускорения записывает 32 тыс. блоков, заполняя буферы дисковых кешей, заставляя их сбрасывать и перезаписывать старые данные, которые принадлежали файлу.

105
fnord_ix

Самый быстрый способ, если вам нужен только один проход и вы просто хотите заменить все на нули, это:

cat /dev/zero > zero.file
sync
rm zero.file

(запустить из каталога в файловой системе, которую вы хотите стереть)
(команда sync - это мера паранойи, которая обеспечивает запись всех данных на диск - интеллектуальный менеджер кэша может сработать, что он может отменить запись для любых ожидающих блоков, когда файл не связан)

Во время этой операции будет время, когда в файловой системе вообще не будет свободного места, которое может составить десятки секунд, если результирующий файл будет большим и фрагментированным, поэтому его удаление займет некоторое время. Чтобы уменьшить время, когда свободное пространство полностью равно нулю:

dd if=/dev/zero of=zero.small.file bs=1024 count=102400
cat /dev/zero > zero.file
sync
rm zero.small.file
rm zero.file

Этого должно быть достаточно, чтобы кто-то не мог прочитать содержимое старого файла без дорогостоящей криминалистической операции. Для более безопасного, но более медленного варианта замените /dev/zero на /dev/urandom. Для большей паранойи выполните несколько шагов с /dev/urandom, хотя если вам нужно столько усилий, утилита shred из пакета coreutils - это то, что нужно:

dd if=/dev/zero of=zero.small.file bs=1024 count=102400
shred -z zero.small.file
cat /dev/zero > zero.file
sync
rm zero.small.file
shred -z zero.file
sync
rm zero.file

Обратите внимание, что в приведенном выше примере маленький файл измельчается перед созданием большего, поэтому его можно удалить, как только завершится создание большего, вместо того, чтобы ждать, пока он будет уничтожен, оставляя файловую систему с нулевым свободным пространством на время, которое требуется. Процесс уничтожения занимает long время для большого файла, и если вы не пытаетесь что-то скрыть от NSA, на самом деле IMO не требуется.

Все вышеперечисленное должно работать на любой файловой системе.

Ограничения размера файла:

Как отмечает DanMoulding в комментарии ниже, это может иметь проблемы с ограничением размера файла в некоторых файловых системах.

Для FAT32 это было бы определенно проблемой из-за ограничения файла в 2 ГБ: большинство томов больше, чем сегодня (8TiB - это ограничение размера тома IIRC). Вы можете обойти эту проблему, передав по конвейеру большие выходные данные cat /dev/zero через split, чтобы сгенерировать несколько файлов меньшего размера и соответственно настроить этапы уничтожения и удаления.

С ext2/3/4 это не так важно: при использовании стандартного/общего блока 4K ограничение размера файла составляет 2 ТБ, поэтому вам потребуется объем огромный, чтобы это стало проблемой ( максимальный размер объема в этих условиях составляет 16 ТБ).

С (все еще экспериментальными) btrfs максимальные размеры файлов и томов составляют огромные 16EiB.

Под NTFS максимальная длина файла в некоторых случаях даже превышает максимальную длину тома.

Начальные точки для получения дополнительной информации:
http://en.wikipedia.org/wiki/Ext3#Size_limits
http://en.wikipedia.org/wiki/Btrfs
http://en.wikipedia.org/wiki/Ntfs#Scalability

Виртуальные устройства

Как недавно упоминалось в комментариях, существуют дополнительные соображения для виртуальных устройств:

  • Для редко выделяемых виртуальных дисков другие методы, такие как используемые zerofree, будут быстрее (хотя в отличие от cat и dd это не стандартный инструмент, на который можно положиться в значительной степени в любой Unix-подобной ОС).

  • Имейте в виду, что обнуление блока на разреженном виртуальном устройстве может не стереть блок на базовом устройстве физическом, на самом деле я бы сказал, что это маловероятно - диспетчер виртуальных дисков просто сделает блок больше не используется, поэтому он может быть выделен для чего-то другого позже.

  • Даже для виртуальных устройств фиксированного размера вы не можете контролировать физическое расположение устройства, поэтому его можно перемещать вокруг текущего местоположения или на новый набор физических дисков в любое время, и самое большее, что вы можете стереть, это текущее местоположение, а не любые предыдущие местоположения, в которых блок мог находиться в прошлом.

  • Для перечисленных выше проблем на виртуальных устройствах: если вы не управляете хостами и не можете выполнить безопасную очистку их нераспределенного пространства после очистки дисков в VM или перемещения виртуального устройства, вам ничего не нужно может сделать это после свершившегося факта. Единственным выходом является использование полного шифрования диска с самого начала, так что в первую очередь все незашифрованные данные записываются на физический носитель. Конечно, все еще может потребоваться очистка свободного пространства в VM. Также обратите внимание, что FDE может сделать разреженные виртуальные устройства намного менее полезными, так как уровень виртуализации не может реально увидеть, какие блоки не используются. Если уровень файловой системы ОС отправляет команды обрезки на виртуальное устройство (как если бы это был SSD), и виртуальный контроллер интерпретирует их, то это может решить эту проблему, но я не знаю каких-либо обстоятельств, где это действительно происходит, и более широких обсуждение этого вопроса в другом месте (мы уже близки к тому, чтобы не обсуждать первоначальный вопрос, поэтому, если это вызвало у вас интерес, возможно, стоит поэкспериментировать и/или последующие вопросы).

69
David Spillett

ПРЕДУПРЕЖДЕНИЕ

Я был шокирован тем, сколько файлов photorec может извлечь с моего диска, даже после очистки.

Вопрос о том, будет ли больше безопасности при заполнении «свободного пространства» только один раз 0x00 или 38 раз различными каббалистическими стандартами, является скорее академической дискуссией. Автор оригинальной статьи 1996 года о измельчении написал себе epilogue , сказав, что это устарело и не нужно для современного оборудования. Нет зарегистрированного случая, когда данные физически заменяли нули и впоследствии восстанавливались.

Истинная хрупкая ссылка в этой процедуре - файловая система . Некоторые файловые системы резервируют пространство для специального использования, и оно не доступно как «свободное место». Но ваши данные могут быть там . Это включает в себя фотографии, личные текстовые электронные письма, что угодно. Я только что гуглил зарезервировано + пробел + ext4 и узнал, что 5% моего раздела home были зарезервированы. Я предполагаю, что именно здесь photorec нашел так много моих вещей. Вывод: метод измельчения не самый важный, даже многопроходный метод все еще оставляет данные на месте .

Вы можете попробовать # tune2fs -m 0 /dev/sdn0 перед его монтированием. (Если это будет корневой раздел после перезагрузки, обязательно запустите -m 5 или -m 1 после его размонтирования).

Но, тем не менее, так или иначе, может остаться место.

Единственный действительно безопасный способ - стереть весь раздел, снова создать файловую систему, а затем восстановить файлы из резервной копии.


Быстрый путь (рекомендуется)

Запустите из каталога в файловой системе, которую вы хотите стереть:

dd if=/dev/zero of=zero.small.file bs=1024 count=102400
dd if=/dev/zero of=zero.file bs=1024
sync ; sleep 60 ; sync
rm zero.small.file
rm zero.file

Примечания: цель небольшого файла - сократить время, когда свободное место полностью равно нулю; цель синхронизации - убедиться, что данные действительно записаны.

Это должно быть достаточно хорошо для большинства людей.

Медленный путь (параноик)

Не зарегистрировано случаев восстановления данных после вышеуказанной очистки. Это было бы дорого и требовательно к ресурсам, если вообще возможно.

Тем не менее, если у вас есть основания полагать, что секретные агентства потратят много ресурсов на восстановление ваших файлов, этого должно быть достаточно:

dd if=/dev/urandom of=random.small.file bs=1024 count=102400
dd if=/dev/urandom of=random.file bs=1024
sync ; sleep 60 ; sync
rm random.small.file
rm random.file

Это занимает гораздо больше времени.

Предупреждение. Если вы выбрали параноидальный способ, после этого вы все равно захотите сделать быструю очистку, и это не паранойя. Наличие чисто случайных данных легко и дешево обнаружить, и возникает подозрение, что это фактически зашифрованные данные. Вы можете умереть под пытками за то, что не раскрыли ключ расшифровки.

Очень медленный путь (сумасшедший параноик)

Даже автор оригинальной статьи 1996 года о измельчении написал эпилог, в котором говорится, что это устарело и не нужно для современного оборудования.

Но если у вас еще есть много свободного времени, и вы не возражаете тратить свой диск на перезапись, то это так:

dd if=/dev/zero of=zero.small.file bs=1024 count=102400
sync ; sleep 60 ; sync
shred -z zero.small.file
dd if=/dev/zero of=zero.file bs=1024
sync ; sleep 60 ; sync
rm zero.small.file
shred -z zero.file
sync ; sleep 60 ; sync
rm zero.file

Примечание: это по сути эквивалентно использованию инструмента безопасного удаления.


Перед редактированием этот пост был переписан Дэвидом Спиллеттом. Команда "cat" выдает сообщение об ошибке, но я не могу писать комментарии к постам других людей.

44
user39559

По крайней мере, в Ubuntu есть нулевая утилита:

http://manpages.ubuntu.com/manpages/natty/man8/zerofree.8.html

   zerofree — zero free blocks from ext2/3 file-systems

   zerofree  finds  the  unallocated, non-zeroed blocks in an ext2 or ext3
   filesystem (e.g. /dev/hda1) and fills them with zeroes. This is  useful
   if  the  device  on  which this file-system resides is a disk image. In
   this case, depending on the type of disk image, a secondary utility may
   be  able  to  reduce the size of the disk image after zerofree has been
   run.

   The usual way to achieve  the  same  result  (zeroing  the  unallocated
   blocks)  is to run dd (1) to create a file full of zeroes that takes up
   the entire free space on the drive, and then delete this file. This has
   many disadvantages, which zerofree alleviates:

      ·  it is slow;

      ·  it makes the disk image (temporarily) grow to its maximal extent;

      ·  it  (temporarily)  uses  all  free  space  on  the disk, so other
         concurrent write actions may fail.

   filesystem has to be unmounted or mounted  read-only  for  zerofree  to
   work.  It  will exit with an error message if the filesystem is mounted
   writable. To remount the  root  file-system  readonly,  you  can  first
   switch to single user runlevel (telinit 1) then use mount -o remount,ro
   filesystem.

Также проверьте эту ссылку на zerofree: Хранение изображений файловой системы редкими - это от ее автора - Рон Йорстон (9 августа 2012)

27
osgx

Вот как это сделать с помощью графического интерфейса.

  1. Установить BleachBit
  2. Запустите от имени пользователя root, выбрав Приложения - Системные инструменты - BleachBit от имени администратора.
  3. В настройках укажите, какие пути вы хотите. Как правило, он угадывает их хорошо. Вы хотите включить один доступный для записи путь для каждого раздела. Обычно это/home/username и/tmp, если они не являются одним и тем же разделом, в этом случае просто выберите один.
  4. Установите флажок Система - Wipe Free Disk Space.
  5. Нажмите Удалить.

Преимущество BleachBit перед dd (что в противном случае очень приятно) заключается в том, что когда диск, наконец, заполнен, BleachBit создает небольшие файлы для очистки inode (которые содержат метаданные, например имена файлов и т.д.).

3
Andrew Z

Вы можете стереть свое свободное место с помощью безопасного пакета удаления.

В этом пакете вы можете найти инструмент sfill, который предназначен для безопасного удаления данных, находящихся на доступном дисковом пространстве на носителях, которые не могут быть восстановлены ворами, правоохранительными органами или другими угрозами.

Чтобы установить пакет безопасного удаления в Linux (Ubuntu), установите его с помощью следующей команды:

$ Sudo apt-get install secure-delete

Затем, чтобы стереть в ваших данных нет свободного места, попробуйте следующую команду:

sfill -f -v -ll /YOUR_MOUNTPOINT/OR_DIRECTORY

Где/YOUR_MOUNTPOINT/OR_DIRECTORY - это точка монтирования (df -h, mount) или каталог для удаления свободного места.

Прочтите руководство по адресу http://manpages.ubuntu.com/manpages/hardy/man1/sfill.1.html

2
kenorb

Протрите диск на максимальной скорости.

Типичные инструкции для шифрования диска в настоящее время скажут вам сначала очистить диск.

Команда ниже заполнит ваш диск зашифрованным текстом AES.

Используйте live CD, если вам нужно стереть основной загрузочный диск.

Откройте терминал и повышайте свои привилегии:

Sudo bash

Давайте перечислим все диски в системе для безопасности:

cat /proc/partitions

ПРИМЕЧАНИЕ. Замените /dev/sd{x} на устройство, которое вы хотите стереть.

ВНИМАНИЕ: Это не для любителей! Вы можете сделать вашу систему не загружаемой !!!

Sudo openssl enc -aes-256-ctr -pass pass:"$(dd if=/dev/urandom bs=128 count=1 2>/dev/null | base64)" -nosalt < /dev/zero > /dev/sd{x}

Я ошеломлен тем, как быстро это происходит.

2
Roger Lawhorn

Я использую dd, чтобы выделить один или несколько больших файлов для заполнения свободного места, а затем использую утилиту безопасного удаления.

Чтобы разместить файлы с помощью dd, попробуйте:

dd if=/dev/zero of=delete_me bs=1024 count=102400

Это создаст файл с именем delete_me размером 100 МБ. (Здесь bs - это «размер блока», установленный в 1k, а count - это количество блоков для выделения.)

Затем используйте вашу любимую утилиту безопасного удаления (я использую shred ) для созданных файлов.

Но ОБРАТИТЕ ВНИМАНИЕ: буферизация означает, что даже если вы делаете диск целый, вы можете получить не все!


Эта ссылка рекомендует scrub для очистки свободного пространства. Не пробовал это.

2
dmckee

Возможно, в вашей системе уже установлен пакет GNU coreutils . Он предоставляет команду shred .

2
dkaylor

Проще использовать скраб :

scrub -X dump

Это создаст папку dump в текущем местоположении и будет создавать файл, пока диск не будет заполнен. Вы можете выбрать шаблон с параметром -p (nnsa|dod|bsi|old|fastold|gutmann).

Установить скраб нелегко ( см. Раздел «Форумы Ubuntu» в этом разделе ), но как только установка будет завершена, в вашей руке будет действительно ПРОСТОЙ и эффективный инструмент.

1
FMaz008

Я нашел простое решение, которое работает на Linux и MacOS. Переместитесь в корневую папку вашего диска и запустите эту команду:

for i in $(seq 1 //DISKSPACE//); do dd if=/dev/zero of=emptyfile${i} bs=1024 count=1048576; done; rm emptyfile*;

где // DISKSPACE // - размер вашего жесткого диска в ГБ.

1
Enrico

используйте dd и просто обнулите свободное место. это миф, данные должны быть перезаписаны несколько раз (просто спросите Питера Гантмана) и случайные данные, в отличие от 1, то 0 означает неестественную активность. тогда конечный результат - чистый диск с меньшим количеством времени, потраченным на запись. кроме того, программы безопасного удаления не могут гарантировать, что они даже перезаписывают реальный файл в современных файловых системах (в журнале). сделайте себе одолжение и получите фоторепортаж, отсканируйте свой диск, чтобы увидеть беспорядок, вытрите его 1 и, возможно, нулями, чтобы он выглядел нетронутым. если photorec все еще находит что-то, помните, что он сканирует все доступное, поэтому сделайте это снова с пользователем root.

помните, что у cia/fbi/nsa нет необычной машины, которая может считывать фактическое состояние ваших битов магнитных носителей. это была всего лишь статья, написанная давным-давно. «что-если». вам нужно только стереть 1 раз.

1
fred

Вот сценарий "sdelete.sh", который я использую. Смотрите комментарии для деталей.

# Install the secure-delete package (sfill command).

# To see progress type in new terminal:
# watch -n 1 df -hm

# Assuming that there is one partition (/dev/sda1). sfill writes to /.
# The second pass writes in current directory and synchronizes data.
# If you have a swap partition then disable it by editing /etc/fstab
# and use "sswap" or similar to wipe it out.

# Some filesystems such as ext4 reserve 5% of disk space
# for special use, for example for the /home directory.
# In such case sfill won't wipe out that free space. You
# can remove that reserved space with the tune2fs command.
# See http://superuser.com/a/150757
# and https://www.google.com/search?q=reserved+space+ext4+sfill

Sudo tune2fs -m 0 /dev/sda1
Sudo tune2fs -l /dev/sda1 | grep 'Reserved block count'

Sudo sfill -vfllz /

# sfill with the -f (fast) option won't synchronize the data to
# make sure that all was actually written. Without the fast option
# it is way too slow, so doing another pass in some other way with
# synchronization. Unfortunately this does not seem to be perfect,
# as I've watched free space by running the "watch -n 1 df -hm"
# command and I could see that there was still some available space
# left (tested on a SSD drive).

dd if=/dev/zero of=zero.small.file bs=1024 count=102400
dd if=/dev/zero of=zero.file bs=1024
sync ; sleep 60 ; sync
rm zero.small.file
rm zero.file

Sudo tune2fs -m 5 /dev/sda1
Sudo tune2fs -l /dev/sda1 | grep 'Reserved block count'
1
Czarek Tomczak

Это не ответ! Просто комментарий для тех, кто хочет использовать pv..., так что не беспокойтесь о голосовании.

На Linux Mint 17.3 вы можете использовать pv ( представление канала ), чтобы получить прогресс написания. Например:

# Install pv (pipe view)
Sudo apt-get install pv

# Write huge file of approximate size of /dev/sdb, using urandom data:
pv --timer --average-rate --progress --numeric --eta --interval 5 --size "$(blockdev --getsize64 /dev/sda )" /dev/urandom >Rand.file

Преимущество здесь в том, что вы получаете индикатор выполнения, ETA и постоянно обновляемую скорость передачи данных. Недостатком является то, что это записано в одну строку, а когда диск заполнен (возвращает ошибку), он исчезает. Это происходит потому, что полный размер является приблизительным, поскольку ОС, вероятно, будет использовать диск во время этой очень длительной операции, особенно на томе ОС.

На очень старом HD я получаю скорость передачи данных около 13 МБ/с с использованием /dev/urandom и около 70 МБ/с при использовании /dev/zero. Это, вероятно, будет улучшаться при использовании необработанных dd или cat, а не pv.

0
not2qubit

Я иногда использую этот bash one-liner:

while :; do cat /dev/zero > zero.$RANDOM; done

Когда он начинает говорить, что диск заполнен, просто нажмите Ctrl+C и удалите созданные файлы zero.*.

Он работает в любой системе, независимо от размера файла.
Игнорировать любые ошибки cat: write error: File too large.

0
Nicolas Raoul