Naprawić problem z dyskami na systemie Linux (btrfs)

Na serwerze na Hetznerze z 15 dyskami, 80 Terabajtów, zarządzanym przez Proxmox i system plików btrfs, wszystko padło dzisiaj rano. Ping działał i SSH się łączył, ale sprawdź siebie w następujący sposób:

Linux pve1 6.8.4-2-pve #1 SMP PREEMPT_DYNAMIC PMX 6.8.4-2 (2024-04-10T17:36Z) x86_64
-bash: /etc/profile: Błąd wejścia/wyjścia
-bash: /root/.profile: Błąd wejścia/wyjścia
-bash-5.2# df -h
-bash: df: nie znaleziono polecenia
-bash-5.2# ls
-bash: ls: nie znaleziono polecenia
-bash-5.2#

Reboot nie pomógł. Włączyłem tryb rescue, ale nie można podmontować:

[Mon Jun 30 13:34:59 2025] BTRFS: device fsid c5138747-f57d-4063-9424-b2099d936ba0 devid 1 transid 1170064 /dev/sda3 (8:3) scanned by mount (3421)
[Mon Jun 30 13:34:59 2025] BTRFS info (device sda3): pierwszy montaż systemu plików c5138747-f57d-4063-9424-b2099d936ba0
[Mon Jun 30 13:34:59 2025] BTRFS info (device sda3): używanie algorytmu sum CRC32c (crc32c-intel)
[Mon Jun 30 13:34:59 2025] BTRFS info (device sda3): używanie drzewa wolnego miejsca
[Mon Jun 30 13:45:37 2025] BTRFS info (device sda3): rozpoczęcie odtwarzania logu drzewa
[Mon Jun 30 13:45:42 2025] BTRFS błąd (device sda3): poziom weryfikacji nie powiódł się na logicznym 5561734628147200 mirror 1, oczekiwano 0, znaleziono 1
[Mon Jun 30 13:45:42 2025] BTRFS błąd (device sda3): stan A: transakcja przerwana (błąd -5)
[Mon Jun 30 13:45:42 2025] BTRFS: błąd (device sda3 stan A) w __btrfs_free_extent:3226: errno=-5 Błąd wejścia/wyjścia
[Mon Jun 30 13:45:42 2025] BTRFS błąd (device sda3 stan EA): nie udało się uruchomić opóźnionej referencji dla logicznego 5561734319210496, liczba bajtów 16384, typ 176, akcja 2, ref_mod 1: -5
[Mon Jun 30 13:45:42 2025] BTRFS: błąd (device sda3 stan EA) w btrfs_run_delayed_refs:2215: errno=-5 Błąd wejścia/wyjścia
[Mon Jun 30 13:45:42 2025] BTRFS: błąd (device sda3 stan EA) w btrfs_replay_log:2104: errno=-5 Błąd odtworzenia drzewa logów
[Mon Jun 30 13:45:42 2025] BTRFS błąd (device sda3 stan EA): open_ctree nie powiodło się: -5

Uruchomiliśmy sprawdzanie w trybie readonly:

# btrfs check --readonly /dev/sda3

Już działa od 6 godzin, ale wyniki nie napawają optymizmem:

ref mismatch on [5561734331875328 16384] extent item 0, found 1
tree extent[5561734331875328, 16384] root 7 has no backref item in extent tree
backpointer mismatch on [5561734331875328 16384]
ref mismatch on [5561734331891712 16384] extent item 0, found 1
tree extent[5561734331891712, 16384] root 7 has no backref item in extent tree
backpointer mismatch on [5561734331891712 16384]
ref mismatch on [5561734331908096 16384] extent item 0, found 1
tree extent[5561734331908096, 16384] root 7 has no backref item in extent tree
backpointer mismatch on [5561734331908096 16384]
ref mismatch on [5561734331924480 16384] extent item 0, found 1
tree extent[5561734331924480, 16384] root 262 has no backref item in extent tree
backpointer mismatch on [5561734331924480 16384]
ref mismatch on [5561734331940864 16384] extent item 0, found 1
tree extent[5561734331940864, 16384] root 7 has no backref item in extent tree
backpointer mismatch on [5561734331940864 16384]
ref mismatch on [5561734331957248 16384] extent item 0, found 1
tree extent[5561734331957248, 16384] root 2 has no backref item in extent tree
backpointer mismatch on [5561734331957248 16384]
owner ref check failed [5561734628147200 16384]
owner ref check failed [5561734628245504 16384]
owner ref check failed [5561734628311040 16384]
ERROR: błędy znalezione w drzewie przydziału rozszerzeń lub drzewie przydziału bloków
[3/7] sprawdzanie drzewa wolnego miejsca

Te dane są bardzo ważne, potrzebny jest specjalista z doświadczeniem w btrfs/zfs, który pomoże zdebugować problem.