"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

Proxmox startet Container nach Stromausfall nicht mehr

SaxoVtsMike 23.01.2024 - 21:10 2000 19
Posts

SaxoVtsMike

R.I.P. Karl
Avatar
Registered: Sep 2006
Location: ö
Posts: 7948
Ich sags gleich ich hab nüsse plan von Linux
Über ein paar YT videos habe ich Proxmox auf einem Futro ins laufen bekommen
Dort rennt jetzt HOASOS und in 2 containern zum einen die ImfluxDB und der Unifi controller
Gestern gabs einen Stromausfall, seit dem lassen sich die Container nicht mehr starten

Code:
() apparmor_prepare: 1082 Cannot use generated profile: apparmor_parser not available 
lxc_init: 876 Failed to initialize LSM __lxc_start: 2027 Failed to initialize container "102" TASK ERROR: startup for container '102' failed

Hab ein log gefunden von dem zeitraum da wird was von einem segfault von dem apparmor geschrieben, aber mir fehlt da jetzt der plan.
Aus dem Proxmox Support forum gabs ein paar dinge die ich auch in die shell kopiert habe, aber ich bin zu dumm das ich mich mitm Filezilla drauf verbinde und komme daher nicht an das logfiel im /tmp ran

issue

Rock and Stone, brother!
Avatar
Registered: Feb 2003
Location: Linz
Posts: 3603
Gibts das lxc-100.log?
Kanns sein, dass die Platte kurz vorm hinwerdn is?
Code:
Jan 22 10:10:35 futro smartd[555]: Device: /dev/sda [SAT], 8 Currently unreadable (pending) sectors
Jan 22 10:10:35 futro smartd[555]: Device: /dev/sda [SAT], 28 Offline uncorrectable sectors
apparmor_parser reisst kurz nach dem container start ein SIGSEGV.

SaxoVtsMike

R.I.P. Karl
Avatar
Registered: Sep 2006
Location: ö
Posts: 7948
Zitat aus einem Post von issue
Gibts das lxc-100.log?
Kanns sein, dass die Platte kurz vorm hinwerdn is?
Code:
Jan 22 10:10:35 futro smartd[555]: Device: /dev/sda [SAT], 8 Currently unreadable (pending) sectors
Jan 22 10:10:35 futro smartd[555]: Device: /dev/sda [SAT], 28 Offline uncorrectable sectors
apparmor_parser reisst kurz nach dem container start ein SIGSEGV.

Das log existiert, ich seh´s im shell das es ins tmp geschrieben wurde, leider sind meine künste damit auch zu ende, da ich es nicht schaffe
a.)mit filezilla auf das verzeichnis zu kommen
b.)ich keinen anderen weg kenne das ich das runterkopieren könnte

Ist eine m2 sata SSD die hausnummer a halbes jahr win iot drauf hatte und seit juni oder so mit proxmox rennt

issue

Rock and Stone, brother!
Avatar
Registered: Feb 2003
Location: Linz
Posts: 3603
ssh/scp schon probiert?
bzw schaffst du es easy von einem anderen Ort die files auf deinen Rechner zu laden? Falls ja, bieg beim lxc-start den logfile path dorthin um

berndy2001

Komasäufer
Avatar
Registered: Feb 2003
Location: Vienna
Posts: 1953
Zitat aus einem Post von SaxoVtsMike
aber ich bin zu dumm das ich mich mitm Filezilla drauf verbinde und komme daher nicht an das logfiel im /tmp ran
proxmox hat eine shell im web-if. Kommst du mit der hin?

COLOSSUS

Administrator
Frickler
Avatar
Registered: Dec 2000
Location: ~
Posts: 11905
kA wie PVE genau Container startet, aber wenn da pro Container z. B. ein eigenes systemd-service anspringt, kann es durchaus sein, dass das dank PrivateTmp nicht das "globale" /tmp/ als Log-Pfad hat. Ich wuerde den Container einfach mal im Vordergrund starten, und auf stdio statt ins Logfile loggen lassen.

Mein Tipp im Vakuum hier ist, dass die apparmor-Regeln und/oder die apparmor_loader-Executable beim Stromausfall (siehe auch issues Beobachtung wegen der SMART-Warnings oben) Schaden genommen haben, und es so zum segfault wegen hinniger Daten kommt (was einigermaszen scary ist, und evtl. einen CVE-wuerdigen Bug indiziert). Dann muss man "nur" noch rausfinden, was der Fall ist, und wie man es behebt. Ein Anfang, um die Executable zu verifizieren, waere ein `sudo apt-get install debsums && debsums -s apparmor` als root - ich wuerde aber eher einen Defekt in den Daten erwarten, die apparmor_parser liest.

SaxoVtsMike

R.I.P. Karl
Avatar
Registered: Sep 2006
Location: ö
Posts: 7948
Zitat aus einem Post von berndy2001
proxmox hat eine shell im web-if. Kommst du mit der hin?

ja da komme ich hin, und mit ls sehe ich auch das log.
nur fehlt mir der plan wie ich aus der shell im web-if vom virtualisierer was auf den client kopieren kann auf dem der browser mit dem web-if rennt

@colo : Sudo gibts leider nicht aber mit den root rechten lies sich das trotzdem ausführen, an der fehlermeldung hat sich leider nichts geändert
Danke mal für die Tipps

berndy2001

Komasäufer
Avatar
Registered: Feb 2003
Location: Vienna
Posts: 1953
bist du mit dem root-zugang unterwegs? root login in /etc/ssh/sshd_config aktiviert?

spunz

Super Moderator
Super Moderator
Avatar
Registered: Aug 2000
Location: achse des bösen
Posts: 11120
Zitat aus einem Post von SaxoVtsMike
ja da komme ich hin, und mit ls sehe ich auch das log.
nur fehlt mir der plan wie ich aus der shell im web-if vom virtualisierer was auf den client kopieren kann auf dem der browser mit dem web-if rennt

du kannst die Logs auch in der Konsole lesen. Winscp sollte ebenfalls funktionieren, bzw was genau gibst du in Filezilla ein um den Pfad zu öffnen?

Ist in einem der Container etwas wichtiges drin? Sonst würde ich zuerst mal die Container auf eine USB Platte oder Stick sichern.

SaxoVtsMike

R.I.P. Karl
Avatar
Registered: Sep 2006
Location: ö
Posts: 7948
Code:
root@futro:~# systemctl status apparmor.service
● apparmor.service - Load AppArmor profiles
     Loaded: loaded (/lib/systemd/system/apparmor.service; enabled; vendor preset: enabled)
     Active: failed (Result: exit-code) since Wed 2024-01-24 16:31:29 CET; 9min ago
       Docs: man:apparmor(7)
             [url]https://gitlab.com/apparmor/apparmor/wikis/home/[/url]
    Process: 484 ExecStart=/lib/apparmor/apparmor.systemd reload (code=exited, status=1/FAILURE)
   Main PID: 484 (code=exited, status=1/FAILURE)
        CPU: 65ms

Jan 24 16:31:29 futro apparmor.systemd[508]: /lib/apparmor/apparmor.systemd: 182: echo: echo: I/O error
Jan 24 16:31:29 futro apparmor.systemd[508]: /lib/apparmor/apparmor.systemd: 182: echo: echo: I/O error
Jan 24 16:31:29 futro apparmor.systemd[508]: /lib/apparmor/apparmor.systemd: 182: echo: echo: I/O error
Jan 24 16:31:29 futro apparmor.systemd[508]: /lib/apparmor/apparmor.systemd: 182: echo: echo: I/O error
Jan 24 16:31:29 futro apparmor.systemd[508]: /lib/apparmor/apparmor.systemd: 182: echo: echo: I/O error
Jan 24 16:31:29 futro apparmor.systemd[508]: /lib/apparmor/apparmor.systemd: 182: echo: echo: I/O error
Jan 24 16:31:29 futro apparmor.systemd[484]: Error: At least one profile failed to load
Jan 24 16:31:29 futro systemd[1]: apparmor.service: Main process exited, code=exited, status=1/FAILURE
Jan 24 16:31:29 futro systemd[1]: apparmor.service: Failed with result 'exit-code'.
Jan 24 16:31:29 futro systemd[1]: Failed to start Load AppArmor profiles.
root@futro:~# 

Irgendwo hab ich noch was gefunden mit ähnlichen problemen da lief der apparmor aber.
apt-get reinstall hat leider nichts verbessert, genau so wenig wie die standardaktion eines windows user, "schon mal rebootet ??"

issue

Rock and Stone, brother!
Avatar
Registered: Feb 2003
Location: Linz
Posts: 3603
Das bestaetigt colos Annahme. Ich wuerd hier tbh keine Zeit mehr ins debugging versenken, sondern den Rest der Disk (falls wichtig) backupen und mit einer neuen SSD von vorn anfangen.

SaxoVtsMike

R.I.P. Karl
Avatar
Registered: Sep 2006
Location: ö
Posts: 7948
Zitat aus einem Post von issue
Das bestaetigt colos Annahme. Ich wuerd hier tbh keine Zeit mehr ins debugging versenken, sondern den Rest der Disk (falls wichtig) backupen und mit einer neuen SSD von vorn anfangen.

OK, damn.
Ist das jetzt ein zufall das die HOASOS VM problemlos rennt aber die beiden Container nicht laufen weil der Apparmor zufällig in einem todgeschriebenen bereich installiert ist ?

Philipp

Here to stay
Registered: Jul 2001
Location: Wien
Posts: 1751
Wie sehen den die SMART Werte von /dev/sda aus?
Code:
smartctl --all /dev/sda

Eventuell muss dazu noch smartmontools nachinstallieren werden:
Code:
apt install smartmontools

Soweit ich sehe, sind zwei Pakete für AppArmor installiert:
apparmor und lxc-pve (enthält auch die AppArmor Profile für LXC)

Die Profile für LXC sind in /etc/apparmor.d/lxc/ bzw. /etc/apparmor.d/abstractions/lxc/. Kann es sein das die /lib/apparmor/apparmor.systemd beschädigt ist?

SaxoVtsMike

R.I.P. Karl
Avatar
Registered: Sep 2006
Location: ö
Posts: 7948
Ich hab jetzt einen der beiden LCX Container gecloned, und wollte den starten -> geht natürlich nicht. Das hab ich vor dem letzten Post versucht. Das war was das in einem der Proxmox support foren einer probiert hat

In der jetzt is eh ois ***** laune wollte ich mir den lcx start mit den logausgaben auf die shell ansehen weil ich das logfile ja nicht runterbringe

ahem, tja der Container den ich gecloned hab, also das Original startet auf einmal problemlos
ok, probier ich den anderen container der nicht gecloned wurde, opsi startet auch

SaxoVtsMike

R.I.P. Karl
Avatar
Registered: Sep 2006
Location: ö
Posts: 7948
Code:
root@futro:~# smartctl --all /dev/sda
smartctl 7.2 2020-12-30 r5155 [x86_64-linux-5.15.102-1-pve] (local build)
Copyright (C) 2002-20, Bruce Allen, Christian Franke, [url]www.smartmontools.org[/url]

=== START OF INFORMATION SECTION ===
Model Family:     Silicon Motion based SSDs
Device Model:     TS240GMTS420S
Serial Number:    H362800350
LU WWN Device Id: 5 7c3548 1f27634de
Firmware Version: V0111A0
User Capacity:    240,057,409,536 bytes [240 GB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    Solid State Device
Form Factor:      M.2
TRIM Command:     Available
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-2 T13/2015-D revision 3
SATA Version is:  SATA 3.2, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Wed Jan 24 18:43:12 2024 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever 
                                        been run.
Total time to complete Offline 
data collection:                (  120) seconds.
Offline data collection
capabilities:                    (0x11) SMART execute Offline immediate.
                                        No Auto Offline data collection support.
                                        Suspend Offline collection upon new
                                        command.
                                        No Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        No Selective Self-test supported.
SMART capabilities:            (0x0002) Does not save SMART data before
                                        entering power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine 
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        (  10) minutes.
SCT capabilities:              (0x0001) SCT Status supported.

SMART Attributes Data Structure revision number: 1
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x0032   100   100   050    Old_age   Always       -       2
  5 Reallocated_Sector_Ct   0x0032   100   100   050    Old_age   Always       -       9
  9 Power_On_Hours          0x0032   100   100   050    Old_age   Always       -       10827
 12 Power_Cycle_Count       0x0032   100   100   050    Old_age   Always       -       33
160 Uncorrectable_Error_Cnt 0x0032   100   100   050    Old_age   Always       -       28
161 Valid_Spare_Block_Cnt   0x0033   100   100   050    Pre-fail  Always       -       81
163 Initial_Bad_Block_Count 0x0032   100   100   050    Old_age   Always       -       3
164 Total_Erase_Count       0x0032   100   100   050    Old_age   Always       -       13823
165 Max_Erase_Count         0x0032   100   100   050    Old_age   Always       -       100
166 Min_Erase_Count         0x0032   100   100   050    Old_age   Always       -       2
167 Average_Erase_Count     0x0032   100   100   050    Old_age   Always       -       23
168 Max_Erase_Count_of_Spec 0x0032   100   100   050    Old_age   Always       -       3000
169 Remaining_Lifetime_Perc 0x0032   100   100   050    Old_age   Always       -       100
175 Program_Fail_Count_Chip 0x0032   100   100   050    Old_age   Always       -       0
176 Erase_Fail_Count_Chip   0x0032   100   100   050    Old_age   Always       -       0
177 Wear_Leveling_Count     0x0032   100   100   050    Old_age   Always       -       0
178 Runtime_Invalid_Blk_Cnt 0x0032   100   100   050    Old_age   Always       -       9
181 Program_Fail_Cnt_Total  0x0032   100   100   050    Old_age   Always       -       0
182 Erase_Fail_Count_Total  0x0032   100   100   050    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   050    Old_age   Always       -       29
194 Temperature_Celsius     0x0022   100   100   050    Old_age   Always       -       48
195 Hardware_ECC_Recovered  0x0032   100   100   050    Old_age   Always       -       0
196 Reallocated_Event_Count 0x0032   100   100   050    Old_age   Always       -       28
197 Current_Pending_Sector  0x0032   100   100   050    Old_age   Always       -       9
198 Offline_Uncorrectable   0x0032   100   100   050    Old_age   Always       -       28
199 UDMA_CRC_Error_Count    0x0032   100   100   050    Old_age   Always       -       0
232 Available_Reservd_Space 0x0032   100   100   050    Old_age   Always       -       81
241 Host_Writes_32MiB       0x0030   100   100   050    Old_age   Offline      -       68769
242 Host_Reads_32MiB        0x0030   100   100   050    Old_age   Offline      -       4755
245 TLC_Writes_32MiB        0x0032   100   100   050    Old_age   Always       -       47189
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz