[CentOS] Memory Usage Problem

Hansmaulwurf

u wot m8?

Registered: Apr 2005
Location: VBG
Posts: 5639

23.11.2012 - 12:12

Hi,
Ich hab ein Problem, das ich von 32 Gig etwa 30 Gig in Verwendung plus einiges von dem swap-cache. Sowohl mit top als auch mit aux wird mir aber nur eine Matlab-Instanz gezeigt die maximal 20% braucht. Und selbst wenn ich selbige Instanz ausschalte hab ich noch immer den selben Memory-Verbrauch (Matlab nimmt sich fast nur was aus dem Swap, da der "normale" de facto fast nicht verfügbar ist)

Hat irgendwer eine Idee wie ich rausfinden kann, was da soviel Speicher frisst ? Neustarten ist atm keine Option, auch weil dann die Ursache des Problems vielleicht nicht finden kann, was aber praktisch wäre.

Danke schonmal

COLOSSUS

Administrator
Frickler

Registered: Dec 2000
Location: ~
Posts: 11898

23.11.2012 - 12:50

http://www.linuxatemyram.com/

the_shiver

500 ontopic posts in 10y!

Registered: Nov 2002
Location: R'lyeh beach
Posts: 879

23.11.2012 - 13:02

mit top oder htop

davebastard

Vinyl-Sammler

Registered: Jun 2002
Location: wean
Posts: 11519

23.11.2012 - 13:04

interessant wäre warum der swap verwendet wird von matlab?

COLOSSUS

Administrator
Frickler

Registered: Dec 2000
Location: ~
Posts: 11898

23.11.2012 - 13:37

Ein paar Pages im swap sind, auch bei wenig memory pressure, ganz normal. Das ist einfach die Heuristik fuer pageouts, die das mit der ueblichen default-swappiness (60; zu finden in /proc/sys/vm/swappiness) bei lange laufenden und wenig bis nicht aktiven Prozessen veranlasst. Man kann natuerlich dran drehen (man 8 sysctl), sollte es aber - ohne triftigen Grund - nicht tun.

GrandAdmiralThrawn

XP Nazi

Registered: Aug 2000
Location: BRUCK!
Posts: 3682

23.11.2012 - 14:44

Bitte entschuldigt den Spam, aber...

Zitat von COLOSSUS
http://www.linuxatemyram.com/

...das Bild rult einfach!

Hansmaulwurf

u wot m8?

Registered: Apr 2005
Location: VBG
Posts: 5639

23.11.2012 - 14:46

Zitat von COLOSSUS
http://www.linuxatemyram.com/

Ok, aber das war bisher nicht der Fall, und erklärt mir leider nicht warum das System so träge ist.
Wovon ist der Anteil den sich das Disk-Caching nimmt abhängig ? (Hatte gestern was rennen was um die 60GB an Daten produziert hat, vielleicht deswegen?)

edit: gerade nachgeschaut mit "free -m", vom System sind aber 28Gig von den Programmen besetzt (Mem, unter Reiter used), aber lt. top verwendet meine Instanz 10% des RAM, was bei weitem keine 28 Gig sind. Und as said top zeigt mir nix was derartige Mengen konsumiert.

Bearbeitet von Hansmaulwurf am 23.11.2012, 14:49

GrandAdmiralThrawn

XP Nazi

Registered: Aug 2000
Location: BRUCK!
Posts: 3682

23.11.2012 - 14:49

Ich denke nur davon was du tust. Bei einem frisch gebooteten System is der Cache fast leer soweit ich das bisher gesehen habe. Dann startest halt Programme, lädst und speicherst Daten, und irgendwann ist der Cache halt voll und bleibt es dann bei normaler Benutzung scheinbar auch (was ja nichts macht).

Aber die Trägheit deines System erklärt das in der Tat nicht. Vielleicht läuft nur updatedb im Hintergrund und baut seinen Index auf, und deswegen isses zäh?

Ansonsten keine Ahnung ausm Stegreif.

COLOSSUS

Administrator
Frickler

Registered: Dec 2000
Location: ~
Posts: 11898

23.11.2012 - 14:59

Das ist alles sinnlos so, ohne harte Daten und Fakten. Dass dein System "traege" ist, hast du eingangs uebrigens mit keinem Wort erwaehnt - deswegen auch meine urspruengliche Antwort.

Ohne den Output von

Code:

top -b -n1; free -m

kann man jedenfalls nicht sinnvoll weiterhelfen.

Code:

sync; echo 3 > /proc/sys/vm/drop_caches

sollte allen Speicher, der nicht von laufenden Prozessen allokiert ist, freigeben. Die Systemleistung wird dadurch aber idR nicht besser; eher im Gegenteil.

Hansmaulwurf

u wot m8?

Registered: Apr 2005
Location: VBG
Posts: 5639

23.11.2012 - 15:31

Zitat von COLOSSUS
Das ist alles sinnlos so, ohne harte Daten und Fakten. Dass dein System "traege" ist, hast du eingangs uebrigens mit keinem Wort erwaehnt - deswegen auch meine urspruengliche Antwort.

Das ist mir auch klar. Ich erwarte auch nicht das irgendwer für mich das Problem löst, sondern methoden wie ich alle Prozesse nach RAM-Verbrauch sortiert listen kann, oder potentielle Memory-Leaks finden kann. Dazu ist ein einziger Post gekommen, mit einem Befehl den ich schon verwendet hab (top). Obwohl deiner nat. auch äußerst hilfreich war

Zitat von COLOSSUS
Ohne den Output von
Code:
top -b -n1; free -m
kann man jedenfalls nicht sinnvoll weiterhelfen.

Da ich hier die Usernamen und Programme die bei uns laufen nicht unbedingt rausposaunen möcht, würde ich gerne verzichten (auf top). Es scheinen aber nur zwei Matlab-Instanzen auf, die gemeinsam 20-30% des Gesamtspeichers brauchen und ein paar kleinere, die aber max 0.4% brauchen. Bei free -m :
(Total/used/free)
Mem : 32.1GB / 32GB / 104 (MB)
+/- buffers/cache : / 11,2 GB / 20.9 GB
Swap : 32 GB / 9.43 GB / 22.5 GB

Zitat von COLOSSUS
Code:
sync; echo 3 > /proc/sys/vm/drop_caches
sollte allen Speicher, der nicht von laufenden Prozessen allokiert ist, freigeben. Die Systemleistung wird dadurch aber idR nicht besser; eher im Gegenteil.

Will ich dann lieber nicht probieren, aber thx.

Sind die %-Memory-Usage von top auf Mem only, oder auf mem+swap bezogen ?

edit:
Wenn ich jetzt nicht falsch gerechnet hab, sollt eh alles passen und ich kann den RAM ausschließen. thx.

Bearbeitet von Hansmaulwurf am 23.11.2012, 15:35

Ringding

Pilot

Registered: Jan 2002
Location: Perchtoldsdorf/W..
Posts: 4300

23.11.2012 - 16:27

Zitat von Hansmaulwurf
Zitat von FX Freak
ich glaub ich lass das heute mal alles aus, so richtige super schnäppchen werden imho nicht dabei sein und wirklich brauchen tu ich eigentlich nichts von dem.
eine günstige xbox 360 oder stark vergünstige gute kopfhörer bzw. ein headset würde ich brauchen

Also der Großteil frei. Auf was ist den swappiness gestellt? (cat /proc/sys/vm/swappiness).

Ringding

Pilot

Registered: Jan 2002
Location: Perchtoldsdorf/W..
Posts: 4300

23.11.2012 - 16:29

Hast du KVM-Guests auf der Maschine laufen? Damit hat sich das bei mir manchmal recht eigenartig verhalten – allerdings zugegebenermaßen nur mit aktuelleren Kernels.

Hansmaulwurf

u wot m8?

Registered: Apr 2005
Location: VBG
Posts: 5639

23.11.2012 - 16:55

Zitat von Ringding
Also der Großteil frei. Auf was ist den swappiness gestellt? (cat /proc/sys/vm/swappiness).

Standard, also 60. KVM rennt nix.
Hmm, ich werd das System mal durchchecken nächste Woche, atm leider sowieso nicht wirklich Zeit dafür.

Marcellus

OC Addicted

Registered: Mar 2005
Location: ~
Posts: 1755

24.11.2012 - 16:06

Ich kann mir vorstellen, dass der ram zwischendurch knapp geworden ist und er irgendwas, was du öfter brauchst in den swap verschoben hat. 9Gb swap sind dann ja doch schon recht viel. Was macht

Code:

swapoff -a ; swapon -a

COLOSSUS

Administrator
Frickler

Registered: Dec 2000
Location: ~
Posts: 11898

24.11.2012 - 16:46

Zitat von Marcellus
Ich kann mir vorstellen, dass der ram zwischendurch knapp geworden ist und er irgendwas, was du öfter brauchst in den swap verschoben hat. 9Gb swap sind dann ja doch schon recht viel. Was macht
Code:
swapoff -a ; swapon -a

Im schlimmsten Fall den OOM-Killer aufscheuchen. Finger weg!

Was man tun kann, um pages zu reclaimen, habe ich weiter oben schon geschrieben.

Hansmaulwurf u wot m8? Registered: Apr 2005 Location: VBG Posts: 5639	23.11.2012 - 12:12 Hi, Ich hab ein Problem, das ich von 32 Gig etwa 30 Gig in Verwendung plus einiges von dem swap-cache. Sowohl mit top als auch mit aux wird mir aber nur eine Matlab-Instanz gezeigt die maximal 20% braucht. Und selbst wenn ich selbige Instanz ausschalte hab ich noch immer den selben Memory-Verbrauch (Matlab nimmt sich fast nur was aus dem Swap, da der "normale" de facto fast nicht verfügbar ist) Hat irgendwer eine Idee wie ich rausfinden kann, was da soviel Speicher frisst ? Neustarten ist atm keine Option, auch weil dann die Ursache des Problems vielleicht nicht finden kann, was aber praktisch wäre. Danke schonmal
COLOSSUS Administrator Frickler Registered: Dec 2000 Location: ~ Posts: 11898	23.11.2012 - 12:50 http://www.linuxatemyram.com/
the_shiver 500 ontopic posts in 10y! Registered: Nov 2002 Location: R'lyeh beach Posts: 879	23.11.2012 - 13:02 mit top oder htop
davebastard Vinyl-Sammler Registered: Jun 2002 Location: wean Posts: 11519	23.11.2012 - 13:04 interessant wäre warum der swap verwendet wird von matlab?
COLOSSUS Administrator Frickler Registered: Dec 2000 Location: ~ Posts: 11898	23.11.2012 - 13:37 Ein paar Pages im swap sind, auch bei wenig memory pressure, ganz normal. Das ist einfach die Heuristik fuer pageouts, die das mit der ueblichen default-swappiness (60; zu finden in /proc/sys/vm/swappiness) bei lange laufenden und wenig bis nicht aktiven Prozessen veranlasst. Man kann natuerlich dran drehen (man 8 sysctl), sollte es aber - ohne triftigen Grund - nicht tun.
GrandAdmiralThrawn XP Nazi Registered: Aug 2000 Location: BRUCK! Posts: 3682	23.11.2012 - 14:44 Bitte entschuldigt den Spam, aber... Zitat von COLOSSUS http://www.linuxatemyram.com/ ...das Bild rult einfach!
Hansmaulwurf u wot m8? Registered: Apr 2005 Location: VBG Posts: 5639	23.11.2012 - 14:46 Zitat von COLOSSUS http://www.linuxatemyram.com/ Ok, aber das war bisher nicht der Fall, und erklärt mir leider nicht warum das System so träge ist. Wovon ist der Anteil den sich das Disk-Caching nimmt abhängig ? (Hatte gestern was rennen was um die 60GB an Daten produziert hat, vielleicht deswegen?) edit: gerade nachgeschaut mit "free -m", vom System sind aber 28Gig von den Programmen besetzt (Mem, unter Reiter used), aber lt. top verwendet meine Instanz 10% des RAM, was bei weitem keine 28 Gig sind. Und as said top zeigt mir nix was derartige Mengen konsumiert. Bearbeitet von Hansmaulwurf am 23.11.2012, 14:49
GrandAdmiralThrawn XP Nazi Registered: Aug 2000 Location: BRUCK! Posts: 3682	23.11.2012 - 14:49 Ich denke nur davon was du tust. Bei einem frisch gebooteten System is der Cache fast leer soweit ich das bisher gesehen habe. Dann startest halt Programme, lädst und speicherst Daten, und irgendwann ist der Cache halt voll und bleibt es dann bei normaler Benutzung scheinbar auch (was ja nichts macht). Aber die Trägheit deines System erklärt das in der Tat nicht. Vielleicht läuft nur updatedb im Hintergrund und baut seinen Index auf, und deswegen isses zäh? Ansonsten keine Ahnung ausm Stegreif.
COLOSSUS Administrator Frickler Registered: Dec 2000 Location: ~ Posts: 11898	23.11.2012 - 14:59 Das ist alles sinnlos so, ohne harte Daten und Fakten. Dass dein System "traege" ist, hast du eingangs uebrigens mit keinem Wort erwaehnt - deswegen auch meine urspruengliche Antwort. Ohne den Output von Code: `top -b -n1; free -m` kann man jedenfalls nicht sinnvoll weiterhelfen. Code: `sync; echo 3 > /proc/sys/vm/drop_caches` sollte allen Speicher, der nicht von laufenden Prozessen allokiert ist, freigeben. Die Systemleistung wird dadurch aber idR nicht besser; eher im Gegenteil.
Hansmaulwurf u wot m8? Registered: Apr 2005 Location: VBG Posts: 5639	23.11.2012 - 15:31 Zitat von COLOSSUS Das ist alles sinnlos so, ohne harte Daten und Fakten. Dass dein System "traege" ist, hast du eingangs uebrigens mit keinem Wort erwaehnt - deswegen auch meine urspruengliche Antwort. Das ist mir auch klar. Ich erwarte auch nicht das irgendwer für mich das Problem löst, sondern methoden wie ich alle Prozesse nach RAM-Verbrauch sortiert listen kann, oder potentielle Memory-Leaks finden kann. Dazu ist ein einziger Post gekommen, mit einem Befehl den ich schon verwendet hab (top). Obwohl deiner nat. auch äußerst hilfreich war Zitat von COLOSSUS Ohne den Output von Code: `top -b -n1; free -m` kann man jedenfalls nicht sinnvoll weiterhelfen. Da ich hier die Usernamen und Programme die bei uns laufen nicht unbedingt rausposaunen möcht, würde ich gerne verzichten (auf top). Es scheinen aber nur zwei Matlab-Instanzen auf, die gemeinsam 20-30% des Gesamtspeichers brauchen und ein paar kleinere, die aber max 0.4% brauchen. Bei free -m : (Total/used/free) Mem : 32.1GB / 32GB / 104 (MB) +/- buffers/cache : / 11,2 GB / 20.9 GB Swap : 32 GB / 9.43 GB / 22.5 GB Zitat von COLOSSUS Code: `sync; echo 3 > /proc/sys/vm/drop_caches` sollte allen Speicher, der nicht von laufenden Prozessen allokiert ist, freigeben. Die Systemleistung wird dadurch aber idR nicht besser; eher im Gegenteil. Will ich dann lieber nicht probieren, aber thx. Sind die %-Memory-Usage von top auf Mem only, oder auf mem+swap bezogen ? edit: Wenn ich jetzt nicht falsch gerechnet hab, sollt eh alles passen und ich kann den RAM ausschließen. thx. Bearbeitet von Hansmaulwurf am 23.11.2012, 15:35
Ringding Pilot Registered: Jan 2002 Location: Perchtoldsdorf/W.. Posts: 4300	23.11.2012 - 16:27 Zitat von Hansmaulwurf Zitat von FX Freak ich glaub ich lass das heute mal alles aus, so richtige super schnäppchen werden imho nicht dabei sein und wirklich brauchen tu ich eigentlich nichts von dem. eine günstige xbox 360 oder stark vergünstige gute kopfhörer bzw. ein headset würde ich brauchen Also der Großteil frei. Auf was ist den swappiness gestellt? (cat /proc/sys/vm/swappiness).
Ringding Pilot Registered: Jan 2002 Location: Perchtoldsdorf/W.. Posts: 4300	23.11.2012 - 16:29 Hast du KVM-Guests auf der Maschine laufen? Damit hat sich das bei mir manchmal recht eigenartig verhalten – allerdings zugegebenermaßen nur mit aktuelleren Kernels.
Hansmaulwurf u wot m8? Registered: Apr 2005 Location: VBG Posts: 5639	23.11.2012 - 16:55 Zitat von Ringding Also der Großteil frei. Auf was ist den swappiness gestellt? (cat /proc/sys/vm/swappiness). Standard, also 60. KVM rennt nix. Hmm, ich werd das System mal durchchecken nächste Woche, atm leider sowieso nicht wirklich Zeit dafür.
Marcellus OC Addicted Registered: Mar 2005 Location: ~ Posts: 1755	24.11.2012 - 16:06 Ich kann mir vorstellen, dass der ram zwischendurch knapp geworden ist und er irgendwas, was du öfter brauchst in den swap verschoben hat. 9Gb swap sind dann ja doch schon recht viel. Was macht Code: `swapoff -a ; swapon -a`
COLOSSUS Administrator Frickler Registered: Dec 2000 Location: ~ Posts: 11898	24.11.2012 - 16:46 Zitat von Marcellus Ich kann mir vorstellen, dass der ram zwischendurch knapp geworden ist und er irgendwas, was du öfter brauchst in den swap verschoben hat. 9Gb swap sind dann ja doch schon recht viel. Was macht Code: `swapoff -a ; swapon -a` Im schlimmsten Fall den OOM-Killer aufscheuchen. Finger weg! Was man tun kann, um pages zu reclaimen, habe ich weiter oben schon geschrieben.

[CentOS] Memory Usage Problem

Forum Index > Software > Linux and other OS

Hansmaulwurf

COLOSSUS

the_shiver

davebastard

COLOSSUS

GrandAdmiralThrawn

Hansmaulwurf

GrandAdmiralThrawn

COLOSSUS

Hansmaulwurf

Ringding

Ringding

Hansmaulwurf

Marcellus

COLOSSUS