안한지 오래돼서 가물가물 하지만 제 의견을 함 적어보죠

1. CPU 사용량이 거의 100% 입니다. 이래서 리퀘스트가 들어오면 멈추는 경우가 발생합니다.
3. Top에 여러옵션을 쳐봐도 실제 점유하고 있는 프로세스들의 점유율을 확인할 수가 없습니다.

-> 희안하네요. 프로세스리스트 상에는  다 놀고 있는걸로 나오는데 전체 CPU점유율은 거의 풀로 나오고 있네요. "구성의 오류"인가?
"top"으로 분석이 잘안되는거 같으니까 리부팅하자마자 cpu랑 memory만 떠 보는 각각의 모니터링 툴로 로그를 떠보면서 분석해 봐야 원인을 알수있을거 같은데요

2. 메모리 2기가가 거의 차서, 스왑을 너무 많이 쓰고 있습니다. 서버 재부팅한지 하루정도밖에 안되 현재는 스왑이 2기가가 좀 안되는데, 한주일정도 놓아주면 10기가 수준으로 스왑이 잡힙니다.
4. 참고로 하드웨어는 펜4-프레스캇 3기가, 메모리 ecc 2기가이며 하드디스크는 엄청 널럴합니다.

-> 이거두 일단 메모리 먹는놈을 떠봐야 알겠는데 현재 top에서 나온걸로는 알수가 없네요.

***** 현재 top에서 보이는 프로세스 리스트만 봐서는 현직에 계신 Linux SE도 원인을 파악하기는 힘들거 같구요.
다만 지난 제 경험에 비추어볼때는 현재상태가 단순히 웹서버와 디비서버의 로드발란싱 문제이기보다는 보다 근본적인 문제가 있는거 같습니다. 웹서버와 디비서버의 부하문제라면 모니터링 떠보면 httpd 나 mysqld쪾에서 리소스 먹는게 보여야 하는데 현재는 보이는게 암것도 없기 때문에 사실 아무것도 알수가 없네요.

NFS서버 말씀하셨는데, 가끔 생각지도 않았던 엉뚱한 부분이 화근이 되는 경우도 있습니다.
그놈이 리소스 다 가져갈수도 있다는 거죠.


일단 OS(CPU, Memory, Hard Disk) 모니터링 데이터를 정확하게 떠봐야 겠구요.
이상없으면 DB Server, Web Server 모니터링 데이터를 떠봐야 원인 파악이 가능하리라 생각됩니다.