Windows 98, ME 버전은 하도 오랜동안 사용을 안해서리
어느 폴더에 들어 있는지 모르겠슴다(이해해 주세용 ^^)

Windows 2000/XP 기준으로 알려드리겠슴다.
Windows\system32 밑에 가시면 확장자가 .cpl 이라는 파일들이 있습니다.
이 파일들이 제어판의 아이콘 파일들입니다. 이 파일 중에서 삭제하고 싶은
파일들을 삭제하시면 됩니다.

주의하실 점은 파일명은 영문이므로 제어판명은 한글이므로 한글명과
파일명의 상관관계를 잘 생각하셔서 삭제를 하셔야 합니다.
예를 들어 fax.cpl 은 제어판의 "팩스" 아이콘 입니다.  

* 반드시 실수할 경우를 대비해서 백업을 받아놓고 하십시요.
  (잘 못 삭제했을 때 복구 못하면 골치 아플수도 있습니다)

Windows 98, ME 버전도 마찬가지로 .cpl 파일들을 찾아서 하면 됩니다.