Eigentlich ist es ziemlich aus der Mode gekommen, System-Binaries zu ersetzen, um ein Rootkit zu verstecken. Aktuelle Rootkits werden als Modul direkt in den Kernel geladen und verstecken dort direkt Prozesse und Dateien, ohne das man 'ps', 'ls', 'top', etc ersetzen muß.
Deine Theorie zu md5sum funktioniert so nicht, da bei den "alten" Rootkits einfach das gesamte Binary ersetzt wird und es sich nicht wie z.B. ein Virus an ein bestehendes Binary anhängt. Selbst wenn man also die gleiche Byte-Zahl von den beiden Binaries einlesen würde wären die Prüfsummen unterschiedlich.