В конце упоминалось о некоем трюке с мьютексами. Можно в двух словах, что там имеется ввиду?

Берешь telock, ставишь опцию mutex, читаешь Джеффери Рихтера и смотришь, что к чему. Проходишь первый самотрассируемый SEH-кадр с DR - bpint 3, F5, а потом уже можно ставить bpm. И вперед, труба зовет :)))

В CDBFW в начале прога делает CreateMutex чтоб отрубить возможность
запуска в системе двух одинаковых приложений, т.е. cdbfw.exe,
но как удобно было при её исследовании ставить условный бряк на
этот mutex(!), далее изменив условный переход спокойно запускаем
второй экземпляр проги, вот такой он этот mutex ;-)

На RSDN кое-что есть.

Про PE и COFF