В статье "Hooking Windows NT System Services"
http://www.windowsitlibrary.com/Content/356/06/1.html и книге Шрайбера "Недокументированные особенности Windows NT"
описывался способ установления hook'ов на системные функции, например, NtCreateFile.
Это работает под WinNt4 и Win2k. (на основе использования внутренней структуры SystemDescriptorTable)
А под WinXp данная feature не работает - hook'и устанавливаются, но при выполнении входов в данные hook'и происходит ошибка
IRQL_NOT_LESS_OR_EQUAL с возникновением экрана смерти BSOD
Кто-нибудь мог бы помочь?

Я таки поставил себе хрюшу для экскриментов.
Подхучил ntoskrnl!ZwOpenKey, точно таким же образом как и под 2000 - у мя все работает без BSOD.

Если еще не разобрался еще... у тя, скорее всего, где-то в реализации хуковой функции ошибка. Убери из нее все - оставь только переходник на родной сервис, хучь только одну функцию, пройди все это под отладчиком.

Если не разберешься можещь мне исходники скинуть - посмотрю, только упрости до невозможности.