Пожалуйста помогите!
Почему MASM выдает ошибку unresolved external symbol _InitCustomControls@4

InitCustomControls включена в библиотеку core.lib, правда в аттач она не влезла (ограничение 50 кб)

_1253668003__error.rar

:)

invoke InitCustomControls,hInst

Ты откуда сие выкопал-то? Функция воидная ведь :)
Бачишь?
void InitCommonControls(VOID);

И вообще, постеснялся бы такие вопросы задавать!

А причем здесь InitCommonControls?
Проблема в InitCustomControls

Ой, виноват.
А откуда ты сие нашел? В MSDN упоминания о чуде сием нет!

SDK для 3D Studio MAX - решил попробовать написать плагин для этой программы на асме.

Может скинуть core.lib аттачами по кускам?

Я так понял, что MASM пытается искать _InitCustomControls@4, но почему?

MASM пытается найти функцию, принимающую один параметр, как это видно из исходника. Кидать порубленую lib сюда смысла не имеет. Покажи командную строку линкера для сборки твоего проекта.

C:\masm32\Bin\ML /c /coff /Cp /nologo /I"C:\masm32\Include" "c:\WinAsm\Plugins for max\test.asm"

C:\masm32\Bin\Link /SUBSYSTEM:WINDOWS /RELEASE /VERSION:4.0 /LIBPATH:"C:\masm32\Lib" /DLL /DEF:"c:\WinAsm\Plugins for max\test.def" "c:\WinAsm\Plugins for max\test.obj"

Не вижу аттача core.lib. В LIBPATH прописан лишь путь к масмовским dll, где загоняется сама core.lib и где путь к ней? Пропиши.

Все та же ошибка.

Помоему в core.lib функция вообще называется InitCustomControls@@YAXPAUHINSTANCE__@@@Z

Ага. А вот это называется "замангление имен" в С++. Видно, придется этот вопрос в FAQ загнать.

Почитай FAQ, я там написал. В твоем случае тебе придется прямо звать InitCustomControls@@YAXPAUHINSTANCE__@@@Z. Занятие для мазохистов, но выбора у тебя нет.

Все равно выдает ошибку!
Может я не правильно определил имя?

Может быть. Там много проблем.
Ты меня заинтересовал.
Убедись, что ты в точности узнал имя и забецай его сюда.

Значит так. Чего я тут надумал.
Даю идеи.
1) Мы должны узнать какие параметры нужны функции. Для этого мы должны разманглить ее имя (или посмотреть в документацию). Разманглить имя просто. Надо заюзать undname. Вот так:

undname ??0bad_cast@@QAE@ABQBD@Z
Microsoft (R) C++ Name Undecorator
Copyright (C) Microsoft Corporation 1981-2001. All rights reserved.

Undecoration of :- "??0bad_cast@@QAE@ABQBD@Z"
is :- "public: __thiscall bad_cast::bad_cast(char const * const &)"

2) Определить прототип функции в файле через PROTO.
Типа:

??0bad_cast@@QAE@ABQBD@Z PROTO C arg1:PCHAR, arg2:PCHAR

3) Написать прямо в файле в нужном месте:

invoke ??0bad_cast@@QAE@ABQBD@Z чего-то там, что надо.

В С такая фича не прокатывает, т.к. имя, содержащее "?" или "@" валидным не является. Как это побороть, я не знаю.
На асме у ml имя выше возмущения не вызвало. Попробуй, может повезет.