Есть функция, в которой может произойти исключение (деление на ноль или корень из отрицательного числа). Как правильно вернуть результат функции и указать, что произошло исключение?

Я вижу такие варианты:
- Ловить исключение в функции

	try {
		a = b / c;
	}

и передавать функции указатель на переменную, которая будет выполнять
роль флага (в случае исключения приравнивать ее к условному номеру исключения);

- Ловить исключение в программе

	try {
		val = Calculate();
	}

Подскажите как правильно сделать, может есть "негласные правила" на этот счет.

Все зависит от того, где у тебя реализована логика системы. Универсальных правил нет.