В выражении "остаться с носом" под словом "нос" понимается не часть тела. Это устаревшее название взятки. От слова "нести".
Подразумевалось что человек чтобы договориться с чиновником приносит взятку - нос. Если договориться не смогли, человек остался с ней на руках - с носом.