При этом у меня никогда не было что вот я ввожу ограничения, потом срываюсь, потом виню себя за срыв, снова ограничиваю и т.д.

Потому что все ограничения, которые я ввожу - они все не жесткие.
Я не пью алкоголя. Но если хочется бутылку пива или если идет встреча и все пьют - я тоже немного выпью.
Я не курю - но раз в год обычно наткнувшись на какое-то интересное курево или просто вдруг по случайному порыву - я могу покурить.
Я не ем сладкого - но где-то раз в неделю вдруг покупаю по небольшой шоколадке. И если я приехал в новую страну и увидел местные интересные сладости - я их попробую.
И так далее.

Я никогда не довожу себя до того, чтобы сильно захотеть то, в чем я себя ограничил. И поэтому никогда не страдаю от самоограничений.
Считаю что это базовый принцип в таких вещах.