Ивасе родился в 1904 году, в небольшой рыбацкой деревне, на полуострове Чиба, замыкающем Токийский залив с востока. Окончив юридический факультет Университета Мейдзи, он унаследовал семейный бизнес по производству сакэ, но в 1920 году ему подарили одну из ранних моделей камеры Kodak. Он начал фотографировать, и поскольку жизнь деревни в целом была сосредоточена на побережье, именно там он вскоре и обнаружил то (точнее тех), кого ему действительно было интересно снимать: девушек и женщин «ама», собиравших водоросли, раковины и устриц, в которых иногда попадались жемчужины, каждая из которых окупала несколько месяцев работы. Ама выходили в море трижды в день, – а в промежутках грелись и ели у костра, восстанавливая силы. Хороший улов требовал долгих нырков, до четырех минут без воздуха, только на том, что есть в легких. Работа эта была сезонной, но оплачивалась очень хорошо: за несколько недель ама зарабатывала больше, чем любой мужчина из ее деревни за год.