Джо Дассен (настоящее имя Джозеф Дассен) родился 5 ноября 1938 года в Нью-Йорке, в семье известного кинорежиссера Жюля Дассена (кстати, еврея-одессита по происхождению) и виртуозной скрипачки, солистки оркестра Пабло Кассаля, Беатрис Лонер. Семья была не всегда на гребне успеха и славы. За свои фильмы, рассказывающие о жизни рядовых американцев, часто из-за неудачных поисков работы становящихся на скользкую дорогу воровства и убийств, Жюль Дассен долгое время не мог найти работы, арендовал маленький театр, на сцене которого пытался и играть, и осуществить ряд постановок. Часто — безуспешно. Бывали дни, когда вся семья сидела буквально на чемоданах, ожидая высылки.Выручала активная концертная деятельность матери. Кроме Джо, в семье подрастали еще две девочки: Рики и Жюльетта. С детства Джо не боялся никакой работы и хотя был на вид беспечным и легкомысленным, умел самостоятельно принимать решения и быть за них ответственным. Очень заботился о сестрах, ощущая себя по -настоящему старшим братом.