Обычно эти главголы взаимозаменяются. 

Но start используется перед out back, up, off.

Автомобиль заводится только start, также начинается матч и 

Есть устоявшиеся выражения: 

начать с нуля - to start from scratch

начать с начала - start over again

родить первенца - starting a family

Дождь начинается starting 

Начнем с того, что to begin with

От начала до конца - from the begining to end

Новичкам везет - beginner's luck