В 13 лет, присоединившись к банде, изменил своё имя с Франческо Кастилья на Фрэнк Костелло. Изменение имени побудило некоторых людей ошибочно считать его ирландцем. Продолжал совершать мелкие преступления и оказывался в тюрьме за нападения и грабежи в 1908, 1912 и 1917 годах. В 1918 году женился на еврейке, сестре близкого друга. В том же году провёл десять месяцев в тюрьме за тайное ношение оружия. После освобождения решил избегать уличного рэкета и использовать для криминального бизнеса свой мозг. Костелло заявил, что больше никогда не возьмёт в руки оружие.