Композиция является заглавным синглом с последнего на сегодняшний день альбома американских рокеров, который получил название Tell My I’m Pretty. Пластинка была выпущена в конце прошлого года.

Композиция Cry Baby является вторым синглом с четвертого студийного лонгплея после трека Mess Around.

Примечательно, что Cage The Elephant записывали альбом Tell Me I’m Pretty в Нэшвилле вместе с Дэном Ауэрбахом, фронтменом The Black Keys и The Arcs.