Композиция является би-сайдом к синглу Delilah, который является частью последнего на сегодняшний день, третьего студийного альбома How Big, How Blue, How Beautiful, релиз которого состоялся 25 мая прошлого года.

Трек Only Love Can Break Your Heart является кавер-версией оригинальной песни Нила Янга. Трек в исполнении Флоренс Уэлч стал би-сайдом к виниловому изданию сингла Delilah.