Композиция When I Die является частью новой пластинки Gallipoli, которая была выпущена 1 февраля 2019 года. Лонгплей стал пятой студийной работой американских музыкантов. По словам участников команды, название альбома посвящено одноименному итальянскому городу.

Свой предыдущий альбом, озаглавленный No No No, группа Beirut презентовала в сентябре 2015 года. Работа была выпущена при поддержке лейбла 4AD.