Duoul Teen Mortgage provine din Washington D.C. și se revendică din muzica hardcore și din moștenirea punk. Frontmanul James Guile a modelat treptat formația sub diverse nume, creând muzică plină de comentarii sociopolitice puternic influențată de punkul anilor optzeci. Când s-a mutat în Maryland, l-a cooptat pe toboșarul Edward Barakauskas.
Albumul de debut Devil Ultrasonic Dream a fost lansat sub egida casei de discuri Roadrunner Records. Discul oferă texte angajate și referințe la panica satanică care a fost prezentă în muzica rock a anilor optzeci. Înainte de lansarea albumului, duoul a concertat alături de Weezer, OFF! sau Smashing Pumpkins și a lansat câteva single-uri și EP-uri. Pe album se găsesc piese precum Ride, Possessed sau Personal Hell.
