You weren't jealous before we met, now every woman you see is a potential threat. Qual fan do Information Society que não conhece a música Lay All Your Love on Me? A faixa três do primeiro álbum da banda é uma das pouquíssimas covers feitas pelo InSoc em vários anos (destacando também Are Friends Electric do quarto álbum).

Originalmente gravado pela banda ABBA (Andersson e Ulvaeus), no auge dos anos 70, esta música com letra suave já foi regravada diversas vezes por bandas nem sempre conhecidas.

Fora a do InSoc, a versão mais conhecida é da banda Erasure, num estilo um pouco mais "latino" da música, com um toque bem pop como geralmente possuem as músicas do Erasure. Outras regravações foram feitas, em 1992 pelo grupo dance cover Abracadabra e em 2022 pelo artista europeu Loafers.