Ao lado de Satisfaction essa é a outra música que nunca fica de fora dos shows da banda.
Quando essa música foi lançada (em 1971), Keith Richards passava longos tempos com Gram Parsons. Gram havia sido o responsável pela criação do "country-rock" quando gravou com os Byrds o disco Sweetheart of Rodeo e com sua banda Flying Burrito Brothers. Foi ele quem influenciou o clima country de faixas como essas e outras da mesma época lançadas pelos ingleses. Gram morreria vítima de overdose em 1973 mas ainda é forte influência no rock contemporâneo.
Para alguns historiadores essa foi a primeira música efetivamente composta por Jagger e Richards (outros dizem que foi a também balada Tell me). Quem fez a primeira gravação foi a cantora, e namorada de Mick Jagger, Marianne Faithful em 1964.
A versão dos rolling stones para As Tears go by sairia em 1965. Apenas Jagger e Richards participaram da gravação. Logo depois o grupo gravou uma versão em italiano da canção. Ela foi apresentada dessa forma no mais recente show da banda na Itália.
essa cançaõ marcou a volta dos stones ao rock básico que sempre os caracterizou, marcando o fim da fase "psicodélica" da banda (presente em discos como Their Satanic Majesties request)