Hijo del poeta escocés del mismo nombre, inició sus estudios artísticos en la Academy of Saint Luke de Edimburgo pero pronto se trasladó a Londres. En 1736 viaja por vez primera a Italia, visitando Roma y Nápoles donde trabajará con Imperiali y Solimena, respectivamente, también asistiendo a la Academia Francesa. Dos años después regresó a Londres para establecerse como exitoso retratista.
En los veranos regresaba a Escocia y en una de esas visitas conoció a su esposa,
Margaret Lindsay, viajando de nuevo a Italia en 1754 para realizar en Roma dibujos y acuarelas de monumentos antiguos, familiarizándose en esta época con la obra de artistas como Nattier,
Van Loo o Quentin de la Tour.
En 1757 regresó a Londres, rivalizando con
Reynolds. Tras el acceso al trono de Jorge III en 1760 será Ramsay quien consiga el cargo de pintor oficial. A finales de esta década de 1760 abandonará la pintura debido a una lesión y se dedicará a la arqueología y a la literatura.