Η ιστορία του συγκροτήματος ξεκίνησε από διαφορετικούς δρόμους, αλλά με κοινή συνισταμένη των μελών του την αγάπη τους για τα μπλουζ. Το 1951 οι οκτάχρονοι Κιθ Ρίτσαρντς και Μικ Τζάγκερ ήταν συμμαθητές στο δημοτικό σχολείο Γουένγορθ του Λονδίνου. Στην πορεία του χρόνου θα ακολουθήσουν διαφορετικές διαδρομές, αλλά δέκα χρόνια αργότερα θα ξαναβρεθούν τυχαία σ' ένα δρόμο του Λονδίνου.

Ο Κιθ Ρίτσαρντς σπούδαζε στο Κολέγιο Τεχνών Σίντκαπ και έπαιζε κιθάρα και ο Μικ Τζάγκερ ήταν φοιτητής στην περίφημη Οικονομική Σχολή του Λονδίνου (London School of Economics). «Στα χέρια του κρατούσε τέσσερις δίσκους των Τσακ Μπέρι και του Μάντι Γουότερς» θυμάται ο Κιθ Ρίτσαρντς από εκείνη τη συνάντηση, που έμελλε να αλλάξει την ιστορία της ποπ μουσικής.

Ο Τζάγκερ εκείνη την περίοδο είχε σχηματίσει ένα συγκρότημα με τίτλο Little Boy Blue and the Blue Boys μαζί με τον κοινό φίλο τους Ντικ Τέιλορ, που έπαιζε μπάσο. Στην μπλουζ μπάντα του Αλέξις Κόρνερ, με την οποία συνεργάζονταν ευκαιριακά, γνώρισαν τον κιθαρίστα Μπράιαν Τζόουν, τον πιανίστα Ίαν Στιούαρτ και τον ντράμερ Τσάρλι Γουότς.

Ο Τζόουνς έριξε την ιδέα να σχηματίσουν ένα δικό τους συγκρότημα και οι πρώτες πρόβες ξεκίνησαν το 1961 με τη συμμετοχή των Στιούαρτ, Τζάγκερ και Ρίτσαρντς. Τον Ιούνιο του 1962 η σύνθεση του συγκροτήματος ήταν: Τζάγκερ, Ρίτσαρντς, Στιούαρτ, Τζόουνς, Τέιλορ και Τόνι Τσάπμαν στα ντραμς. Το όνομά τους The Rolling Stonesπροήλθε από το τραγούδι του Μάντι Γουότερς Rollin' Stone.

Το νέο συγκρότημα έδωσε την πρώτη του συναυλία στις 12 Ιουλίου 1962 στο κλαμπ «Μαρκί» του Λονδίνου. Τότε είχαμε και τις πρώτες κόντρες για τη μουσική κατεύθυνση των Στόουνς. Ο Τζόουνς ήθελε να παίζουν κυρίως Σικάγο μπλουζ, ενώ οι Τζάγκερ και Ρίτσαρντς προτιμούσαν το ροκ εν ρολ των Τσακ Μπέρι και Μπο Ντίντλεϊ. Στα τέλη της χρονιάς σημειώθηκαν και οι πρώτες αλλαγές στο συγκρότημα. Ο μπασίστας Μπιλ Γουάιμαν πήρε τη θέση του Ντικ Τέιλορ και ο Τσάρλι Γουότς τη θέση του Τόνι Τσάπμαν στα ντραμς.

Το 1963 τους βρίσκει στο κλαμπ Crawdaddy του πρώτου τους μάνατζερ Τζόρτζιο Γκομέλσκι. Παίζουν για οχτώ μήνες και αρχίζουν να δημιουργούν τον μύθο τους. Στις 7 Ιουνίου κυκλοφορούν το πρώτο τους σινγκλ, με τις διασκευές των τραγουδιών «Come On» του Τσακ Μπέρι και «I Want to Be Loved» του Γουίλι Ντίξον. Το δισκάκι φθάνει στο Νο21 και παραμένει στον πίνακα επιτυχιών της Μεγάλης Βρετανίας για 14 εβδομάδες. Καθόλου άσχημα για το νέο συγκρότημα.

Μεταξύ των πρώτων θαυμαστών τους ήταν και οι Beatles. Μάλιστα, συνέστησαν τους Stones στον ατζέντη τους Άντριου Όλντμαν, που ανέλαβε το μανατζάρισμά τους, αφού η συμφωνία με τον Γκομέλσκι ήταν προφορική. Ο Τζορτζ Χάρισον έπεισε τον Ντικ Ρόου να υπογράψει μαζί τους στη δισκογραφική εταιρεία Decca, την ίδια που είχε απορρίψει τους Beatles την Πρωτοχρονιά του 1962.

Ακολούθησε μια σειρά από σινγκλ, με αποκορύφωμα τη διασκευή του τραγουδιού του Μπόμπι Γούμακ «It' all over now», που έφθασε στο Νο1 του βρετανικού πίνακα επιτυχιών (26 Ιουνίου 1964). Νωρίτερα είχαν κυκλοφορήσει τον πρώτο τους μεγάλο δίσκο στη Μεγάλη Βρετανία με τίτλο το όνομά τους (16 Απριλίου 1964) και στις 30 Μαΐου στις ΗΠΑ με τον τίτλο «England's Newest Hitmakers». Και στις δύο πλευρές του Ατλαντικού ο δίσκος σημείωσε επιτυχία και έφθασε στο Νο1. Περιείχε υλικό από το λάιβ ρεπερτόριο του συγκροτήματος (μπλουζ διασκευές) και το τραγούδι των Ρίτσαρντς/ Τζάγκερ «Tell me».

Το 1964 πραγματοποίησαν και την πρώτη μεγάλη περιοδεία. Στην Αγγλία τους συνόδευσαν από τις 6 Ιανουαρίου μεγάλα ονόματα της αμερικανικής μουσική, όπως οι Ike και Tina Turner, Bo Didley, The Ronnetes, Everly Brothers και Little Richards. Παρότι το πρώτο τους άλμπουμ έγινε χρυσό στις ΗΠΑ, η περιοδεία τους δεν είχε την ανάλογη επιτυχία και πολλές συναυλίες τους ακυρώθηκαν. Η πρώτη τους μεγάλη περιοδεία θα σηματοδοτήσει τη μεταστροφή τους από ριθμ εντ μπλουζ σε ροκ μπάντα. Στις 17 Οκτωβρίου 1974 κυκλοφορεί μόνο στις ΗΠΑ το δεύτερο άλμπουμ τους «12X5» με λιγότερες διασκευές και περισσότερα τραγούδια της συνθετικής δυάδας Ρίτσαρντς/Τζάγκερ. Έφτασε στο Νο3 κι έγινε χρυσό, ενώ στη Μεγάλη Βρετανία κυκλοφόρησε στις 15 Ιανουαρίου 1965 ως «The Rolling Stones No 2».