Od wieków chrześcijanie próbowali odpowiedzieć na wezwanie św. Pawła do nieustannej modlitwy. Jednym ze sposobów było powtarzanie różnych modlitw. Pierwszą i najstarszą modlitwą chrześcijan jest modlitwa, której nauczył sam Jezus - „Ojcze nasz". Dlatego też pierwsze reguły zakonne zobowiązywały mnichów do wielokrotnego powtarzania właśnie tej modlitwy. Na przykład reguła benedyktyńska jeszcze w XI wieku nakazywała braciom zakonnym codziennie odmawiać 150 razy „Ojcze nasz" na wzór kapłańskiego oficjum złożonego ze 150 psalmów. Od pierwszych wieków chrześcijaństwa odczuwano także potrzebę proszenia o wstawiennictwo Najświętszą Maryję Pannę. Dlatego w XII wieku utrwalił się w Kościele zwyczaj odmawiania pozdrowienia, którym w scenie zwiastowania Anioł przywitał Maryję. Z czasem dodano do nich słowa wypowiedziane przez świętą Elżbietę w czasie nawiedzenia. Obecna forma „Zdrowaś Maryjo" ostatecznie ukształtowała się w XV wieku. Zatwierdził ją Pius V w 1566 roku. Z czasem do modlitwy „Ojcze nasz" zaczęto dodawać „Zdrowaś Maryjo". I tak te dwie modlitwy dały początek różańcowi.
Za ojca Różańca świętego uważa się św. Dominika, któremu miała się objawić Matka Najświętsza i przykazać rozpowszechnianie tej modlitwy na całym świecie. Nie był to jednak Różaniec w dzisiejszej formie.
Różaniec stał się dla św. Dominika skuteczną bronią w walce z herezją albingensów. Legenda głosi, że to właśnie w czasie jednej z jego wypraw, w trakcie której zwalczał tę herezję, zrodziła się modlitwa różańcowa. Pomimo postów i modlitw posługa św. Dominika nie przynosiła owoców. Wówczas objawiła się Matka Boża i poleciła Dominikowi, by nie tylko głosił kazania, lecz by połączył je z odmawianiem tzw. Psałterza Maryi, czyli 150 Zdrowaś Maryjo i 15 Ojcze nasz. Od tej pory św. Dominik przeplatał swoje nauki modlitwą różańcową, w której rozważał wraz ze słuchaczami treści zawarte w głoszonych naukach.
Nazwa Różańca wywodzi się ze średniowiecza. W ówczesnej mentalności świat stworzony traktowano jako księgę o Panu Bogu, a w przyrodzie dopatrywano się rzeczywistości duchowych. Szczególną rolę pełniły kwiaty, symbolizowały one różne cechy. Często też ofiarowywano kwiaty Bogu i ukochanym osobom. Modlitwy traktowane były jako duchowe kwiaty. I dlatego odmawianie różańca porównywano z dawaniem Matce Bożej róż. Stąd modlitwę tę nazwano wieńcem z róż, czyli różańcem.
Ostateczny kształt modlitwy różańcowej ustalił się w XV dzięki dominikaninowi Alamusowi a la Roche (1428-1475). On ustalił liczbę 150 „Zdrowaś Maryjo" na wzór 150 psalmów, które podzielił na dziesiątki poprzeplatane modlitwą „Ojcze nasz". Dla rozpowszechniania tej modlitwy założył pierwsze bractwo różańcowe. Dzięki zakonowi dominikańskiemu modlitwa różańcowa już w XV wieku stała się znana w całym Kościele.