Pod koniec II wojny światowej znacząco rozwinęło się uzbrojenie przeciwpancerne piechoty w postaci ręcznych wyrzutni pocisków rakietowych oraz granatników przeciwpancernych. Pionierami w tej dziedzinie byli Niemcy i Amerykanie, jednak w ZSRR w 1944 roku podjęto prace nad stworzeniem własnego granatnika przeciwpancernego, którym został RPG-1. Do produkcji wprowadzono jednak dopiero wersję RPG-2.
Podstawowym uzbrojeniem przeciwpancernym rosyjskich żołnierzy podczas II wojny światowej były karabiny i granaty przeciwpancerne, bądź wiązki granatów. Pod koniec wojny była to już całkowicie nieefektywna broń. Równocześnie Niemcy na coraz większą skalę wykorzystywali granatniki przeciwpancerne Panzerfaust i Panzerschreck, a Amerykanie wyrzutnie Bazooka. Rosjanie pozyskali każdy z tych rodzajów uzbrojenia i postanowili zaprojektować własną broń wykorzystującą najlepsze cechy poszczególnych wyrzutni i granatników.
Projektem kierował G. P. Łomiński. Stworzył on ręczny granatnik przeciwpancerny RPG-1 wyposażony w głowicę o średnicy 70 mm, zdolną do przebicia płyty pancernej o grubości około 140 mm ustawionej pod kątem prostym. Prace nad granatnikiem ruszyły w 1944 roku, ale już w 1947 roku równolegle rozpoczęto drugi projekt granatnika RPG-2, wyposażonego w głowicę o średnicy 82 mm, zdolną do penetracji pancerza o grubości 180 mm ustawionego pod kątem prostym. Taka przebijalność pozwalała na zniszczenie większości ówczesnych czołgów od przodu i wszystkich od boku i tyłu.
Postęp prac nad granatnikiem RPG-2 sprawił, że projekt RPG-1 anulowano w 1948 roku. Ze względu na nowatorski charakter projektu, dopiero w 1954 roku granatnik RPG-2 trafił na wyposażenie rosyjskich oddziałów piechoty.
Broń miała 1,2 m długości i wraz z głowicą ważyła 4,67 kg. Głowica bojowa z ładunkiem kumulacyjnym miała średnicę 82 mm, a lufa-wyrzutnia 40 mm. Skuteczny zasięg strzału wynosił 100-150 m, a maksymalny 200 m. Standardowo obsługę granatnika stanowiło dwóch żołnierzy – strzelec z karabinem i plecakiem z trzema zapasowymi pociskami, oraz operator granatnika z pistoletem, granatnikiem i plecakiem z 3 zapasowymi pociskami. Teoretyczna szybkostrzelność wynosiła 3-4 strzały na minutę. Pocisk był stabilizowany w locie za pomocą niewielkich stateczników, które rozkładały się po strzale.
W 1957 roku opracowano nową wersję granatnika – RPG-2N, wyposażoną w uchwyt dla celownika podczerwieni NSP-2. Celownik wraz z baterią zwiększał masę granatnika o 6 kg. Teoretycznie, w idealnych warunkach, celownik pozwalał na strzelanie na dystansie 150-200 m.
W toku eksploatacji, granatniki RPG-2 trafiły na wyposażenie armii Układu Warszawskiego oraz państw zależnych od ZSRR, oraz importujących broń z ZSRR. W Chinach oraz Czechosłowacji opracowano lokalne wersje granatnika – odpowiednio Type 56 i P-27. Również Wietnam Północny stworzył swoją odmianę granatnika, łączącą elementy rosyjskiej i chińskiej wersji.
Doświadczenia z eksploatacji sprawiły, że w 1960 roku granatnik RPG-2 został zastąpiony w radzieckiej armii granatnikiem RPG-7. Pozostali użytkownicy korzystali z granatników często aż do lat 80. i 90. a w niektórych krajach nawet do czasów obecnych.