Prantsusmaast rohkem kui 9000 km kaugusel paikneval riigi asumaal Reunionil sündinud Payet paistis umbes 850 000 elanikuga India ookeani saarel andeka jalgpallurina silma juba noorena.
12-aastaselt lahkuski ta kodusaarelt ja ühines Prantsusmaal Le Havre’i klubi noorteakadeemiaga. Neli aastat hiljem oli ta aga kodusaarel tagasi, kuna teda ei peetud ikkagi eriti andekaks ning probleeme tekitasid tema vähene motivatsioon ja keeruline iseloom.
«Ma arvasin, et minu unistus on läbi,» tunnistas Payet hiljuti The Guardianile enda karjäärile tagasi vaadates. «Olin seal meeskonnas olnud neli aastat ja kui mulle öeldi, et ma ei ole piisavalt hea Prantsusmaa tugevuselt teise liiga võistkonna jaoks, siis ma ei tahtnud sinna enam kunagi tagasi minna. Tahtsin jääda oma saarele ja igavesti seal jalgpalli mängida. Kindlasti ei süüdista ma klubi, kuna olin toona väga keeruline isiksus. Olin alati esimene, kes probleeme tekitas.»
Nii saigi temast 16-aastaselt Reunioni kõrgliiga mängumees. «See hooaeg koos meestega karastas mind kõvasti,» meenutas ta. Edukas aasta tekitas taas Prantsusmaal huvi ja nüüd tuli uksele koputama Nantes. Siiski oli esimene kogemus Payeti jaoks olnud niivõrd traumeeriv, et lepingu vastu võtmiseks pidi isa teda kõvasti veenma.