Tegurid, mis mõjutavad keele arengut varases lapsepõlves, on erinevad ja sõltuvad paljudest sisemistest ja välistest teguritest. Sisemised tegurid viitavad keelavatele teguritele, mis võivad olla tingitud mingist kahjustusest või füüsilisest nõrkusest, mis muudab keele arengu varases lapsepõlves raskeks või võimatuks. Välised tegurid viitavad muud tüüpi teguritele, mis võivad olla sisendi või sisendi puudumise vormis, mis samuti piirab keele arengut varases lapsepõlves.
Sisemised tegurid, mis võivad keelt varases lapsepõlves mõjutada, hõlmavad erinevaid füüsilisi ja vaimseid seisundeid. Näiteks võib autismiga laps kogeda selle häire tagajärgede tõttu varajases lapsepõlves keele arengu viivitust. Veelgi tõsisemate probleemidega, näiteks ägedate tserebraalparalüüsi juhtumitega, lastel ei pruugi see võime üldse välja kujuneda. Teine füüsiline tegur, mis võib mõjutada laste võimet arendada varaseid keeleoskusi, on igasugune õnnetus, mis mõjutab või kahjustab aju.
Üks väliseid tegureid, mis mõjutab keele arengut varases lapsepõlves, on olukord, kus väikelaps ei saa vajalikku stiimulit keeleoskuse kujundamiseks. Selline stiimul võib olla teiste inimestega suhtlemise või muu sotsiaalse suhtluse vormis. Seda tüüpi sisendi puudumisest tulenevat mõju võib tuua näiteks laste puhul, kes jäid erinevate asjaolude, näiteks ägeda hooletusse jätmise või väärkohtlemise tõttu ilma kontaktist teiste inimestega. Nendel lastel on tavaliselt raske õppida teiste inimestega suhtlemist pärast seda, kui nad on sellest keskkonnast eemaldatud. See on tingitud nende varasemast inimkontaktist ilmajätmise tagajärgedest ja asjaolust, et lastel on keeleoskuse arendamiseks tavaliselt kitsas aken, mis tavaliselt väheneb pärast kolmandat eluaastat tunduvalt.
Teine väline tegur, mis mõjutab keele arengut varases lapsepõlves, on lapse keskkond. Näiteks laps, kes on kasvanud väärkohtlemise või sagedase vägivalla keskkonnas, võib keeleoskuse arenemisel olla aeglane, kuna see keskkond last mõjutab. Sel juhul on väline tegur internaliseeritud ja avaldub selliste sümptomitena nagu äärmine ärevus, hirm ja endassetõmbumine. Sellised sümptomid hõlmavad ka lapse keele või kõne normaalse arengu viivitust.