J'ai observé ton code et il te manque ceci:
<meta name="viewport" content="width=device-width">
En fait la résolution de l'écran d'un smartphone est souvent plus grande que celle de l'écran (regarde ici pour comprendre)
Avec cette balise meta ton site s'adaptera à la largeur de l'écran et non la résolution de l'appareil.
Sinon j'ai pas compris ta phrase: "Ici mon problème concerne le responsive, mes divs gardent leurs taille en px (height) comme si j'étais sur un écran d'ordinateur alors que mon écran est réduit."
Si les div sont exprimées en pixel normal qu'elles ne changent pas, à part si on utilise les media queries