Fjallavíðirinn rís oftast ekki meir en 10-20 (50) sm frá jörðu, þótt láréttar greinar geti orðið töluvert lengri. Ársprotar eru hærðir, en eldri greinar með brúnum, gljáandi, hárlausum berki. Stofninn og eldri greinar geta orðið allgildar (1-3 sm) á gömlum runnum, grábrúnar og gljáalausar. Laufblöðin eru öfugegglaga, oddbaugótt eða egglaga, oftast um 2-4 (6) sm á lengd og 1-2 (3) sm á breidd, græn eða ofurlítið fjólublámenguð eða með dekkri æðum, töluvert loðin einkum á jöðrunum og á neðra borði, ýmist hærð eða nær hárlaus á efra borði. Blómin eru einkynja í sérbýli, mörg saman í 2-6 sm löngum reklum. Rekilhlífarnar eru langhærðar, rauðsvartar í endann, karlblómin með tveim fræflum með dökkrauðar frjóhirzlur á löngum stilk, sem síðar verða gular. Kvenblómin bera eina, kafloðna frævu með stuttum stíl og dökkrauðu, tvisvar tvíklofnu fræni. Þroskuð aldinin eru einnig kafloðin, oftast grá eða grábrún, en stundum gul eða rauðgul, 7-10 mm á lengd, opnast með því að klofna í tvennt ofan frá langleiðina niður, og birtast þá löng, hvít svifhár fræjanna.

Fjallavíðirinn er afar breytileg tegund, bæði að því er varðar blaðlögun, hæringu, gerð rekla og lit þeirra. Afbrigðileg eintök hans getur oft verið erfitt að greina frá loðvíði. Dæmigerð eintök hafa þynnri, minna loðin og mjórri blöð en loðvíðir, og fjallavíðirinn er alltaf meir eða minna jarðlægur. Ef plantan er blómguð er öruggasta einkennið þó frævan og aldinið sem eru kafloðin á fjallavíði, en hárlaus á loðvíði. Snemma vors er rauði liturinn á frænum og frjóhirzlum fjallavíðisins gott einkenni. Þegar plantan er blómlaus, þekkist hann bezt frá loðvíði á mjög smáum eða engum axlablöðum, ef blaðgerðin er ekki ótvíræð. Unga sprota getur stundum verið erfitt að greina frá lágvöxnum gulvíði.