산지, 숲속이나 계곡 주변 등지에서 팥배나무와 더불어 자라는 낙엽 활엽 큰키나무로 높이 15m에 달한다. 나무껍질은 회갈색으로 어린가지에 껍질눈이 뚜렷하다. 잎은 어긋나며, 잎자루는 길이 1~2cm로 털이 있으나 점차 없어진다. 잎몸은 난형 또는 넓은 난형으로 길이 5~10cm이며, 기부가 둥글며, 잎 가장자리에 불규칙한 겹톱니가 있고, 끝은 점차 뾰족해지며, 앞면은 흰 털이 있고, 뒷면은 맥 위에 털이 끝까지 남는다. 꽃은 가지 끝의 산방꽃차례에 6~10개가 붙어 4~6월에 흰색으로 피고, 직경 1cm 정도이다. 꽃받침조각과 꽃잎은 각각 5개, 암술대는 2개로 기부에 털이 약간 있다. 열매는 이과로 구형이며, 직경 1cm 정도로 9~10월에 노란빛을 띤 붉은빛으로 익고, 겉에 껍질눈이 산재한다. 털팥배나무는 잎몸 뒷면 맥 위에 털이 탈락하지 않고, 끝까지 남아 있는 점으로 구별하고 있지만 팥배나무는 형태적 변이가 커서 분류학적으로 큰 의미를 부여할 수 없다. 솜털팟배나무, 털팟배라고도 한다. 열매는 식용하며, 목재는 기구재, 숯, 땔감으로 이용한다.