消化能力差的人
如果胃肠不好或患有消化性溃疡，选用粗粮当主食无疑是“雪上加霜”。粗粮里含有的大量纤维素会对肠胃产生一定的刺激，一般的健康人吃没问题，但有较重胃炎或胃酸过多的人都不太适合，肠胃有溃疡的人同样受不了。
营养不良免疫力低下
粗粮会让人吸收营养的速度放缓，因此并不适合本身就营养不良的人群。粗粮富含纤维素，会阻碍蛋白质和脂肪等营养成分的利用率，因此对于免疫力低下的人也是不利的。
此外，贫血、少钙的人不建议吃粗粮。谷物的植酸、草酸含量高，会抑制钙质，尤其抑制铁质的吸收。
其他疾病
肾脏病人需要吃精致白米；糖尿病人要控制淀粉摄取，即使吃五谷杂粮，也要控制份量；痛风病人吃多豆类，会引发尿酸增高，五谷当中的豆类摄取份量就要降到最低。
