信頼性は、あくまで評価の一貫性（点数が同じかどうか）なので、測りたい能力がちゃんと測れているかどうか（妥当性）は、わからない。採点者が 2 人とも同じ評価でも、2 人とも評価がちゃんとできていない可能性もある。