衡山西站南距武广高速铁路客运专线第二大枢纽站——衡阳东站40公里、7分钟车程,总建筑面积18606平方米,由主站房和站台雨棚组成,其中站房建筑面积7275平方米,站台雨棚10788平方米,地下通道543平方米。主站房主要分为地下一层即出站厅层、一层即候车厅层和局部夹层。站房形式为线侧下式站房,最高聚集人数为500余人,高峰期可满足1000左右人次同时候车。贵宾室2个并设有1个基本站和1个中间站台,到发线4条,站台长度为500米,站台雨棚全长450米,采用钢结构形式。
衡山西站建设是武广客运专线的重点配套项目,设计年客流量165万人次。南岳区计划专修一条连接衡山西站与南岳衡山风景区的便捷通道,从衡山西站下车,经此通道只要短短五分钟时间即可抵达南岳衡山核心风景区,但衡山县方面没有同意,故这条专线至今没有开通。