所谓选石，除了挑选堆叠假山的石材种类之外，还包括对山石的大小、造型、纹理、色泽、质地等特性的选择，即相石。相石掇山是假山作品成功的关键因素。
太湖石俗称湖石，是产自太湖周边地区的石灰岩。它质坚表润，嵌空穿眼，纹理纵横，连联起隐，叩击有声响，外形多峰峦岩壑之致。唐代白居易称“石有聚族，太湖为甲”。苏州环秀山庄内用太湖石制作的假山就是模仿苏州阳山的大石山景观。
黄石质坚色黄，石纹古拙，棱角分明，呈现出苍劲雄浑的外貌特征，显示出一种阳刚之美。明代计成在所著的《园冶》中评价道：“其质坚，不入斧凿，其文古拙……俗人只知其顽劣，而不知其妙。”它属于沉积岩中的一种砂岩，我国很多地方均有出产，其中以常州、黄山、苏州尧峰山、镇江图山所产为著。用黄石叠山，粗犷而富有野趣。如北京静心斋叠山、扬州个园中的秋景园里用黄岩叠砌的秋景山色，尤贴切景意。黄石假山在造型上，仿照自然界山林的丹霞地貌，或沉积岩山林中的风化景观，从而创造出全新风格的假山造型。
英石产于广东英德县，以盲仔峡所产为著。石质坚而润，色泽微呈灰黑，节理天然，面有大皱小皱，多棱角，峭峰如剑戟。在岭南庭园叠山中多取英石，构出峰型和壁型两类假山。
其他石材，如江苏常州一带出产的斧劈石，安徽宣城、宁国一带产的宣石等，也常用于制作假山，但一般规模较小。如扬州个园的冬山，就是以宣石堆叠而成，远远望去，似积雪未消。由于堆叠假山的山石比较笨重，运输困难，所以造园叠山专家主张就地取材，因地制宜。