常小兵出生于1957年的3月，1982年毕业于南京的邮电学院电信工程系，1982年起，历任了安徽省六安地区邮电局技术员，江苏省南京市的电信局、江苏省邮电管理局网管中心的工程师，江苏省邮电管理局电信处的副处长，南京市电信局的副局长。
从1996年6月开始，历任了中国邮电电信总局副局长、以及信息产业部和电信管理局的副局长；2000年2月，任信息产业部电信管理局的局长；2000年4月，任中国电信集团公司的副总经理、党组成员；2004年11月起任中国联通公司的董事长、党组书记。
在2008年度电信重组后，任联通集团与网通集团合并后的中国联合网络通信集团的董事长兼新联通筹备组组长，后来成为新的中国联通的董事长。
2015年8月，国内三大运营商中国电信、中国移动及中国联通集体换帅，中国移动现董事长奚国华退休，工信部副部长尚冰接任中国移动董事长，中国电信董事长王晓初转任中国联通董事长，中国联通董事长常小兵转任中国电信董事长。
常小兵执掌中国联通十多年来，最让人印象深刻的是中国联通在3G时代的快速崛起，依靠更为通用的3G制式牌照WCDMA以及数据营销理念，发展了一大批高端3G用户，并让中国移动感到压力。
但中国进入4G商用化时代后，中国联通因为业绩下滑屡屡被传要重组合并，方案之一是和中国电信合并。
