截至2008年12月,中國銀行業協會共有83家會員單位和37家準會員單位。會員單位包括政策性銀行、國有商業銀行、股份制商業銀行、城市商業銀行、資産管理公司、中央國債登記結算有限責任公司、中國郵政儲蓄銀行、農村商業銀行、農村合作銀行、農村信用社聯合社、外資銀行;準會員單位包括各省(自治區、直轄市)、計劃單列市銀行業協會。
中國銀行業協會的最高權力機構為會員大會,由參加協會的全體會員、準會員組成。會員大會的執行機構為理事會,對會員大會負責。理事會在會員大會閉會期間負責領導協會開展日常工作。理事會閉會期間,常務理事會行使理事會職責。常務理事會由會長1名、專職副會長1名、副會長若干名、秘書長1名組成。協會設監事會,由監事長1名、監事若干名組成。
中國銀行業協會日常辦事機構為秘書處。秘書處設秘書長1名,副秘書長若干名。秘書處共有9個部門,包括辦公室、宣傳資訊部、自律部、維權部、教育培訓部、農村合作金融工作聯絡部、國際關係部、計劃財務部、熱線服務部。
根據工作需要,中國銀行業協會設立6個專業委員會,包括法律工作委員會、自律工作委員會、銀行業從業人員資格認證委員會、農村合作金融工作委員會、銀團貸款與交易專業委員會、外資銀行工作委員會。
中國銀行業協會以促進會員單位實現共同利益為宗旨,履行自律、維權、協調、服務職能,維護銀行業合法權益,維護銀行業市場秩序,提高銀行業從業人員素質,提高為會員服務的水準,促進銀行業的健康發展。