如何快速實(shí)現(xiàn)一個(gè)連接池？
在實(shí)際工作中，我們經(jīng)常會(huì)用到各種連接池，例如：連接 FTP 服務(wù)器的連接數(shù)有限，需要建立一個(gè)連接池;連接數(shù)據(jù)庫(kù)的連接數(shù)有限，需要建立一個(gè)連接池。那我們?nèi)绾稳タ焖賹?shí)現(xiàn)一個(gè)連接池呢?
無(wú)論是 FTP 連接池，還是數(shù)據(jù)庫(kù)連接池，我們會(huì)發(fā)現(xiàn)它們都有相同的地方，它們都需要：生命周期管理、連接創(chuàng)建管理等等。如果我們從零開(kāi)始去實(shí)現(xiàn)這些功能，那我們要耗費(fèi)的時(shí)間就很長(zhǎng)了!那有沒(méi)有一個(gè)通用的庫(kù)可以快速實(shí)現(xiàn)一個(gè)線程池呢?
得益于 Java 完善的生態(tài)，前人們針對(duì)這種需要開(kāi)發(fā)了一個(gè)通用庫(kù)：Apache Commons Pool(下文簡(jiǎn)稱 ACP)。本質(zhì)上來(lái)說(shuō)，ACP 庫(kù)提供的是管理對(duì)象池的通用能力，當(dāng)然也可以用來(lái)管理連接池了!
什么是 ACP?
ACP 庫(kù)提供了一整套用于實(shí)現(xiàn)對(duì)象池化的 API，以及若干種各具特色的對(duì)象池實(shí)現(xiàn)。目前最常用的版本是 2.0 版本，相對(duì)于 1.x 版本而言，并不是簡(jiǎn)單升級(jí)。2.0 版本是對(duì)象池實(shí)現(xiàn)的完全重寫(xiě)，顯著的提升了性能和可伸縮性，并且包含可靠的實(shí)例跟蹤和池監(jiān)控。
Apache Commons Pool 的官網(wǎng)地址為：Pool – Overview，想翻找相關(guān)文檔資料，到這里去是最權(quán)威、最全面的。
如何使用 ACP?
要使用 ACP 實(shí)現(xiàn)一個(gè)線程池，首先需要先引入 ACP 的依賴包，這里以 Maven 為例。
- <dependency>
- <groupId>org.apache.commons</groupId>
- <artifactId>commons-pool2</artifactId>
- <version>2.0</version>
- </dependency>
要使用 ACP 實(shí)現(xiàn)一個(gè)對(duì)象池，大致可以分為三個(gè)步驟：
- 創(chuàng)建對(duì)象工廠：告訴 ACP 如何創(chuàng)建你要的對(duì)象。
- 創(chuàng)建對(duì)象池：告訴 ACP 你想創(chuàng)建一個(gè)怎樣的對(duì)象池。
- 使用對(duì)象池：ACP 告訴你如何使用你的對(duì)象。
創(chuàng)建對(duì)象工廠
對(duì)象工廠告訴 ACP，它應(yīng)該如何去創(chuàng)建、激活、鈍化、銷毀你的對(duì)象。創(chuàng)建對(duì)象工廠非常簡(jiǎn)單，只需要實(shí)現(xiàn) ACP 的 PooledObjectFactory 接口即可。PooledObjectFactory 接口的定義如下：
- public interface PooledObjectFactory<T> {
- PooledObject<T> makeObject() throws Exception;
- void destroyObject(PooledObject<T> p) throws Exception;
- boolean validateObject(PooledObject<T> p);
- void activateObject(PooledObject<T> p) throws Exception;
- void passivateObject(PooledObject<T> p) throws Exception;
- }
但更多情況下，我們會(huì)繼承 BasePooledObjectFactory 類來(lái)實(shí)現(xiàn)對(duì)象工廠。因?yàn)?BasePooledObjectFactory 類是 PooledObjectFactory 的基礎(chǔ)實(shí)現(xiàn)類，使用它可以幫我們省了很多麻煩。通過(guò)繼承這個(gè)抽象類，我們只需要實(shí)現(xiàn)兩個(gè)方法：create() 和 wrap() 方法。
- // 告訴 ACP 如何創(chuàng)建對(duì)象
- public abstract T create() throws Exception;
- // 定義你要返回的對(duì)象
- public abstract PooledObject<T> wrap(T obj);
create() 方法定義你的對(duì)象初始化過(guò)程，最后將初始化完成的對(duì)象返回。例如你想定義一個(gè) SFTP 的連接，那么你首先需要定義一個(gè) JSch 對(duì)象，之后設(shè)置賬號(hào)密碼，之后連接服務(wù)器，最后返回一個(gè) ChannelSftp 對(duì)象。
- public ChannelSftp create() {
- // SFTP 連接的創(chuàng)建過(guò)程
- }
wrap() 方法定義你要返回的對(duì)象，對(duì)于一個(gè) SFTP 的連接池來(lái)說(shuō)，其實(shí)就是一個(gè) ChannelSftp 對(duì)象。一般情況下可以使用類 DefaultPooledObject 替代，參考實(shí)現(xiàn)如下：
- @Override
- public PooledObject<Foo> wrap(Foo foo) {
- return new DefaultPooledObject<Foo>(foo);
- }
創(chuàng)建對(duì)象池
創(chuàng)建好對(duì)象工廠之后，ACP 已經(jīng)知道你需要的對(duì)象如何創(chuàng)建了。那么接下來(lái)，你需要根據(jù)你的實(shí)際需要，去創(chuàng)建一個(gè)對(duì)象池。在 ACP 中，我們通過(guò) GenericObjectPool 以及 GenericObjectPoolConfig 來(lái)創(chuàng)建一個(gè)對(duì)象池。
- // 聲明一個(gè)對(duì)象池
- private GenericObjectPool<ChannelSftp> sftpConnectPool;
- // 設(shè)置連接池配置
- GenericObjectPoolConfig poolConfig = new GenericObjectPoolConfig();
- poolConfig.setEvictionPolicyClassName("tech.shuyi.javacodechip.acp.SftpEvictionPolicy");
- poolConfig.setBlockWhenExhausted(true);
- poolConfig.setJmxEnabled(false);
- poolConfig.setMaxWaitMillis(1000 * 10);
- poolConfig.setTimeBetweenEvictionRunsMillis(60 * 1000);
- poolConfig.setMinEvictableIdleTimeMillis(20 * 1000);
- poolConfig.setTestWhileIdle(true);
- poolConfig.setTestOnReturn(true);
- poolConfig.setTestOnBorrow(true);
- poolConfig.setMaxTotal(3);
- // 設(shè)置拋棄策略
- AbandonedConfig abandonedConfig = new AbandonedConfig();
- abandonedConfig.setRemoveAbandonedOnMaintenance(true);
- abandonedConfig.setRemoveAbandonedOnBorrow(true);
- this.sftpConnectPool = new GenericObjectPool<>(sftpConnectFactory, poolConfig, abandonedConfig);
在上面創(chuàng)建 SFTP 連接池的代碼中，我們配置了一些線程池的參數(shù)以及設(shè)置了拋棄策略。拋棄策略是非常重要的，如果沒(méi)有設(shè)置拋棄策略，那么會(huì)拿到失效的連接從而導(dǎo)致獲取文件失敗。拋棄策略是通過(guò) poolConfig.setEvictionPolicyClassName 來(lái)設(shè)置的，我們這里設(shè)置的是 SftpEvictionPolicy 類，其代碼內(nèi)容如下：
- @Slf4j
- @Component
- public class SftpEvictionPolicy implements EvictionPolicy<com.jcraft.jsch.ChannelSftp> {
- @Override
- public boolean evict(EvictionConfig config, PooledObject<com.jcraft.jsch.ChannelSftp> underTest, int idleCount) {
- try {
- // 連接失效時(shí)進(jìn)行驅(qū)逐
- if (!underTest.getObject().isConnected()) {
- log.warn("connect time out, evict the connection. time={}",System.currentTimeMillis() - underTest.getLastReturnTime());
- return true;
- }
- }catch (Exception e){
- return true;
- }
- return false;
- }
- }
看到這里，創(chuàng)建線程池的代碼就結(jié)束了，SftpConnectPool 文件的全部?jī)?nèi)容如下：
- @Slf4j
- public class SftpConnectPool {
- private GenericObjectPool<ChannelSftp> sftpConnectPool;
- public SftpConnectPool(SftpConnectFactory sftpConnectFactory) {
- // 設(shè)置連接池配置
- GenericObjectPoolConfig poolConfig = new GenericObjectPoolConfig();
- poolConfig.setEvictionPolicyClassName("tech.shuyi.javacodechip.acp.SftpEvictionPolicy");
- poolConfig.setBlockWhenExhausted(true);
- poolConfig.setJmxEnabled(false);
- poolConfig.setMaxWaitMillis(1000 * 10);
- poolConfig.setTimeBetweenEvictionRunsMillis(60 * 1000);
- poolConfig.setMinEvictableIdleTimeMillis(20 * 1000);
- poolConfig.setTestWhileIdle(true);
- poolConfig.setTestOnReturn(true);
- poolConfig.setTestOnBorrow(true);
- poolConfig.setMaxTotal(3);
- // 設(shè)置拋棄策略
- AbandonedConfig abandonedConfig = new AbandonedConfig();
- abandonedConfig.setRemoveAbandonedOnMaintenance(true);
- abandonedConfig.setRemoveAbandonedOnBorrow(true);
- this.sftpConnectPool = new GenericObjectPool<>(sftpConnectFactory, poolConfig, abandonedConfig);
- }
- public ChannelSftp borrowObject() {
- try {
- return sftpConnectPool.borrowObject();
- } catch (Exception e) {
- log.error("borrowObject error", e);
- return null;
- }
- }
- public void returnObject(ChannelSftp channelSftp) {
- if (channelSftp!=null) {
- sftpConnectPool.returnObject(channelSftp);
- }
- }
- }
為了方便使用，我還增加了 borrowObject 和 returnObject 方法，但這兩個(gè)并不是必須的。在這兩個(gè)方法中，我們分別調(diào)用了 GenericObjectPool 類的 borrowObject 方法和 returnObject 方法。這正是 ACP 提供的、使用線程池對(duì)象的方法，先借一個(gè)對(duì)象，之后歸還對(duì)象。
注：其實(shí)在這一步，已經(jīng)包含了對(duì)象池的使用了。但實(shí)際使用的時(shí)候，我們經(jīng)常是將對(duì)象池的聲明與使用放在同一個(gè)類中，因此為了講解方便，這里沒(méi)有分開(kāi)。因此下文的使用對(duì)象池，本質(zhì)上是對(duì)對(duì)象池做進(jìn)一步封裝。
使用對(duì)象池
到這里我們的 SFTP 對(duì)象池就已經(jīng)創(chuàng)建完畢了，是不是非常簡(jiǎn)單呢!但在實(shí)際的工作中，我們通常會(huì)在這基礎(chǔ)上，做一些封裝。對(duì)于我們這次的 SFTP 連接池來(lái)說(shuō)，我們會(huì)對(duì)外直接提供下載文件的服務(wù)，將 SFTP 對(duì)象池進(jìn)一步封裝起來(lái)，不需要關(guān)心怎么獲取文件。
- public class SftpFileHelper {
- @Autowired
- private SftpConnectPool sftpConnectPool;
- public void download(String dir, String file, String saveUrl)throws IOException {
- ChannelSftp sftp = sftpConnectPool.borrowObject();
- log.info("begin to download file, dir={}, file={}, saveUrl={}", dir, file, saveUrl);
- try {
- if (!StringUtils.isEmpty(dir)) {
- sftp.cd(dir);
- }
- File downloadFile = new File(saveUrl);
- sftp.get(file, new FileOutputStream(downloadFile));
- }catch (Exception e){
- log.warn("下載文件失敗", e);
- }finally {
- sftpConnectPool.returnObject(sftp);
- }
- log.info("file:{} is download successful", file);
- }
- }
最后我們寫(xiě)一個(gè)測(cè)試用例來(lái)試一試，是否能正常下載文件。
- @RunWith(SpringRunner.class)
- @SpringBootTest
- @Slf4j
- public class SftpFileHelperTest {
- @Autowired
- private SftpFileHelper sftpFileHelper;
- @Test
- public void testDownloadFtpFile() throws Exception {
- sftpFileHelper.download("dir", "fileName", "fileName");
- }
- }
沒(méi)有意外的話，你會(huì)看到一條綠線，文件已經(jīng)被成功下載了!
總結(jié)
本文針對(duì) Apache Commons Pool 庫(kù)最常用的對(duì)象池功能做了演示?？赐赀@篇文章，我們知道創(chuàng)建一個(gè)線程池需要三個(gè)步驟，分別是：
創(chuàng)建對(duì)象工廠：告訴 ACP 如何創(chuàng)建你要的對(duì)象。
創(chuàng)建對(duì)象池：告訴 ACP 你想創(chuàng)建一個(gè)怎樣的對(duì)象池、設(shè)置驅(qū)逐策略。
使用對(duì)象池：ACP 告訴你如何使用你的對(duì)象。
本文相關(guān)代碼存放在博主 Github 項(xiàng)目：java-code-chip 中，可以點(diǎn)擊地址獲?。簀ava-code-chip/src/main/java/tech/shuyi/javacodechip/acp at master · chenyurong/java-code-chip
ACP 庫(kù)能夠讓讀者朋友們快速地創(chuàng)建一個(gè)對(duì)象池，更加專注于業(yè)務(wù)內(nèi)容。但事實(shí)上，ACP 提供的內(nèi)容遠(yuǎn)不止如此，它還有更多更高級(jí)的功能。
例如當(dāng)我們連接的 SFTP 服務(wù)器有多個(gè)時(shí)，我們需要通過(guò)不同地址來(lái)獲得不同的連接對(duì)象。此時(shí)最笨的辦法是每個(gè)不同的地址，都復(fù)制多一份代碼，然后通過(guò)不同類的不同方法來(lái)實(shí)現(xiàn)。但這樣的情況工作量相當(dāng)可觀，并且也會(huì)有很多重復(fù)代碼。這種時(shí)候就可以使用 BaseKeyedPooledObjectFactory 來(lái)替代 BasePooledObjectFactory，從而實(shí)現(xiàn)通過(guò) key 來(lái)實(shí)現(xiàn)不同地址的連接對(duì)象管理。
更多關(guān)于 ACP 的內(nèi)容，感興趣的同學(xué)可以自行探索，這里就不深入講解了。
謝謝大家的閱讀。如果文章對(duì)你有幫助，點(diǎn)個(gè) 「點(diǎn)贊」 ，或者分享到朋友圈 吧。
參考資料
- Apache Commons 系列簡(jiǎn)介 之 Pool-阿里云開(kāi)發(fā)者社區(qū)
- Apache Common Pool2 對(duì)象池應(yīng)用淺析 - 知乎
- Pool – Project Information
本文轉(zhuǎn)載自微信公眾號(hào)「陳樹(shù)義」，可以通過(guò)以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系陳樹(shù)義公眾號(hào)。
