TeamTalk DB_PROXY_SERVER详解

本文主要是介绍TeamTalk DB_PROXY_SERVER详解，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

DB_PROXY_Server数据库代理是TeamTalk TTServer中负责与数据库交互的代理服务器，在DB server中负责承载TeamTalk所有业务层面和逻辑层面的数据入库和持久化等服务，是TT_Server中比较重要的一环，在设计中采用了很多实用的技术，比如池化技术，数据库代理，单例模式等，收益匪浅，下面对TealTalk的DB_Server作个详细分析，以封面是自己阅读代码后的学习总结，一方面可以给其他学习TT_Server的人提供参考。

可以通过查看DB_Server的配置文件dbproxyserver.conf文件，DB_SERVER主要分为以下几个部分：

1、TeamTalk_Matser 采用了MYSQL数据库

2、TeamTalk_Slave MYSQL数据库（由于水平有限，对数据库的学习还不够深入，尚不清楚为什么需要部署主从服务器）

-------------------------------------------------------------

3、unread 未读信息实例 redis 数据库

4、group_set 群组设置实例 redis数据库

5、token 实例 redis数据库

6、sync实例 redis数据库同步功能

7、group_member redis 数据库

每个数据库实例都会预先打开于数据库的两个链接，不需要在每次使用的时候再打开，使用结束后释放，节省了数据打开和释放需要的时间和资源，在当前可用连接数不够的情况下再新增一个数据库链接，动态调节DB_Server的负载，同时限定了每个实例的最大可用连接数，由于系统资源是有限的，当业务比较繁忙时不能无限制创建新的连接，避免耗尽系统资源，这种场景下，当没有可用连接的时候，新的业务请求必须等待，等待可用的连接，然后再执行相应的业务操作。

DB_Server采用了多线程，在DB_Server启动的时候预先分配了配置文件中指定的线程数，用来处理具体的数据库请求，当一个请求到达DB_Server时，DB_Server将该请求封装成DB相关的额任务类，然后随机加入到预先启动的线程的任务列表中，有线程回调函数不停执行具体的任务请求，者就是整个DB_Serve的设计思路。

下面来看代码的流程：

1、CacheManager的初始化

db_proxy_server的main函数中，依次从配置文件中读取各个实例的名称以及初始DB实例个数，最大连接数等信息。

首先获取CacheManager的对象，在获取对象的同时对该对象以及该对象管理的资源进行了初始化。

	CacheManager* pCacheManager = CacheManager::getInstance();

需要明确的是，cacheManager维护了一个map，map<string, CachePool*>m_cache_pool_map;这个map的key值就是每个配置文件中每个CacheInstances的名称，对应给每一个cache实例维护了一个连接池CachePool，在CachePool中有维护了一个list<CacheConn*>m_free_list;，这个list保存了对应cache实例的连接，CacheConn是对每个DB连接的封装。这个类中维护了对应数据库连接的一些基本信息，redis数据的话保存的是数据库连接上下文redisContext，以及操作数据库的Set 和Get方法。

创建CacheManager的对象

CacheManager* CacheManager::getInstance()
{
if (!s_cache_manager) {
s_cache_manager = new CacheManager();
if (s_cache_manager->Init()) {
delete s_cache_manager;
s_cache_manager = NULL;
}
}
return s_cache_manager;
}

调用CacheManager的Init的方法，初始化CacheManager管理的资源，在这里就是读取配置文件，根据配置文件中的CacheInstance名称创建对应的实例，并创建相应的连接池对象，将其插入到Manager管理的Map中。

int CacheManager::Init()
{
CConfigFileReader config_file("dbproxyserver.conf");
char* cache_instances = config_file.GetConfigName("CacheInstances");
if (!cache_instances) {
log("not configure CacheIntance");
return 1;
}
char host[64];
char port[64];
char db[64];
char maxconncnt[64];
CStrExplode instances_name(cache_instances, ',');
for (uint32_t i = 0; i < instances_name.GetItemCnt(); i++) {
char* pool_name = instances_name.GetItem(i);
//printf("%s", pool_name);
snprintf(host, 64, "%s_host", pool_name);
snprintf(port, 64, "%s_port", pool_name);
snprintf(db, 64, "%s_db", pool_name);
snprintf(maxconncnt, 64, "%s_maxconncnt", pool_name);
char* cache_host = config_file.GetConfigName(host);
char* str_cache_port = config_file.GetConfigName(port);
char* str_cache_db = config_file.GetConfigName(db);
char* str_max_conn_cnt = config_file.GetConfigName(maxconncnt);
if (!cache_host || !str_cache_port || !str_cache_db || !str_max_conn_cnt) {
log("not configure cache instance: %s", pool_name);
return 2;
}
CachePool* pCachePool = new CachePool(pool_name, cache_host, atoi(str_cache_port),
atoi(str_cache_db), atoi(str_max_conn_cnt));
if (pCachePool->Init()) {
log("Init cache pool failed");
return 3;
}
m_cache_pool_map.insert(make_pair(pool_name, pCachePool));
}
return 0;
}

根据在配置文件中定义的instanceNane_DB的值创建CacheConn对象，调用其init函数，并将其插入到CachePool管理的空闲链表中。

int CachePool::Init()
{
for (int i = 0; i < m_cur_conn_cnt; i++) {
CacheConn* pConn = new CacheConn(this);
if (pConn->Init()) {
delete pConn;
return 1;
}
m_free_list.push_back(pConn);
}
log("cache pool: %s, list size: %lu", m_pool_name.c_str(), m_free_list.size());
return 0;
}

调用CacheConn的Init函数，创建数据库的连接。

/*
* redis初始化连接和重连操作，类似mysql_ping()
*/
int CacheConn::Init()
{
if (m_pContext) {
return 0;
}
// 4s 尝试重连一次
uint64_t cur_time = (uint64_t)time(NULL);
if (cur_time < m_last_connect_time + 4) {
return 1;
}
m_last_connect_time = cur_time;
// 200ms超时
struct timeval timeout = {0, 200000};
m_pContext = redisConnectWithTimeout(m_pCachePool->GetServerIP(), m_pCachePool->GetServerPort(), timeout);
if (!m_pContext || m_pContext->err) {
if (m_pContext) {
log("redisConnect failed: %s", m_pContext->errstr);
redisFree(m_pContext);
m_pContext = NULL;
} else {
log("redisConnect failed");
}
return 1;
}
redisReply* reply = (redisReply *)redisCommand(m_pContext, "SELECT %d", m_pCachePool->GetDBNum());
if (reply && (reply->type == REDIS_REPLY_STATUS) && (strncmp(reply->str, "OK", 2) == 0)) {
freeReplyObject(reply);
return 0;
} else {
log("select cache db failed");
return 2;
}
}

上述流程就完成了所有CacheInstance的初始化，并创建了数据的连接池，后续所有对数据库的操作都通过调用CashManager::GetCacheConn方法来获取数据库的连接，从cachePool管理的free_list中出队列，如果队列为空，则创建新的连接或者等待，使用完连接后加入free_list中，供下次使用。

2、CDBManager的初始化

CDBManager的初始化流程与CacheManager的初始化流程类似，唯一不同的是CDBManager保存的CDBConn是到MYSQL数据库的连接。其他过程类似，理解上面CacheManager的流程就很容易理解该部分流程，这里不再重复叙述了。

3、资源对象初始化

完成DB相关资源的对象初始化，这些类都用了单例模式，因此初始化这些对象都只需要调用自身的GetInstance方法，

puts("db init success");
// 主线程初始化单例，不然在工作线程可能会出现多次初始化
if (!CAudioModel::getInstance()) {
return -1;
}
if (!CGroupMessageModel::getInstance()) {
return -1;
}
if (!CGroupModel::getInstance()) {
return -1;
}
if (!CMessageModel::getInstance()) {
return -1;
}
if (!CSessionModel::getInstance()) {
return -1;
}
if(!CRelationModel::getInstance())
{
return -1;
}
if (!CUserModel::getInstance()) {
return -1;
}
if (!CFileModel::getInstance()) {
return -1;
}

4、工作线程池初始化，任务执行回调初始化。

这个部分可谓是db_proxy_server中重要的一环，所有的DB任务都是通过从工作线程池中的线程通过获取对应命令ID的回调函数来执行所有的数据库操作任务，因此理解了这部分差不多就理解了db_proxy_server的一半，下面介绍这部分流程。

int init_proxy_conn(uint32_t thread_num)
{
s_handler_map = CHandlerMap::getInstance();
g_thread_pool.Init(thread_num);
netlib_add_loop(proxy_loop_callback, NULL);
signal(SIGTERM, sig_handler);
return netlib_register_timer(proxy_timer_callback, NULL, 1000);
}

该部分的初始化时在main函数中调用全局函数init_proxy_conn函数完成的，该函数的一个入参thread_num指定了工作线程池的线程数量。

（1）首先获取CHandlerMap的对象，在获取对象的同时完成了所有回调函数的注册。

CHandlerMap* CHandlerMap::getInstance()
{
if (!s_handler_instance) {
s_handler_instance = new CHandlerMap();
s_handler_instance->Init();
}
return s_handler_instance;
}

void CHandlerMap::Init()
{
// Login validate
m_handler_map.insert(make_pair(uint32_t(CID_OTHER_VALIDATE_REQ), DB_PROXY::doLogin));
m_handler_map.insert(make_pair(uint32_t(CID_LOGIN_REQ_PUSH_SHIELD), DB_PROXY::doPushShield));
m_handler_map.insert(make_pair(uint32_t(CID_LOGIN_REQ_QUERY_PUSH_SHIELD), DB_PROXY::doQueryPushShield));
// recent session
m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_RECENT_CONTACT_SESSION_REQUEST), DB_PROXY::getRecentSession));
m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_REMOVE_SESSION_REQ), DB_PROXY::deleteRecentSession));
// users
m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_USER_INFO_REQUEST), DB_PROXY::getUserInfo));
m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_ALL_USER_REQUEST), DB_PROXY::getChangedUser));
m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_DEPARTMENT_REQUEST), DB_PROXY::getChgedDepart));
m_handler_map.insert(make_pair(uint32_t(CID_BUDDY_LIST_CHANGE_SIGN_INFO_REQUEST), DB_PROXY::changeUserSignInfo));
// message content
m_handler_map.insert(make_pair(uint32_t(CID_MSG_DATA), DB_PROXY::sendMessage));
m_handler_map.insert(make_pair(uint32_t(CID_MSG_LIST_REQUEST), DB_PROXY::getMessage));
m_handler_map.insert(make_pair(uint32_t(CID_MSG_UNREAD_CNT_REQUEST), DB_PROXY::getUnreadMsgCounter));
m_handler_map.insert(make_pair(uint32_t(CID_MSG_READ_ACK), DB_PROXY::clearUnreadMsgCounter));
m_handler_map.insert(make_pair(uint32_t(CID_MSG_GET_BY_MSG_ID_REQ), DB_PROXY::getMessageById));
m_handler_map.insert(make_pair(uint32_t(CID_MSG_GET_LATEST_MSG_ID_REQ), DB_PROXY::getLatestMsgId));
// device token
m_handler_map.insert(make_pair(uint32_t(CID_LOGIN_REQ_DEVICETOKEN), DB_PROXY::setDevicesToken));
m_handler_map.insert(make_pair(uint32_t(CID_OTHER_GET_DEVICE_TOKEN_REQ), DB_PROXY::getDevicesToken));
//push 鎺ㄩ€佽缃?
m_handler_map.insert(make_pair(uint32_t(CID_GROUP_SHIELD_GROUP_REQUEST), DB_PROXY::setGroupPush));
m_handler_map.insert(make_pair(uint32_t(CID_OTHER_GET_SHIELD_REQ), DB_PROXY::getGroupPush));
// group
m_handler_map.insert(make_pair(uint32_t(CID_GROUP_NORMAL_LIST_REQUEST), DB_PROXY::getNormalGroupList));
m_handler_map.insert(make_pair(uint32_t(CID_GROUP_INFO_REQUEST), DB_PROXY::getGroupInfo));
m_handler_map.insert(make_pair(uint32_t(CID_GROUP_CREATE_REQUEST), DB_PROXY::createGroup));
m_handler_map.insert(make_pair(uint32_t(CID_GROUP_CHANGE_MEMBER_REQUEST), DB_PROXY::modifyMember));
// file
m_handler_map.insert(make_pair(uint32_t(CID_FILE_HAS_OFFLINE_REQ), DB_PROXY::hasOfflineFile));
m_handler_map.insert(make_pair(uint32_t(CID_FILE_ADD_OFFLINE_REQ), DB_PROXY::addOfflineFile));
m_handler_map.insert(make_pair(uint32_t(CID_FILE_DEL_OFFLINE_REQ), DB_PROXY::delOfflineFile));
}

在ChandleMap注册数据库请求的CommandID对应的回调函数，在处理接收的请求时，根据CmdID查询CHandleMap，获取回调函数处理请求。

（2）初始化工作线程池

g_thread_pool.Init(thread_num);这行代码根据传入的参数创建了指定数量的线程，每个工作线程中都维护了一个任务队列，在有数据请求来的时候，系统随机将任务添加到线程的任务队列中，线程一次执行自己任务队列中的任务。

int CThreadPool::Init(uint32_t worker_size)
{
m_worker_size = worker_size;
m_worker_list = new CWorkerThread [m_worker_size];
if (!m_worker_list) {
return 1;
}
for (uint32_t i = 0; i < m_worker_size; i++) {
m_worker_list[i].SetThreadIdx(i);
m_worker_list[i].Start();
}
return 0;
}

void CWorkerThread::Start()
{
(void)pthread_create(&m_thread_id, NULL, StartRoutine, this);
}

线程回调

void* CWorkerThread::StartRoutine(void* arg)
{
CWorkerThread* pThread = (CWorkerThread*)arg;
pThread->Execute();
return NULL;
}

处理任务

void CWorkerThread::Execute()
{
while (true) {
m_thread_notify.Lock();
// put wait in while cause there can be spurious wake up (due to signal/ENITR)
while (m_task_list.empty()) {
m_thread_notify.Wait();
}
CTask* pTask = m_task_list.front();
m_task_list.pop_front();
m_thread_notify.Unlock();
pTask->run();
delete pTask;
m_task_cnt++;
//log("%d have the execute %d task\n", m_thread_idx, m_task_cnt);
}
}

（3）环回检查，超时检测处理异常中断

netlib_add_loop(proxy_loop_callback, NULL);
signal(SIGTERM, sig_handler);
return netlib_register_timer(proxy_timer_callback, NULL, 1000);

DB操作中的相应并不是来一个请求发送一个响应，CProxyConn中维护了一个static list<ResponsePdu_t*>s_response_pdu_list，将需要发送的相应PDU插入到该list中，在db_proxy_server的时间分发器中，每次循环都会调用CheckLoop函数，根据注册的proxy_loop_callback回调发送响应信息。

	signal(SIGTERM, sig_handler);

注册程序异常终止时的信号处理函数，处理函数异常退出时的一些清理工作，发送未发送的数据，停止接受请求等

static void sig_handler(int sig_no)
{
if (sig_no == SIGTERM) {
log("receive SIGTERM, prepare for exit");
CImPdu cPdu;
IM::Server::IMStopReceivePacket msg;
msg.set_result(0);
cPdu.SetPBMsg(&msg);
cPdu.SetServiceId(IM::BaseDefine::SID_OTHER);
cPdu.SetCommandId(IM::BaseDefine::CID_OTHER_STOP_RECV_PACKET);
for (ConnMap_t::iterator it = g_proxy_conn_map.begin(); it != g_proxy_conn_map.end(); it++) {
CProxyConn* pConn = (CProxyConn*)it->second;
pConn->SendPdu(&cPdu);
}
// Add By ZhangYuanhao
// Before stop we need to stop the sync thread,otherwise maybe will not sync the internal data any more
CSyncCenter::getInstance()->stopSync();
// callback after 4 second to exit process;
netlib_register_timer(exit_callback, NULL, 4000);
}
}

netlib_register_timer(proxy_timer_callback, NULL, 1000)注册心跳，1000tick到发送一个心跳包，防止客户端掉线时占用系统资源，及时清理对应客户端的连接符等系统资源。

5、同步聊天记录等信息

CSyncCenter::getInstance()->init();
CSyncCenter::getInstance()->startSync();

void CSyncCenter::init()
{
// Load total update time
CacheManager* pCacheManager = CacheManager::getInstance();
// increase message count
CacheConn* pCacheConn = pCacheManager->GetCacheConn("unread");
if (pCacheConn)
{
string strTotalUpdate = pCacheConn->get("total_user_updated");
string strLastUpdateGroup = pCacheConn->get("last_update_group");
pCacheManager->RelCacheConn(pCacheConn);
if(strTotalUpdate != "")
{
m_nLastUpdate = string2int(strTotalUpdate);
}
else
{
updateTotalUpdate(time(NULL));
}
if(strLastUpdateGroup.empty())
{
m_nLastUpdateGroup = string2int(strLastUpdateGroup);
}
else
{
updateLastUpdateGroup(time(NULL));
}
}
else
{
log("no cache connection to get total_user_updated");
}
}

创建线程并开始同步

void CSyncCenter::startSync()
{
#ifdef _WIN32
(void)CreateThread(NULL, 0, doSyncGroupChat, NULL, 0, &m_nGroupChatThreadId);
#else
(void)pthread_create(&m_nGroupChatThreadId, NULL, doSyncGroupChat, NULL);
#endif
}

由于主线程执行需要执行其他任务，为了避免主线程耗时，同步聊天记录，群主信息功能在新创建的线程中执行，节省主线程启动时间；所有同步操作均在线程回调函数中完成doSyncGroupChat.

6、事件分发，主线程助理主流程，接受客户连接，处理客户请求

所有TT_SERVER的网络处理统一在事件分发起中执行，包括从socket中接收连接，读写数据，处理异常

void CEventDispatch::StartDispatch(uint32_t wait_timeout)
{
struct epoll_event events[1024];
int nfds = 0;
if(running)
return;
running = true;
while (running)
{
nfds = epoll_wait(m_epfd, events, 1024, wait_timeout);
for (int i = 0; i < nfds; i++)
{
int ev_fd = events[i].data.fd;
CBaseSocket* pSocket = FindBaseSocket(ev_fd);
if (!pSocket)
continue;
//Commit by zhfu @2015-02-28
#ifdef EPOLLRDHUP
if (events[i].events & EPOLLRDHUP)
{
//log("On Peer Close, socket=%d, ev_fd);
pSocket->OnClose();
}
#endif
// Commit End
if (events[i].events & EPOLLIN)
{
//log("OnRead, socket=%d\n", ev_fd);
pSocket->OnRead();
}
if (events[i].events & EPOLLOUT)
{
//log("OnWrite, socket=%d\n", ev_fd);
pSocket->OnWrite();
}
if (events[i].events & (EPOLLPRI | EPOLLERR | EPOLLHUP))
{
//log("OnClose, socket=%d\n", ev_fd);
pSocket->OnClose();
}
pSocket->ReleaseRef();
}
_CheckTimer();
_CheckLoop();
}
}

在事件分发中需要详解的是从socket中读取客户请求数据并解析PDU数据包，处理客户请求，回复效应，其他socket连接等部分在之前的文章中已经叙述过了，这里就不再重复了，下面主要陈述db_proxy_server中处理客户请求的流程。

在db_proxy_server中接收到用户的请求数据后都会在如下的函数中解析请求数据。

void CProxyConn::HandlePduBuf(uchar_t* pdu_buf, uint32_t pdu_len)
{
CImPdu* pPdu = NULL;
pPdu = CImPdu::ReadPdu(pdu_buf, pdu_len);
if (pPdu->GetCommandId() == IM::BaseDefine::CID_OTHER_HEARTBEAT) {
return;
}
pdu_handler_t handler = s_handler_map->GetHandler(pPdu->GetCommandId());
if (handler) {
CTask* pTask = new CProxyTask(m_uuid, handler, pPdu);
g_thread_pool.AddTask(pTask);
} else {
log("no handler for packet type: %d", pPdu->GetCommandId());
}
}

解析接收到的PDU数据包，根据CommandId判断是否是心跳包，如果是心跳包直接丢失，不是心跳包则在CHandlerMap中获取对应CommandId的回调，创建一个新的CProxyTask任务类，将任务类随机的加入到工作线程的任务队列中。

void CThreadPool::AddTask(CTask* pTask)
{
/*
* select a random thread to push task
* we can also select a thread that has less task to do
* but that will scan the whole thread list and use thread lock to get each task size
*/
uint32_t thread_idx = random() % m_worker_size;
m_worker_list[thread_idx].PushTask(pTask);
}