在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 教程/ GO/ 12.4 備份和恢復
7 文本處理
3 Web基礎
14 擴展Web框架
10.4 小結
2.2 Go基礎
2.8 總結
6.1 session和cookie
5.5 使用beedb庫進行ORM開發(fā)
8.3 REST
13.6 小結
5.4 使用PostgreSQL數(shù)據(jù)庫
14.6 pprof支持
14.1 靜態(tài)文件支持
11.2 使用GDB調試
7.7 小結
1 GO環(huán)境配置
14.5 多語言支持
7.1 XML處理
1.5 總結
13 如何設計一個Web框架
14.3 表單及驗證支持
12 部署與維護
10 國際化和本地化
1.1 Go 安裝
6.2 Go如何使用session
5.6 NOSQL數(shù)據(jù)庫操作
6.5 小結
9.4 避免SQL注入
12.1 應用日志
4.2 驗證表單的輸入
10.1 設置默認地區(qū)
1.3 Go 命令
9.6 加密和解密數(shù)據(jù)
4.1 處理表單的輸入
4.4 防止多次遞交表單
11.3 Go怎么寫測試用例
8 Web服務
12.3 應用部署
5.7 小結
12.5 小結
11 錯誤處理,調試和測試
9.2 確保輸入過濾
14.2 Session支持
6.4 預防session劫持
12.4 備份和恢復
8.1 Socket編程
13.1 項目規(guī)劃
13.4 日志和配置設計
7.6 字符串處理
13.2 自定義路由器設計
6.3 session存儲
3.4 Go的http包詳解
8.2 WebSocket
10.3 國際化站點
7.5 文件操作
7.4 模板處理
9.1 預防CSRF攻擊
13.3 controller設計
2.6 interface
14.4 用戶認證
2.3 流程和函數(shù)
附錄A 參考資料
11.1 錯誤處理
9.5 存儲密碼
9.3 避免XSS攻擊
12.2 網(wǎng)站錯誤處理
6 session和數(shù)據(jù)存儲
2.4 struct類型
3.3 Go如何使得Web工作
2.5 面向對象
3.1 Web工作方式
1.2 GOPATH與工作空間
2.1 你好,Go
9.7 小結
13.5 實現(xiàn)博客的增刪改
7.2 JSON處理
10.2 本地化資源
7.3 正則處理
2 Go語言基礎
5.1 database/sql接口
4.5 處理文件上傳
8.5 小結
4.3 預防跨站腳本
5.3 使用SQLite數(shù)據(jù)庫
14.7 小結
3.2 Go搭建一個Web服務器
2.7 并發(fā)
5 訪問數(shù)據(jù)庫
4 表單
3.5 小結
1.4 Go開發(fā)工具
11.4 小結
9 安全與加密
5.2 使用MySQL數(shù)據(jù)庫
4.6 小結
8.4 RPC

12.4 備份和恢復

這小節(jié)我們要討論應用程序管理的另一個方面:生產服務器上數(shù)據(jù)的備份和恢復。我們經常會遇到生產服務器的網(wǎng)絡斷了、硬盤壞了、操作系統(tǒng)崩潰、或者數(shù)據(jù)庫不可用了等各種異常情況,所以維護人員需要對生產服務器上的應用和數(shù)據(jù)做好異地災備,冷備熱備的準備。在接下來的介紹中,講解了如何備份應用、如何備份/恢復Mysql數(shù)據(jù)庫和redis數(shù)據(jù)庫。

應用備份

在大多數(shù)集群環(huán)境下,Web應用程序基本不需要備份,因為這個其實就是一個代碼副本,我們在本地開發(fā)環(huán)境中,或者版本控制系統(tǒng)中已經保持這些代碼。但是很多時候,一些開發(fā)的站點需要用戶來上傳文件,那么我們需要對這些用戶上傳的文件進行備份。目前其實有一種合適的做法就是把和網(wǎng)站相關的需要存儲的文件存儲到云儲存,這樣即使系統(tǒng)崩潰,只要我們的文件還在云存儲上,至少數(shù)據(jù)不會丟失。

如果我們沒有采用云儲存的情況下,如何做到網(wǎng)站的備份呢?這里我們介紹一個文件同步工具rsync:rsync能夠實現(xiàn)網(wǎng)站的備份,不同系統(tǒng)的文件的同步,如果是windows的話,需要windows版本cwrsync。

rsync安裝

rysnc的官方網(wǎng)站:http://rsync.samba.org/ 可以從上面獲取最新版本的源碼。當然,因為rsync是一款非常有用的軟件,所以很多Linux的發(fā)行版本都將它收錄在內了。

軟件包安裝

# sudo apt-get  install  rsync  注:在debian、ubuntu 等在線安裝方法;
# yum install rsync    注:Fedora、Redhat、CentOS 等在線安裝方法;
# rpm -ivh rsync       注:Fedora、Redhat、CentOS 等rpm包安裝方法;

其它Linux發(fā)行版,請用相應的軟件包管理方法來安裝。源碼包安裝

tar xvf  rsync-xxx.tar.gz
cd rsync-xxx
./configure --prefix=/usr  ;make ;make install   注:在用源碼包編譯安裝之前,您得安裝gcc等編譯工具才行;

rsync配置

rsync主要有以下三個配置文件rsyncd.conf(主配置文件)、rsyncd.secrets(密碼文件)、rsyncd.motd(rysnc服務器信息)。

關于這幾個文件的配置大家可以參考官方網(wǎng)站或者其他介紹rsync的網(wǎng)站,下面介紹服務器端和客戶端如何開啟

  • 服務端開啟:

      #/usr/bin/rsync --daemon  --config=/etc/rsyncd.conf

    --daemon參數(shù)方式,是讓rsync以服務器模式運行。把rsync加入開機啟動

      echo 'rsync --daemon' >> /etc/rc.d/rc.local

    設置rsync密碼

      echo '你的用戶名:你的密碼' > /etc/rsyncd.secrets
      chmod 600 /etc/rsyncd.secrets
  • 客戶端同步:

    客戶端可以通過如下命令同步服務器上的文件:

      rsync -avzP  --delete  --password-file=rsyncd.secrets   用戶名@192.168.145.5::www /var/rsync/backup

    這條命令,簡要的說明一下幾個要點:

    1. -avzP是啥,讀者可以使用--help查看
    2. --delete 是為了比如A上刪除了一個文件,同步的時候,B會自動刪除相對應的文件
    3. --password-file 客戶端中/etc/rsyncd.secrets設置的密碼,要和服務端的 /etc/rsyncd.secrets 中的密碼一樣,這樣cron運行的時候,就不需要密碼了
    4. 這條命令中的"用戶名"為服務端的 /etc/rsyncd.secrets中的用戶名
    5. 這條命令中的 192.168.145.5 為服務端的IP地址
    6. ::www,注意是2個 : 號,www為服務端的配置文件 /etc/rsyncd.conf 中的[www],意思是根據(jù)服務端上的/etc/rsyncd.conf來同步其中的[www]段內容,一個 : 號的時候,用于不根據(jù)配置文件,直接同步指定目錄。

      為了讓同步實時性,可以設置crontab,保持rsync每分鐘同步,當然用戶也可以根據(jù)文件的重要程度設置不同的同步頻率。

MySQL備份

應用數(shù)據(jù)庫目前還是MySQL為主流,目前MySQL的備份有兩種方式:熱備份和冷備份,熱備份目前主要是采用master/slave方式(master/slave方式的同步目前主要用于數(shù)據(jù)庫讀寫分離,也可以用于熱備份數(shù)據(jù)),關于如何配置這方面的資料,大家可以找到很多。冷備份的話就是數(shù)據(jù)有一定的延遲,但是可以保證該時間段之前的數(shù)據(jù)完整,例如有些時候可能我們的誤操作引起了數(shù)據(jù)的丟失,那么master/slave模式是無法找回丟失數(shù)據(jù)的,但是通過冷備份可以部分恢復數(shù)據(jù)。

冷備份一般使用shell腳本來實現(xiàn)定時備份數(shù)據(jù)庫,然后通過上面介紹rsync同步非本地機房的一臺服務器。

下面這個是定時備份mysql的備份腳本,我們使用了mysqldump程序,這個命令可以把數(shù)據(jù)庫導出到一個文件中。

#!/bin/bash

# 以下配置信息請自己修改
mysql_user="USER" #MySQL備份用戶
mysql_password="PASSWORD" #MySQL備份用戶的密碼
mysql_host="localhost"
mysql_port="3306"
mysql_charset="utf8" #MySQL編碼
backup_db_arr=("db1" "db2") #要備份的數(shù)據(jù)庫名稱,多個用空格分開隔開 如("db1" "db2" "db3")
backup_location=/var/www/mysql  #備份數(shù)據(jù)存放位置,末尾請不要帶"/",此項可以保持默認,程序會自動創(chuàng)建文件夾
expire_backup_delete="ON" #是否開啟過期備份刪除 ON為開啟 OFF為關閉
expire_days=3 #過期時間天數(shù) 默認為三天,此項只有在expire_backup_delete開啟時有效

# 本行開始以下不需要修改
backup_time=`date +%Y%m%d%H%M`  #定義備份詳細時間
backup_Ymd=`date +%Y-%m-%d` #定義備份目錄中的年月日時間
backup_3ago=`date -d '3 days ago' +%Y-%m-%d` #3天之前的日期
backup_dir=$backup_location/$backup_Ymd  #備份文件夾全路徑
welcome_msg="Welcome to use MySQL backup tools!" #歡迎語

# 判斷MYSQL是否啟動,mysql沒有啟動則備份退出
mysql_ps=`ps -ef |grep mysql |wc -l`
mysql_listen=`netstat -an |grep LISTEN |grep $mysql_port|wc -l`
if [ [$mysql_ps == 0] -o [$mysql_listen == 0] ]; then
        echo "ERROR:MySQL is not running! backup stop!"
        exit
else
        echo $welcome_msg
fi

# 連接到mysql數(shù)據(jù)庫,無法連接則備份退出
mysql -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password <<end
use mysql;
select host,user from user where user='root' and host='localhost';
exit
end

flag=`echo $?`
if [ $flag != "0" ]; then
        echo "ERROR:Can't connect mysql server! backup stop!"
        exit
else
        echo "MySQL connect ok! Please wait......"
        # 判斷有沒有定義備份的數(shù)據(jù)庫,如果定義則開始備份,否則退出備份
        if [ "$backup_db_arr" != "" ];then
                #dbnames=$(cut -d ',' -f1-5 $backup_database)
                #echo "arr is (${backup_db_arr[@]})"
                for dbname in ${backup_db_arr[@]}
                do
                        echo "database $dbname backup start..."
                        `mkdir -p $backup_dir`
                        `mysqldump -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password $dbname --default-character-set=$mysql_charset | gzip > $backup_dir/$dbname-$backup_time.sql.gz`
                        flag=`echo $?`
                        if [ $flag == "0" ];then
                                echo "database $dbname success backup to $backup_dir/$dbname-$backup_time.sql.gz"
                        else
                                echo "database $dbname backup fail!"
                        fi

                done
        else
                echo "ERROR:No database to backup! backup stop"
                exit
        fi
        # 如果開啟了刪除過期備份,則進行刪除操作
        if [ "$expire_backup_delete" == "ON" -a  "$backup_location" != "" ];then
                 #`find $backup_location/ -type d -o -type f -ctime +$expire_days -exec rm -rf {} \;`
                 `find $backup_location/ -type d -mtime +$expire_days | xargs rm -rf`
                 echo "Expired backup data delete complete!"
        fi
        echo "All database backup success! Thank you!"
        exit
fi

修改shell腳本的屬性:

chmod 600 /root/mysql_backup.sh
chmod +x /root/mysql_backup.sh

設置好屬性之后,把命令加入crontab,我們設置了每天00:00定時自動備份,然后把備份的腳本目錄/var/www/mysql設置為rsync同步目錄。

00 00 * * * /root/mysql_backup.sh

MySQL恢復

前面介紹MySQL備份分為熱備份和冷備份,熱備份主要的目的是為了能夠實時的恢復,例如應用服務器出現(xiàn)了硬盤故障,那么我們可以通過修改配置文件把數(shù)據(jù)庫的讀取和寫入改成slave,這樣就可以盡量少時間的中斷服務。

但是有時候我們需要通過冷備份的SQL來進行數(shù)據(jù)恢復,既然有了數(shù)據(jù)庫的備份,就可以通過命令導入:

mysql -u username -p databse < backup.sql

可以看到,導出和導入數(shù)據(jù)庫數(shù)據(jù)都是相當簡單,不過如果還需要管理權限,或者其他的一些字符集的設置的話,可能會稍微復雜一些,但是這些都是可以通過一些命令來完成的。

redis備份

redis是目前我們使用最多的NoSQL,它的備份也分為兩種:熱備份和冷備份,redis也支持master/slave模式,所以我們的熱備份可以通過這種方式實現(xiàn),相應的配置大家可以參考官方的文檔配置,相當?shù)暮唵?。我們這里介紹冷備份的方式:redis其實會定時的把內存里面的緩存數(shù)據(jù)保存到數(shù)據(jù)庫文件里面,我們備份只要備份相應的文件就可以,就是利用前面介紹的rsync備份到非本地機房就可以實現(xiàn)。

redis恢復

redis的恢復分為熱備份恢復和冷備份恢復,熱備份恢復的目的和方法同MySQL的恢復一樣,只要修改應用的相應的數(shù)據(jù)庫連接即可。

但是有時候我們需要根據(jù)冷備份來恢復數(shù)據(jù),redis的冷備份恢復其實就是只要把保存的數(shù)據(jù)庫文件copy到redis的工作目錄,然后啟動redis就可以了,redis在啟動的時候會自動加載數(shù)據(jù)庫文件到內存中,啟動的速度根據(jù)數(shù)據(jù)庫的文件大小來決定。

小結

本小節(jié)介紹了我們的應用部分的備份和恢復,即如何做好災備,包括文件的備份、數(shù)據(jù)庫的備份。同時也介紹了使用rsync同步不同系統(tǒng)的文件,MySQL數(shù)據(jù)庫和redis數(shù)據(jù)庫的備份和恢復,希望通過本小節(jié)的介紹,能夠給作為開發(fā)的你對于線上產品的災備方案提供一個參考方案。