MySQL – 匯出、匯入

Posted on 2019-05-02 by hoyo

匯出資料庫

[教學] MariaDB/MySQL備份 – 如何匯出、匯入資料庫或表格

1	# mysqldump -u 使用者名稱 -p 資料庫名稱 > db.sql

—

使用 .sql 匯入資料庫

How to import an SQL file using the command line in MySQL?

1	# mysql -u username -p database_name < file.sql

—

使用 phpMyAdmin 匯入有 foreign key 的資料表處理方案

匯入 fk 資料表時，就算所有關聯資料表一起匯入也會因為順序不一致而發生

1	Cannot add or update a child row: a foreign key constraint fails

這個錯誤

從網站上可以查詢到必須設定 SET FOREIGN_KEY_CHECKS=0; ，但是使用 SQL 指令執行後再使用 SELECT @@FOREIGN_KEY_CHECKS; 查看會發現還是 1 ，也就是沒有被關閉

解決的方法是修改匯入 .sql 檔案，在最開頭加上 SET FOREIGN_KEY_CHECKS=0; 以及結尾加上 SET FOREIGN_KEY_CHECKS=1;

類似像這樣

SET FOREIGN_KEY_CHECKS=0;

-- 原來的 SQL 指令

SET FOREIGN_KEY_CHECKS=1;

—

使用 LOAD DATA 匯入 CSV 檔案

直接匯入 CSV 檔案到 MySQL 資料庫

—

實際範例

1	LOAD DATA LOCAL INFILE '/tmp/a.csv' INTO TABLE UserTemp FIELDS TERMINATED BY ',' ENCLOSED BY '\"' LINES TERMINATED BY '\r\n' IGNORE 1 LINES ( id, Name, position, `group`, recommend, IDNumber, Email, phone, city, province, JoinDate, ServerNo, status, status2 );

需要注意指令順序

—

效能

如果可以使用 LOAD DATA 一定會比使用程式拆解後逐筆插入快，五萬筆的匯入在小白 MacBook 上也只需不到 3 秒

mysql> LOAD DATA LOCAL INFILE '/tmp/b.csv' INTO TABLE UserTemp FIELDS TERMINATED BY ',' ENCLOSED BY '\"' LINES TERMINATED BY '\r\n' IGNORE 1 LINES ( id, Name, position, `group`, recommend, IDNumber, Email, phone, city, province, JoinDate, ServerNo, status, status2 );

Query OK, 57378 rows affected, 3 warnings (2.75 sec)

Records: 57378 Deleted: 0 Skipped: 0 Warnings: 0

—

ERROR 1045 (28000): Access denied for user ‘XXXXX’@’%’ (using password: YES)

access denied for load data infile in MySQL

將 LOAD DATA INFILE 改成 LOAD DATA LOCAL INFILE

—

268 total views, 4 views today

.htaccess 轉址

Posted on 2019-04-19 by hoyo

—

404 轉到某一頁

1 2	RewriteEngine on ErrorDocument 404 https://www.oikid.com

—

轉到 HTTPS://

1 2	RewriteCond %{SERVER_PORT} !^443$ RewriteRule ^(.*)?$ https://%{SERVER_NAME}/$1 [L,R]

—

將 A 網站的網頁對應到 B 網站的同一網頁

1 2	RewriteEngine on RewriteRule ^.*$ https://www.b.com%{REQUEST_URI} [L,R]

—

RewriteCond 建立條件

RewriteCond 可以先對網址分析，符合條件才進行處理

Redirect non-www to www in .htaccess

1 2	RewriteCond %{HTTP_HOST} ^hoyo.idv.tw$ [NC] RewriteRule (.*) https://www.hoyo.idv.tw/$1 [R=301,L]

—

Log

紀錄 Log 設定只能寫在 httpd.conf 內，不是寫在 .htaccess

Log 只在作用時紀錄，500 錯誤的設定是沒有紀錄的，意思就是還是要靠自己用猜的除錯

ServerName hoyo.idv.tw

DocumentRoot /WEBSite/www/WWW

RewriteLogLevel 3

RewriteLog "/var/log/httpd/htaccess.log"

AllowOverride All

</Directory>

</VirtualHost>

—

114 total views, 1 views today

Postfix 使用 MySQL 資料庫虛擬使用者 – 2. mysql:/etc/postfix/mysql-virtual-maps.cf

Posted on 2019-04-18 by hoyo

雖然使用 virtual_mailbox_maps = /etc/postfix/virtual 對應到一個文字檔案管理帳號資訊，確實可以減少新增維護實體本機帳號的工作以及避免不必要的資安問題，不過人都是不滿足的，每次都要先 vi 一下再 postmap 實在是太麻煩了，有更方便的方式嗎？

不妨試試使用 MySQL 資料庫來管理帳號 …

—

參考

轉換為 MySQL 資料庫當作使用者帳號是以 Postfix 使用虛擬使用者 – 1. /etc/postfix/virtual 基礎來修改，所以請從頭實做

—

MySQL 資料庫的準備

使用者帳號資料表

CREATE TABLE `UserAlias` (

`id` int(11) NOT NULL COMMENT '主鍵',

`Create_Time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '建立時間',

`LifeTime` datetime NOT NULL,

`Session_id` varchar(100) NOT NULL,

`Email` varchar(200) NOT NULL,

`MailBox` varchar(100) NOT NULL,

`Password` char(40) NOT NULL,

`SpaceLimit` int(11) NOT NULL DEFAULT '10485760' COMMENT '空間限制',

`SentLimit` int(11) NOT NULL DEFAULT '3' COMMENT '每日寄信限制',

`is_Active` enum('Y','N') NOT NULL DEFAULT 'Y'

) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='--使用者帳號^';

信件資料表

CREATE TABLE `Inbox` (

`id` int(11) NOT NULL COMMENT '主鍵',

`Create_Time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '建立時間',

`Source` mediumtext NOT NULL,

`message_id` varchar(255) NOT NULL,

`To` varchar(255) NOT NULL,

`From` varchar(512) NOT NULL,

`FromName` varchar(100) NOT NULL,

`FromEmail` varchar(200) NOT NULL,

`Subject` text NOT NULL,

`ContentTEXT` mediumtext NOT NULL,

`ContentHTML` mediumtext NOT NULL,

`is_Read` enum('Y','N') NOT NULL DEFAULT 'N' COMMENT '是否讀取信件',

`is_Del` enum('Y','N') CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL DEFAULT 'N' COMMENT '是否刪除'

) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='--收件匣^';

附件資料表

CREATE TABLE `Attachment` (

`id` int(11) NOT NULL COMMENT '主鍵',

`Create_Time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '建立時間',

`Inbox_id` int(11) NOT NULL,

`Filename` varchar(1024) NOT NULL,

`SubName` varchar(10) NOT NULL,

`FilePath` varchar(100) NOT NULL

) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='附件';

—

Postfix 設定

vi /etc/postfix/main.cf

# vi /etc/postfix/main.cf

#virtual_mailbox_maps = hash:/etc/postfix/virtual

virtual_mailbox_maps = mysql:/etc/postfix/mysql-aliases.cf

vi /etc/postfix/mysql-virtual-maps.cf

# vi /etc/postfix/mysql-virtual-maps.cf

user = Postfix

password = Postfix

dbname = Postfix

query = SELECT '%d/%u/' FROM `UserAlias` WHERE Email='%s' AND is_Active='Y'

重新啟動 postfix

CentOS 7

1	# systemctl restart postfix

CentOS 6

1	# postfix reload

使用 postfix reload 可以直接看到回傳訊息

—

測試是否可取得值，以及是取到什麼值？

1 2	# postmap -q aaa@mail.mj-app.com.tw mysql:/etc/postfix/mysql-virtual-maps.cf mail.mj-app.com.tw/aaa/

—

CentOS 6: postfix/smtpd: warning: connect to mysql server localhost: Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (2)

修改 /etc/postfix/mysql-virtual-maps.cf 增加 hosts 的參數並且輸入連接的位址

# vi /etc/postfix/mysql-virtual-maps.cf

user = Postfix

password = Postfix

dbname = Postfix

hosts = 127.0.0.1

query = SELECT '%d/%u/' FROM UserAlias WHERE Email='%s' AND is_Active='Y';

—

38 total views, 2 views today

Google – 結構化資料 (application/ld+json)

Posted on 2019-04-16 by hoyo

【教學】教你如何使用 Google Search 結構化資料

Google 搜尋結果這些附加資訊是如何產生的？

—

露天範例

{

"@context": "http://schema.org/",

"@type": "Product",

"name": "Toshiba L750 筆電",

"image": "https://img.ruten.com.tw/s1/8/06/b3/99999.jpg",

"description": "直購價：4,500元。物品狀態：xxxxx",

"productId": "99999",

"brand": {

"@type": "xxx",

"name": "xxxxx"

"offers": {

"@type": "Offer",

"priceCurrency": "TWD",

"price": "4500",

"availability": "http://schema.org/InStock"

}

</script>

—

臉書評分範例

decode

(

[@context] => http://schema.org

[@type] => LocalBusiness

[name] => 台南蔡虱目魚專賣（小北總店）

[address] => stdClass Object

(

[@type] => PostalAddress

[streetAddress] => 西門路四段236號

[addressLocality] => 台南市

[addressRegion] => Tainan

[postalCode] => 704

)

[aggregateRating] => stdClass Object

(

[@type] => AggregateRating

[ratingValue] => 4.3

[ratingCount] => 34

)

—

34 total views, no views today

MySQL – /etc/my.cnf

Posted on 2019-04-08 by hoyo

設定時區

1 2	[mysqld] default-time-zone = '+8:00'

—

最大連線數

1 2	[mysqld] max_connections=1024

重新啟動 MySQL 後使用 SQL 指令查詢是否生效

1	SHOW GLOBAL VARIABLES LIKE '%max_connecti%'

—

CentOS 7 + MySQL 5.6 max_connections 214 問題

Hoyo 只修改了 mysqld.service 即可讓「數字正常」，沒有修改系統 Open File Limit 是否有影響需要後續觀察

# vi /usr/lib/systemd/system/mysqld.service

[Service]

LimitNOFILE=65535

LimitNPROC=65535

# systemctl daemon-reload

# systemctl restart mysqld.service

—

開啟 log

開啟 general-log 功能可以紀錄 MySQL 所有執行的 SQL 指令，

1	show variables like 'log';

編輯 my.cnf

[mysqld]

general-log = 1 # 打開 General Log

log_output=TABLE # 將 Log 儲存在 mysql 資料庫內的 general_log 資料表內

使用 SQL 指令修改 Log 狀態

1	SET GLOBAL general_log = 'ON';

—

修改語系為 UTF8

[mysqld]

init-connect = 'SET NAMES utf8'

character-set-server = utf8

collation-server = utf8_unicode_ci

[client]

default-character-set=utf8

character-set-server = utf8 → collation_server : utf8_general_ci
collation-server = utf8_unicode_ci → collation_server : utf8_unicode_ci

—

將 SQL mode 移除預設嚴格模式

1 2	[mysqld] sql_mode=

—

InnoDB 如何分區區分檔案

vi /etc/my.cnf

[mysqld]

innodb_file_per_table=1

—

常駐 IP

1 2	[mysqld] bind-address = 0.0.0.0

—

修改 wait_timeout

MySQL中的配置参数interactive_timeout和wait_timeout(可能导致过多sleep进程的两个参数)

[mysqld]

wait_timeout = 600

interactive_timeout = 600

—

53 total views, no views today

phpQuery – 讓 PHP 內的 HTML 消失

Posted on 2019-04-08 by hoyo

參考資源

phpquery

—

如果你以後不想寫像下面這種 HTML, PHP 混在一起的爛程式，請繼續往下看，否則可以關掉網頁了

以下是一個判斷是否有登入會員之後顯示不同內容的網頁

<html>

<body>

<?php

if ( $_SESSION['Login'] !='Y' ) {

<?php

}

else {

<hr/>

<?php

}

</body>

</html>

—

將所有內容設計在前端 HTML 內

為了讓 PHP 滾出 HTML，這裡不使用其他 PHP 模板，因為那只是另一種混用的方式，而且模板不同語法還不同又產生了新的問題

直接讓前端設計一個可以切換顯示結果的機制，然後將切換的方式交給 PHP 即可，例如以下的切換 class 顯示控制方式

使用 class=”Login” 判斷是登入才可以顯示內容；class=”Logout” 是未登入顯示內容，未登入時將所有已登入內容移除，登入後反之

<html>

<head>

</head>

<body>

<div class="Login">{{UserName}}</div>

$('.Login').remove();

</script>

</body>

</html>

只要控制 remove() 對象即可切換是否登入會員內容，接下來就是將 jQuery 的動作交給 phpQuery 來做

—

讓 PHP 控制 DOM

以上面的例子為例，可以移除底下的 JavaScript 控制，準備讓 PHP 來做相同的事情

<html>

<body>

<div class="Login">{{UserName}}</div>

</body>

</html>

PHP 代碼

將 HTML 讀入之後，根據 session 結果套用和 jQuery 對應功能

<?php

require_once '/www/phpQuery-onefile.php';

$html = file_get_contents('/www/index.html');

$html = str_replace('{{webRoot}}', webRoot, $html);

$dom = phpQuery::newDocumentHTML($html);

// 已登入

if ( $_SESSION['Login'] =='Y' ){

$dom->find('.Logout')->remove();

$dom = str_replace('{{UserName}}', 'Hoyo', $dom);

}

// 未登入

else{

$dom->find('.Login')->remove();

}

echo $dom;

使用 phpQuery 即可讓前端 HTML 擁有完全控制網頁輸出內容的能力

—

32 total views, no views today

hoyo 學習紀錄

PHP 網頁應用 IOT 物聯網自動化

Author Archives: hoyo

MySQL – 匯出、匯入

匯出資料庫

使用 .sql 匯入資料庫

使用 phpMyAdmin 匯入有 foreign key 的資料表處理方案

實際範例

效能

ERROR 1045 (28000): Access denied for user ‘XXXXX’@’%’ (using password: YES)

.htaccess 轉址

404 轉到某一頁

轉到 HTTPS://

將 A 網站的網頁對應到 B 網站的同一網頁

RewriteCond 建立條件

Log

Postfix 使用 MySQL 資料庫虛擬使用者 – 2. mysql:/etc/postfix/mysql-virtual-maps.cf

參考

MySQL 資料庫的準備

Postfix 設定

測試是否可取得值，以及是取到什麼值？

CentOS 6: postfix/smtpd: warning: connect to mysql server localhost: Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (2)

Google – 結構化資料 (application/ld+json)

露天範例

臉書評分範例

MySQL – /etc/my.cnf

設定時區

最大連線數

CentOS 7 + MySQL 5.6 max_connections 214 問題

開啟 log

修改語系為 UTF8

將 SQL mode 移除預設嚴格模式

InnoDB 如何分區區分檔案

常駐 IP

修改 wait_timeout

phpQuery – 讓 PHP 內的 HTML 消失

參考資源

將所有內容設計在前端 HTML 內

讓 PHP 控制 DOM