Python – RS485 + Modbus UART 半雙工切換傳送、接收教學

Posted on 2021-10-03 by hoyo

—

RS485

EIA-485 – 維基百科，自由的百科全書

雙線、半雙工，如果使用的是 TTL, UART 這類的訊號轉換器，需要自己控制傳送、接收切換，切換的好不好是關鍵

—

Modbus

Modbus – Wikipedia

RS485 大多使用 Modbus RTU，格式如下

Name	Length (bits)	Function
Start	28	At least 3½ character times of silence (mark condition)
Address	8	Station address
Function	8	Indicates the function code; e.g., read coils/holding registers
Data	n × 8	Data + length will be filled depending on the message type
CRC	16	Cyclic redundancy check
End	28	At least 3½ character times of silence between frames

—

CRC 參考資源

Modbus 通訊第一個程式門檻就是計算 CRC，這裡有大大寫好的可以直接套用

—

原始範例

from binascii import *

from crcmod import *

# CRC16-MODBUS

def crc16Add(read):

crc16 =crcmod.mkCrcFun(0x18005,rev=True,initCrc=0xFFFF,xorOut=0x0000)

data = read.replace(" ","")

readcrcout=hex(crc16(unhexlify(data))).upper()

str_list = list(readcrcout)

if len(str_list) < 6:

str_list.insert(2, '0'*(6-len(str_list))) # 位数不足补0

crc_data = "".join(str_list)

print(crc_data)

read = read.strip()+' '+crc_data[4:]+' '+crc_data[2:4]

print('CRC16校验:',crc_data[4:]+' '+crc_data[2:4])

print('增加Modbus CRC16校验：>>>',read)

return read

if __name__ == '__main__':

crc16Add("01 03 08 00 01 00 01 00 01 00 01")

crc16Add("ff")

—

list 陣列版

Best way to split a hexadecimal?

Python 使用 list 資料型態程式會比較靈活，因此實務上使用都是直接使用 list

from crcmod import *

def crc16_maxim(read):

r = bytes(bytearray(read))

crc16 = crcmod.mkCrcFun(0x18005, rev=True, initCrc=0xFFFF, xorOut=0x0000)

crc_hex = hex(crc16(r))

crc = divmod(int(crc_hex, 16), 0x100)

return [crc[1], crc[0]]

if __name__ == '__main__':

r = [1, 3, 0, 0, 0, 2]

rs_crc = crc16_maxim(r)

full_rs = r + rs_crc

print(full_rs) # [1, 3, 0, 0, 0, 2, 196, 11]

—

完整的 Modbus 範例

RS485 為半雙工通訊，讀取、寫入必須自己根據字元數計算後控制模式，時序控制非常重要，不能使用 .flush()，那是全雙工用的功能

from crcmod import *

import gpio

import serial

import time

rs_control = 6

gpio.setup(rs_control, 'out') # TR Pin

def crc16_maxim(read):

r = bytes(bytearray(read))

crc16 = crcmod.mkCrcFun(0x18005, rev=True, initCrc=0xFFFF, xorOut=0x0000)

crc_hex = hex(crc16(r))

crc = divmod(int(crc_hex, 16), 0x100)

return [crc[1], crc[0]]

if __name__ == '__main__':

r = [31, 3, 0, 0, 0, 2]

rs_crc = crc16_maxim(r)

full_rs = r + rs_crc

print(full_rs) # [31, 3, 0, 0, 0, 2, 199, 181]

py_serial = serial.Serial("/dev/ttyS1", baudrate=9600, timeout=0.5, writeTimeout=0.5, bytesize=8, parity='N', stopbits=1, rtscts=True, dsrdtr=True)

read_count = full_rs[5] * 2 + 5 # 計算接收字數

gpio.set(rs_control, 1) # RS485 切換成 out 送出

py_serial.write(full_rs) # 寫入資料

# py_serial.flush() # flush() 為全雙工使用功能，RS485 使用會有太晚切換掉資料問題

time.sleep(0.001 * (len(full_rs))) # 計算寫入等待時間字數*鮑率

gpio.set(rs_control, 0) # RS485 切換成 in 接收

read_data = b''

while 1:

r = py_serial.read()

read_data += r

if len(r) == 0:

break

else:

py_serial.timeout = 0.001 * 10

print(list(read_data)) # [31, 3, 4, 0, 25, 0, 25, 20, 63]

—

191 total views, 3 views today

MariaDB – 斷電資料庫無法啟動修復過程

Posted on 2021-09-06 by hoyo

—

MariaDB 版本 10.3.25 其他版本相關指令、操作不保證成功

—

當遇到 MariaDB 資料庫毀損時，Hoyo 使用了以下步驟恢復運作，此方法使用的是重建 mysql 資料庫的方式，使用者的資料庫必須有備份，等重建完成之後再恢復使用者帳號以及匯入資料庫備份

# mv /var/lib/mysql /var/lib/mysql0

# mysql_install_db

# mysql_secure_installation

# mysql -u root -p

CREATE USER 'user'@'%' IDENTIFIED BY 'password';

GRANT ALL PRIVILEGES ON *.* TO 'user'@'%' WITH GRANT OPTION;

FLUSH PRIVILEGES;

# mysql -u username -p database_name < file.sql

這個方法可行是可行，不過 mysql_secure_installation 這個指令需要人工干涉，所以要將流程自動化還需要調整

以下自動化參考了 /usr/bin/mysql_secure_installation 內作法

—

指定 mysql 執行時帳號、密碼

.my.cnf

[mysql]

user=root

password='password'

—

資料庫整理

刪除匿名帳號以及 test 資料庫，接下來就是自己的使用者帳號以及資料庫

fix.sql

DELETE FROM mysql.user WHERE User='';

DELETE FROM mysql.user WHERE User='root' AND Host NOT IN ('localhost', '127.0.0.1', '::1');

DELETE FROM mysql.db WHERE Db='test' OR Db='test\_%';

DROP DATABASE IF EXISTS test;

FLUSH PRIVILEGES;

CREATE DATABASE `table` DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_520_ci;

CREATE USER 'user'@'%' IDENTIFIED BY 'password';

GRANT ALL PRIVILEGES ON *.* TO 'DAE'@'%' WITH GRANT OPTION;

FLUSH PRIVILEGES;

—

重建及匯入

fix.sh

1	# chmod +x fix.sh

將資料庫停止服務
刪除整個資料庫目錄
執行 mysql_install_db 不能加參數，Hoyo 測試的結果是增加參數就無法正常執行
啟動資料庫服務
修改 root 密碼
將剛剛編輯的 fix.sql 匯入
解壓縮原先備份資料庫
將備份資料庫匯入

#!/usr/bin/env bash

systemctl stop mysql

rm -r /var/lib/mysql

mysql_install_db

systemctl start mysql

mysqladmin -u root password 'password'

mysql --defaults-file=/opt/Server/WWW/.my.cnf < /opt/Server/WWW/fix.sql

tar zxf /backup/db_backup.tgz -C /

mysql --defaults-file=/opt/Server/WWW/.my.cnf table < /backup/db_backup.sql

—

308 total views, 1 views today

使用 SSH 當作跳板瀏覽網頁

Posted on 2021-08-11 by hoyo

—

參考

How to Set up SSH SOCKS Tunnel for Private Browsing

Linux 電腦普遍沒有 UI 顯示而採用 SSH 這類的遠端管理方式，這篇介紹的是連到 SSH Server 後以此為跳台瀏覽網頁，說不清楚請看以下架構圖

(https://www.tunnelsup.com/how-to-create-ssh-tunnels/)

—

PuTTY

Session 一樣寫入連線主機的 IP & Port

Conection → SSH → Tunnels 增加本機常駐的 port ，Destination 選擇 Dynamic

—

plink (a command-line interface to the PuTTY back ends)

Download PuTTY: latest release (0.74)

如果使用 plink 就可以使用指令執行，不需要開啟 GUI

1	>plink -D 9005 -N -P 22 -pw "password" username@x.x.x.x

—

FoxyProxy

[突破辦公室網路] ssh tunnel + Firefox Foxy Proxy

為了讓瀏覽器可以快速切換 Proxy 環境或是增加可切換功能，可以使用 FoxyProxy 外掛套件，Chrom & FireFox 皆支援，basic 版本以 Hoyo 的需求就夠用了

手動設定勾選 SOCKS proxy，address : localhost，port 9005，也就是上面 -D 參數設定數字

使用時，點擊 FoxyProxy 圖示進行切換至 Use proxy Default for all URLs 即可使用 ssh tunnel 通道

—

344 total views, 5 views today

Linux – ZeroConfNetworking

Posted on 2021-07-28 by hoyo

—

Windows 設定 DHCP 時，沒有 DHCP 服務時會自己產生一個 169.254.x.x 的 IP，Linux 遇到沒有 DHCP 服務除了開機不斷重試浪費時間之外，失敗後什麼 IP 都沒有，導致臨時要使用 IP 連線都沒有辦法。

Linux 該如何在使用 DHCP 卻沒有 DHCP 分配 IP 的情況還可以像 Windows 產生一組 IP ？

—

參考資源

Windows 使用的是 Zero-configuration networking (zeroconf) 技術， RFC3927 ，Apple Bonjour 也是相同的技術

—

安裝

1	# apt-get install avahi-autoipd

Hoyo 在 DietPi 上測試時是裝 avahi-autoipd，網路上大多是教安裝 avahi-daemon，實際裝過不知道用途為何

avahi-autoipd 安裝完就完成了，預設設定有一些問題不過問題不大可以正常使用，Hoyo 是打算就這樣使用

—

實際使用

沒有 DHCP

root@DietPi:~# ifconfig

eth0: flags=4099<UP,BROADCAST,MULTICAST> mtu 1500

ether f6:10:e5:d0:32:3a txqueuelen 1000 (Ethernet)

RX packets 0 bytes 0 (0.0 B)

RX errors 0 dropped 0 overruns 0 frame 0

TX packets 0 bytes 0 (0.0 B)

TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

device interrupt 47

eth0:avahi: flags=4099<UP,BROADCAST,MULTICAST> mtu 1500

inet 169.254.7.53 netmask 255.255.0.0 broadcast 169.254.255.255

ether f6:10:e5:d0:32:3a txqueuelen 1000 (Ethernet)

device interrupt 47

接上網路線或是 DHCP 恢復後

root@DietPi:~# ifconfig

eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500

ether f6:10:e5:d0:32:3a txqueuelen 1000 (Ethernet)

RX packets 16 bytes 1264 (1.2 KiB)

RX errors 0 dropped 0 overruns 0 frame 0

TX packets 3 bytes 726 (726.0 B)

TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

device interrupt 47

eth0:avahi 網路會消失

—

設定檔

/etc/dhcp/dhclient-enter-hooks.d/avahi-autoipd

#!/bin/sh

# This file is part of avahi.

# avahi is free software; you can redistribute it and/or modify it

# under the terms of the GNU Lesser General Public License as

# published by the Free Software Foundation; either version 2 of the

# License, or (at your option) any later version.

# avahi is distributed in the hope that it will be useful, but WITHOUT

# ANY WARRANTY; without even the implied warranty of MERCHANTABILITY

# or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public

# License for more details.

# You should have received a copy of the GNU Lesser General Public

# License along with avahi; if not, write to the Free Software

# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307

# USA.

case "$reason" in

MEDIUM|ARPCHECK|ARPSEND|NBI)

;;

if [ -x /usr/sbin/avahi-autoipd ] && /usr/sbin/avahi-autoipd -c $interface; then

/usr/sbin/avahi-autoipd -k $interface 2> /dev/null

;;

EXPIRE|FAIL|TIMEOUT)

# Starting avahi-autoipd is left for the exit hook

;;

esac

—

問題

登入時需要 Ctrl + C 中斷

—

202 total views, no views today

CentOS 7 – 在 CentOS7 安裝 Python3.8.4

Posted on 2021-07-13 by hoyo

—

參考

—

安裝

How can I add the sqlite3 module to Python?

事前準備

1 2	# yum -y remove python3 # yum install sqlite-devel

如果有安裝舊版先移除，sqlite 要先安裝，否則 python3 裝完還需要重新 make 才能添加

# wget https://www.python.org/ftp/python/3.8.4/Python-3.8.4.tgz

# tar zxf Python-3.8.4.tgz

# cd Python-3.8.4

# yum update -y

# yum groupinstall -y 'Development Tools'

# yum install -y gcc openssl-devel bzip2-devel libffi-devel

# ./configure prefix=/usr/local/python3

# make && make install

# export PATH=$PATH:/usr/local/python3/bin/

—

模組安裝

1	# pip3 install paho-mqtt mysql-connector

—

264 total views, 1 views today

Hoyo 教你串 OAuth – Google 登入

Posted on 2021-07-07 by hoyo

JavaScript 登入

參考資源

使用 JavaScript 的好處是程式處理的份量較少，壞處是容易受瀏覽器影響

—

OAuth 2.0 用戶端 ID

Google APIs – API 和服務 – 憑證

從程式需求看來需要一個 client_id 也就是 OAuth 用戶端 ID，請按照路徑：建立憑證 → OAuth 用戶端 ID

—

完整程式範例

頁面載入時必須先執行 startApp() 進行登入按鈕初始化，然後指定的 id (GoogleLogin) 就會點擊才有功能

<a href="javascript:void(0);"><i class="fa fa-2x fa-google-plus-square"></i> Google 登入</a>

</div>

var googleUser = {};

var startApp = function() {

gapi.load('auth2', function(){

// Retrieve the singleton for the GoogleAuth library and set up the client.

auth2 = gapi.auth2.init({

client_id: '41386xxxx-i3093ieo0htqxxxxxxxx.apps.googleusercontent.com'

});

attachSignin(document.getElementById('GoogleLogin'));

});

};

startApp();

function attachSignin(element) {

//console.log(element.id);

auth2.attachClickHandler(element, {}, function(googleUser) {

onSignIn(googleUser);

}, function(error) {

alert(JSON.stringify(error, undefined, 2));

});

}

function onSignIn(googleUser) {

// Useful data for your client-side scripts:

var profile = googleUser.getBasicProfile();

$.ajax({

url: 'index.php?a=GoogleOauth&b=SignIn',

type: 'post',

dataType: 'json',

data: {

id: profile.getId(),

Name: profile.getName(),

Email: profile.getEmail(),

ImageURL: profile.getImageUrl()

success: function(json){

if ( json['Result'] ==true ){

window.localStorage.Token = json['Data']['Token'];

window.sessionStorage.Token = json['Data']['Token'];

}

});

console.log("ID: " + profile.getId()); // Don't send this directly to your server!

console.log('Full Name: ' + profile.getName());

console.log('Given Name: ' + profile.getGivenName());

console.log('Family Name: ' + profile.getFamilyName());

console.log("Image URL: " + profile.getImageUrl());

console.log("Email: " + profile.getEmail());

// The ID token you need to pass to your backend:

var id_token = googleUser.getAuthResponse().id_token;

console.log("ID Token: " + id_token);

}

</script>

—

PHP 後端登入

參考資源

使用後台處理

流程

註冊 Google 會員帳號
進入 https://console.cloud.google.com/
登入連結 https://accounts.google.com/o/oauth2/auth?
使用者同意後取得 code
拿 code 去換 access_token, https://accounts.google.com/o/oauth2/token ， Google 回傳的是 json 格式
將 json decode 後，使用 https://www.googleapis.com/oauth2/v1/tokeninfo?access_token= 進行解讀

1	http://hoyo.idv.tw/Member/Gplus.php?code=4/W74UH1UYG52Hb_GKYyuvt4nc_sc5LN1w1R_vm6zKS1o#

<?php

class Google

{

function __construct()

{

global $init;

$this->db = $init->MemberPDO();

$token_post = array(

"code" => $_GET['code'],

"client_id" => '41386861907-i3093ieo0htqj96rut34op8np229givs.apps.googleusercontent.com',

"client_secret" => '3ez9_4R6V4o2m0BAPHHRXR0_',

"redirect_uri" => 'https://member.hoyo.idv.tw/Google.php',

"grant_type" => "authorization_code"

);

// https://accounts.google.com/o/oauth2/token https://accounts.google.com/o/oauth2/token

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, 'https://www.googleapis.com/oauth2/v4/token');

curl_setopt($ch, CURLOPT_POSTFIELDS, $token_post); // G+ 使用 POST

curl_setopt($ch, CURLOPT_RETURNTRANSFER , 1);

$response = curl_exec($ch); // 回傳 access_token

curl_close($ch);

//echo $response;

$s = json_decode($response, true);

print_r($s);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, 'https://www.googleapis.com/oauth2/v1/tokeninfo?access_token='. $s['access_token']);

curl_setopt($ch, CURLOPT_RETURNTRANSFER , 1);

$Get_info = curl_exec($ch);

curl_close($ch);

print_r($Get_info);

}

new Google();

和 Facebook 不同的是，Google Plus 在用 code 換 access_token 時，使用 HTTP POST 丟值過去

stdClass Object

(

[issued_to] => 41386861907-ifoai1gad8ptki6mqpucmm4b2g91nk8f.apps.googleusercontent.com

[audience] => 41386861907-ifoai1gad8ptki6mqpucmm4b2g91nk8f.apps.googleusercontent.com

[user_id] => 103373531557133723975

[scope] => https://www.googleapis.com/auth/userinfo.profile https://www.googleapis.com/auth/userinfo.email

[expires_in] => 3598

[email] => pc@hoyo.idv.tw

[verified_email] => 1

[access_type] => online

)

—

148 total views, 1 views today

伏地挺身 – 100 下 100 天

Posted on 2021-07-03 by hoyo

—

結束感想

漫長的 100 天總算完成了，總數超過 10000 多一點點，中間無法執行缺的次數都有另外補上。

這種長時間的運動企劃最怕的就是受傷，後期右手腕有點受傷，撐著時用力不當就會痛，就只能將重心偏左來規避。

做了一萬次伏地挺身才對這個動作有一些理解，難怪健身需要教練，重點就是調整動作有效率也不會運動傷害，最後也不能做拍手伏地挺身，做到兩萬次的時候再試試看好了

—

100

101

102

103

104

105

106

107

108

109

110

111

-- 1

03/26 100

03/27 100

03/28 100

03/29 95

03/30 15 15 15 15 15 15 15

03/31 10 15 10 15 15 15 10 17

04/01 15 15 15 15 15 15 15 10 10

04/02 15 15 15 15 15 15

04/03 15 15 15 15 15 15 15

04/04 15 15 15 20 15 15 (發現可以做鑽石伏地挺身)

-- 2

04/05 10 10 15 15 15 10 15 15 (改做館長的標準姿勢，很有感覺)

04/06 15 10 15 15 15 15 15 15

04/07 15 12 13 10 15 15 13 15

04/08 15 15 20 20 10 20

04/09 10 15 15 15 20 15 15

04/10 15 20 17 17 15 10 17

04/11 10 15 15 15 15 15 15 15

04/12 15 20 20 20 20 15

04/13 15 15 15 15 15 15 15

04/14 15 15 15 15 15 15 15

-- 3

04/15 15 15 15 20 15 10 15

04/16 15 20 20 15 15 15 (虎口朝前，手掌方位決定整體姿勢)

04/17 15 20 15 15 15 20

04/18 15 20 15 20 15 15

04/19 15 15 15 15 15 15 15

04/20 15 20 20 20 20 15 (嘗試拍手失敗了)

04/21 15 15 15 20 15 15

04/22 15 20 20 20 20

04/23 15 15 20 10 15 15

04/24 10 10 15 20 20 20 5

-- 4

04/25 15 15 20 15 15 15

04/26 15 15 15 15 15 15

04/27 15 15 15 15 20 20

04/28 15 20 15 20 20 20

04/29 15 15 15 10 15 20

04/30 15 15 15 15 15 20 20

05/01 15 20 15 15 15 20 (手掌用力，手指平行)

05/02 20 20 20 20 20

05/03 20 15 20 15 15 15

05/04 15 20 20 20 20

-- 5

05/05 15 15 15 15 15 15 15 10

05/06 20 15 15 15 15 15

05/07 15 15 20 15 15

05/08 15

05/09 15 15 15 15 15 15 15

05/10 15 20 15 15 15 20 20

05/11 15 20 20 15 15 15

05/12 15 15 15 15 15 15 15

05/13 15 15 15 15 15 15 15

05/14 15 15 15 15 15 20 15

-- 6

05/15 15 15 10 15 15 15 15 (腳墊高到桌子 10)

05/16 15 15 20 15 15 15 10

05/17 10 15 15 15 15 15 15

05/18 10 20 15 15 15 15 15

05/19 20 20 15 15 15 20

05/20 15 15 20 15 15 15 20 (手掌稍微外八)

05/21 15 15 15 15 15 15 15

05/22 10 15 15 15 20 15

05/23 10 15 15 15 15 15 15

05/24 15 15 15 15 15 15 15

-- 7

05/25 10 15 25 20 20 20

05/26 10 15 15 20 15 15 15

05/27

05/28 10 15 15 15 15 15 15

05/29 10 20 15 15 15 15 15 (使用背部擠壓減輕手腕施力)

05/30 10 15 15 15 15 15 15

05/31 10 15 15 15 15 15 15

06/01 10 15 15 15 15 15 15 15 (腹部、背部肌肉繃緊)

06/02 10 15 10 15 15 15 15

06/03 10 15 10 15 15 15 15 15

-- 8

06/04 10 15 15 15 15 15 15

06/05 10 10 15 15 15 15

06/06 15 15 15 15 15 15 15

06/07 10 15 15 15 15 15 15 15

06/08 10 20 15 15 15 15 15

06/09 10 15 15 15 15 15 15

06/10 10 15 15 15 15 15 15

06/11 10 15 15 15 15 15 15 15

06/12 10 15

06/13 10 15 15 10 15 15 15 15 15 15 15

-- 9

06/14 10 15 15 15 15 15 15

06/15 15 15 15 15 15 15 15

06/16 10 15 15 15 15 15 15

06/17 10 10 10 15 15 15 15 15

06/18 10 15 15 15 15 15 15

06/19 10 15 15 15 15 15 15

06/20 10 15 15 15 15 15 15

06/21 15 15 15 15 15 15 15

06/22 15 15 15 15 15 15 15

06/23 15 15 15 15 15 15 15

-- 10

06/24 15 15 15 15 15 15 15

06/25 15 15 15 15 15 15 15 (準備動作要確實)

06/26 10 15 15 15 15 15 15 (9351)

06/27 15 15 15 15 15 20 15

06/28 10 15 20 20 20 15

06/29 10 20 15 15 15 15 20 20

06/30 10 15 15 15 10 20 20

07/01 15 20 15 20 15 15 10

07/02 10 15 15 15 15 15 15

07/03 10 15 15 15 15 15 15

—

126 total views, 2 views today

CentOS 7 – 使用 Liberoffice 將 Office 轉換 PDF

Posted on 2021-06-28 by hoyo

—

參考

—

安裝、中文化設定

1 2	# yum install libreoffice-headless # yum groupinstall "fonts"

檢查語系設定

1	vi /etc/locale.conf

1	LANG="zh_TW.UTF-8"

套用

1	# source /etc/locale.conf

—

轉換

首先依據來源文件安裝對應程式，例如試算表 calc

1 2	# yum install libreoffice-calc # libreoffice --headless --convert-to pdf a.xls

—

從網頁執行

php libreoffice shell_exec not working

除了需要設定一個網頁 apache 可以寫入的目錄外，還要注意 SELinux 是否已經關閉

—

Windows CLI

Using the –convert-to command-line function to convert formats under Windows 10

1	"C:\Program Files\LibreOffice\program\soffice.exe" --convert-to pdf test.xls

—

147 total views, 2 views today

Linux – SD 壽命寫入控制

Posted on 2021-05-20 by hoyo

—

為了控制 SD 卡寫入次數限制達到最佳使用壽命，所以 Hoyo 先將自己開發的程式另外一個分割區，再把原系統分割區設定為唯讀，只要確定程式分割區所有的寫入動作皆在預想之下，如此就可以達到目的。

—

得知最近有被寫入的檔案

使用前記得校時

1	# ntpdate tock.stdtime.gov.tw

找出最近一個小時內有被寫入的檔案

1	# find / ! -path '/proc/*' -mmin -60 -type f

/run/log/journal/babb6c5f23fe45fc86696504cbbc02d1/system.journal

/run/log/journal/babb6c5f23fe45fc86696504cbbc02d1/system@78ea610d7c7f43a08aa207a7516a2447-0000000000020253-0005c2402715397b.journal

/run/log/journal/babb6c5f23fe45fc86696504cbbc02d1/system@78ea610d7c7f43a08aa207a7516a2447-000000000001fe35-0005c24008e25ccc.journal

/sys/fs/cgroup/systemd/system.slice/run-user-1001.mount/cgroup.clone_children

/sys/fs/cgroup/systemd/system.slice/run-user-1001.mount/tasks

/sys/fs/cgroup/systemd/system.slice/run-user-1001.mount/notify_on_release

/sys/fs/cgroup/systemd/system.slice/run-user-1001.mount/cgroup.procs

/var/cache/apt/pkgcache.bin

/var/cache/motd-news

/var/lib/apt/daily_lock

/var/lib/systemd/timers/stamp-apt-daily.timer

/var/lib/systemd/timers/stamp-motd-news.timer

/var/lib/systemd/timers/stamp-apt-daily-upgrade.timer

-mtime 檔案有修改，單位：天
-mmin 檔案有修改，單位：分鐘

修正後

1	# find / ! -path '/proc/' ! -path '/run/' ! -path '/sys/*' -mmin -60 -type f

—

記憶體檔案

What is in /dev, /proc and /sys?

為什麼要排除 /proc /run /sys ？首先可以看一下 df 資訊

# df -h

Filesystem Size Used Avail Use% Mounted on

udev 210M 0 210M 0% /dev

tmpfs 50M 5.9M 44M 12% /run

/dev/mmcblk0p2 2.1G 1.8G 280M 87% /

tmpfs 246M 0 246M 0% /dev/shm

tmpfs 5.0M 4.0K 5.0M 1% /run/lock

tmpfs 246M 0 246M 0% /sys/fs/cgroup

/dev/mmcblk0p1 40M 12M 29M 30% /boot

/dev/mmcblk0p3 477M 71M 377M 16% /opt/Gateway

tmpfs 50M 0 50M 0% /run/user/1000

tmpfs 50M 0 50M 0% /run/user/1001

可以知道系統預設掛載了很多 tmpfs 也就是使用記憶體的路徑，除了記憶體之外也有很多虛擬的檔案資訊，例如 /proc /sys ，這些路徑當然也是要排除

—

資料庫

原先使用 SQLite，使用前先將檔案複製到記憶體再從記憶體存取，當需要異動資料時再從記憶體複製到 SD 卡，這樣從邏輯也是控制了寫入，不過後來遇到頻繁遇到資料庫毀損以及最嚴重的 database disk image is malformed 問題，就改成使用 JSON 當作資料的儲存載體，當然需要犧牲一些系統功能，不過在這種應用穩定以及將問題可控制才是最重要的

(後來找到了 TinyDB 這種好像也是使用 JSON 為載體的資料儲存方式)

—

488 total views, 1 views today

大量 3306 TIME_WAIT 的邪道解法

Posted on 2021-04-21 by hoyo

—

不知道會不會衍生其他問題，有後續狀況再更新

—

1	# netstat -anltp

出現大量的 TIME_WAIT 大概長這樣

tcp 0 0 127.0.0.1:51724 127.0.0.1:3306 TIME_WAIT -

tcp 0 0 127.0.0.1:3306 127.0.0.1:52010 TIME_WAIT -

tcp 0 0 127.0.0.1:3306 127.0.0.1:51632 TIME_WAIT -

tcp 0 0 127.0.0.1:51904 127.0.0.1:3306 TIME_WAIT -

tcp 0 0 127.0.0.1:51410 127.0.0.1:3306 TIME_WAIT -

tcp 0 0 127.0.0.1:51836 127.0.0.1:3306 TIME_WAIT -

tcp 0 0 127.0.0.1:51442 127.0.0.1:3306 TIME_WAIT -

tcp 0 0 127.0.0.1:51936 127.0.0.1:3306 TIME_WAIT -

tcp 0 0 127.0.0.1:3306 127.0.0.1:51638 TIME_WAIT -

tcp 0 0 127.0.0.1:52066 127.0.0.1:3306 TIME_WAIT -

tcp 0 0 127.0.0.1:51306 127.0.0.1:3306 TIME_WAIT -

通常 Google 找到的資料是這樣

linux 大量的TIME_WAIT解决办法

vi /etc/sysctl.conf

net.ipv4.tcp_syncookies = 1

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_fin_timeout = 30

# sysctl -p

# netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

CLOSE_WAIT 2

ESTABLISHED 38

TIME_WAIT 444

會噴 cannot stat /proc/sys/net/ipv4/tcp_tw_recycle: No such file or directory 錯誤，而且問題沒有改善，可以得知關鍵就是 tcp_tw_recycle 這個參數，只好繼續找答案

被抛弃的tcp_recycle

vi /etc/sysctl.conf

net.ipv4.tcp_max_tw_buckets = 100

# sysctl -p

# netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

LAST_ACK 1

CLOSE_WAIT 2

ESTABLISHED 38

TIME_WAIT 100

sysctl -p 設定啟用

—

418 total views, 2 views today