廣東地區, 有了移動還要上電信 20M, 全局牆外用戶.....

[kennylam777]

近期這地方要搞光纖全市覆蓋, 所在小區終於有電信光纖, 以前只能用 ADSL, 近年有廣電 Cable modem(移動)總算好了不少, 但 Cable modem 的速度在夜晚還是比較差, 移動現時的計劃是 4M 對等, 但最大下行只能到 8Mbps 。而廣東電信光纖還有 100M 的提速包可用, 市政提速下 1100 包年有 20M(上行 1M)就裝了一條試試。

電信到百度網盤, 由城域網到百度 AS 一段走的 202.97, 配合 VIP 帳好可以盡用頻寬到 10MB/s, 而且還有公網的 IPv4, 尚算能用。但主力是 FB 及 YouTube 等牆外網站, 國內連線 1Gbps 也沒有興趣, 不看優酷土豆樂視......

反正現有移動 4M 對等可算是隨數字電視附送的, 不吃白不吃, 而且繁忙時間廣東到香港的 RTT, CMNet 比 ChinaNet 快多了, 所以突發奇想: 20M/1 + 4M/4 能不能組成下行 20M/上行 4M 的奇葩組合呢?

一般雙 ISP 要組成叠加下行也不太可能, 但如果上下行完全分家, 走不同的 VPN tunnel, 那是有可能的, 因為家中 VPN 有作完整的私網 subnet 分隔, 也有 OSPF 自動路由交換, 只要把牆內的私網 subnet 出入口 cost 調整一下就可以。

整個玩法用了 4 台路由器
香港: pfSense
廣東電信: Linux
廣東移動: Linux
廣東家 subnet: RouterBoard

兩台 Linux 直連 ISP, 只帶 VPN Tunnel 不參與其中的 IP 交換, RouterBoard 就在這兩台 Linux 路由器後用 OSPF 接收路由訊息, 把經移動一邊 Tunnel 的 cost 調得比電信 Tunnel 低(調高優先), 而香港一邊就把電信方向的 Tunnel cost 調低(調高優先), 這樣就可以把私網 subnet 的 packet 由電信光纖進, 用移動出, Tunnel 內 packet 只作單向流動。

結果還不錯(HKIX1)


有趣的是, 在繁忙時間單跑電信 Tunnel 時, RTT 會暴增到 100ms 以上, 但打開移動 Tunnel 作上行時, RTT 就可以壓回 20ms 內, 看來電信在繁忙時間對香港 PoP 是流出的多。

不過, 繁忙時間的廣東電信國際出口(香港->廣東)很不穩定, 有時候只剩下 4Mbps, 長期保持高流量的話更會壓到 2Mbps 左右, 但休息一會又可以跑出 8Mbps 。而廣東移動就沒有這種問題, 持續保持 4Mbps 流量也沒在管, 牆這東西還真是各有特色。

在這種特性下, 看 YouTube 1080P 這種分段爆發流量(DASH/HLS)的視頻還是可以的, RTMP 的細水長流可能會有麻煩。

[kennylam777]

還要給廣東移動吐個嘈: DNS 污染真心煩, 直接在該台路由器用 AliDNS 才解決國外私人.com 的解析問題。

[kennylam777]

要給廣東電信吐槽的是: 往國外方向掉包嚴重, 回國內方向卻比較好, 這種質量還要打著坐擁全球最多中文內容, 向外國 ISP 收取鉅額 Private Peering 費用, 真不要臉。

[yexm0]

主要是有些无聊人士玩 DDCC 玩上瘾了,如果把这些流量都干掉那中国往国外方向的网就会好很多.
下面这张是 softlayer 香港机房的流量监控图.可以看到 IN 方向的流量远远多过 OUT 方向的.

[mandymak]

@kennylam777 深圳吗？

[kennylam777]

@yexm0 見鬼了, 還差這麼多.....本應把網站設在香港, 會動中國電信的流量應該是為了把內容送回中國, 但現況卻是反轉。

[GPU]

楼主能再详细一点吗?

[kennylam777]

@GPU 想知道甚麼?

Tunnel 用的 SoftEther, 香港家用 PCCW 500M, Linux 是 Debian

@mandymak 珠江口西岸

[halczy]

@kennylam777 DNS 污染问题可以用中科大的 DNS, 国内国外分流解析, 他们国外是走他们移动线路到转发到新加坡 8.8.8.8 出口的. 所以国外 CDN 一般都指到新加坡.

[GPU]

@kennylam777 我也一直想弄电信+移动 的组合双线使用 .

只是我这边移动光纤还没有到 , 我现在也不知道该问什么 .

可以留个联系方式吗? mail: i|at|iu.vc

[kennylam777]

@GPU 我的 id 就是一切......

[Yien]

厲害的玩法，請問能提供 RouterOS 的設置截圖嗎？

[Dannytmp]

好复杂啊，成本也不小吧

[mandymak]

@kennylam777 大陆所在是小区吗？我遇到个问题是有电信移动可选，但只有 1 根入戶线，只能 2 选 1 。

[jasontse]

@yexm0 其实中国电信有一套云堤系统可以提供近源压制这种 DDoS 流量的能力，不过没有大范围应用。

[damonzheng]

繁体看着好难受

[linxijun]

@kennylam777 老 y yg777 好久不见了群晖群群主，哈哈

[linxijun]

@kennylam777 求楼主组网方案。。。

[kennylam777]

@Yien 人不在廣東, 把家的 OSPF 截出來吧, 但廣東家沒人關了電, 在這沒紀錄, 還是那一句: 組上下行分路 ISP, 重點是不對稱路由及內網



@linxijun 沒組網方案....也不是群主, 我用 OMV 的

本來在香港已經組了一組 VPN 及兩對長距離 AC 無線網橋, 三個家用 WAN 線路(100M/500M/500M 全對等), 接通了 4 個地點, 全部設備 GbE 級, 所以本來的 VPN 網絡資源很充裕

[Yien]

@kennylam777 香港 ->長距離 AC 無線網橋->內地？

[linxijun]

@kennylam777 好吧。。认错了。。

[kennylam777]

@Yien 網橋在本地用的，給家裡沒光纖資源的同區朋友使用，大概上下行總共 200Mbps 左右，很不錯

我家好像看到深圳地王大厦，不怕死要跨境的話，技術上是可行的。

[mandymak]

@kennylam777 不怕干扰大吗？

[kennylam777]

@mandymak 5Ghz 還好吧， Ubnt Airmax Powerbeam 的天線向性不錯，而且 Ubnt 跑的 TDD 能抗一定干擾，設置時也避開了附近有人佔用的頻率

[mandymak]

@kennylam777 是否点对点直视没有阻挡物？

[Yien]

@kennylam777
@mandymak
跨境應該有干擾吧？就算技術可行，內地中轉的費用也是天價。

[mandymak]

@Yien 内地中转近距离可再增加 1 套无线发射和接收，远距离再另外想办法。

[Yien]

@mandymak 在深圳中轉，房租貴，寬帶貴，很難搞。

[kennylam777]

@mandymak

境內是目視的， 3km 輕鬆達到 250Mbps ，試過另一地點遠處有樹擋一下就剩下 80Mhz 了

@Yien
特殊干擾倒沒有， 5Ghz 的在 DFS 段似乎受雷達影響，固定時間會跳一下
其實以跨境 WCDMA/FDD/TDD 的情況來說也沒有故意干擾，但國內營運商在同段頻點上，用盡輸出功率開展業務，這才是干擾來源

[mandymak]

@kennylam777 唉！我这边没法目视，无解。

[Yien]

@kennylam777 你好厲害啊，請教個問題，我在香港的家用線路浮動 IP ，路由器是 x86 的 ROS （沒有 IP Cloud 功能），用甚麼方式的 ddns 最快？

[mandymak]

@Yien 我也是 ROS 用家，最快方法是网上找 DDNS ROS 脚本，比如 DynDNS 的。

[Yien]

@mandymak 好的，感謝🙏

[kennylam777]

@Yien
用過 ROS, 但我對它的評價是: 不合浮動 IP 的環境使用, 雖然能寫 script 但太麻煩了.....

我偏好 pfSense/Vyatta, 然後我是用自己的 domain 配 HE.net 的 DDNS, 這家 DNS 在中國境內還算能好好解析, 而且有直連電信及聯通, 一般都能秒解, 比 Godaddy 及 Namecheap 自帶的 nameserver 穩定多了

[Yien]

@kennylam777
好的，謝謝。

我現在用的是 dnspod 海外版，我打算用 php 寫腳本通過 ROS 的 api 獲取 IP ，再通過使用 dnspod 的 api 更新 IP 。

不知道是否可行。

[kennylam777]

@Yien

可行的, 我寫過 HE.Net 的 DDNS script, 它的 API 足夠讓你取得指定網絡介面的 IP, 以及用 HTTP GET 來呼叫 API

[kennylam777]

@Yien

"ROS 的 API 足夠讓你取得指定網絡介面的 IP"

http://wiki.mikrotik.com/wiki/Dynamic_DNS_Update_Script_for_No-IP_DNS

[Yien]

@kennylam777
找到了這個
https://github.com/denvera/mikrotik/blob/master/he.net%20ddns%20update.rsc