Hardware

Core-Switch 3.2

23. Juni 2019
🖨

Dies ist der SFP+ Switch im Netzwerkschrank OG2 Installationsschacht, der die Glasfaserleitungen aus dem KG von Core-Switch 0.1 entgegennimmt und unter anderem an den Wohneinheiten-Core-Switch 3.1 und die WLAN-Access-Points in den Gängen weiterverteilt.

Artikel temporär für alle freigegeben

Inhalt
  1. aktuell
  2. Historie

aktuell

Der alte TP-Link Switch wird Anfang 2022 ausgemustert und durch ein neueres Modell von Mikrotik ersetzt. Im Zuge dessen wird auch der Core-Switch 3.3 obsolet und kann von nun an als Ersatzgerät genutzt werden.

Hardware

Das aktuelle Modell ist ein Mikrotik Core Router Switch CRS328-24P-4S+RM.

Das aktuelle Modell hat die MAC-Adresse: DC:2C:6E:3C:FE:13

Portbelegung

Untergebracht werden muss

Das macht insgesamt 21 RJ-45 Ports und 3 SFP+Ports.

Diese teilen wir wie folgt ein:

  • RJ-45
    • 1-15: WLAN: VLAN 105 tagged und VLAN 1 untagged/PVID
    • 17: SAT-IP-Server: VLAN 104 untagged/PVID
    • 18: Gemeinschaftsküche: VLAN 1 untagged/PVID, tagged VLANs: 100 (Server), 101 (VoIP), 103 (Gemeinschaft), 106 (Drucker), 107 (LTE-Router)
    • 19,20: Trunk zum Wohnungs-Core-Switch 3.1: VLAN 1 untagged/PVID, alle anderen VLANs tagged, Link-Aggregation.
    • 23,24: Management und temp. Uplink: VLAN 1 untagged/PVID, alle anderen VLANs tagged
  • SFP+
    • 1,2: Uplink zu Core-Switch 0.1: VLAN 1 untagged/PVID, alle anderen VLANs tagged, Link-Aggregation.
    • 4: Leitung zu Top-25b: VLAN 1 untagged/PVID, tagged: VLANs: 100 (Server), 101 (VoIP), 105 (WLAN), 107 (LTE-Router), 245 (Top 25b)

Konfigurationsprozess

Ausgangslage

Der Switch wird mit einer default IP 192.168.88.1, Router-OS 6.47.10 (long-term), Identität „Mikrotik“ und einer Konfiguration als Switch geliefert.

Erste Verbindung

Wie verbindet man sich mit dem Gerät?

  • Beginne mit ein Inselsystem, nur mit einem PC und diesem Switch
  • Schließe dich an einem beliebigen Port an
  • Gib dir selbst die IP-Adresse 192.168.88.x (x > 1)
  • Starte eine Winbox. Winbox erkennt das Gerät bei direkter Verbindung mit LAN-Kabel sofort unter den Neighbours.
  • Verbinde dich mit dem User „admin“ und keinem Passwort

Basiskonfiguration

Eine hilfreiche Quelle ist der Artikel Mikrotik Switch Konfiguration.

  • Erstelle eigenen User „akowar“ mit eigenem Passwort und den Berechtigungen „full“ unter System > Users
  • Ändere das Admin-Passwort auf eines, das sicher genug ist
  • Ändere die IP-Adresse des Geräts:
    • IP > Address-List: Dort befindet sich eine Zeile „defconf“.
      • Address: 172.20.2.136/24 (wir verwenden bis zur endgültigen Ablöse die 136, weil die 132 ja noch bejegt ist)
      • Network 172.20.2.0
      • Interface „bridge“ (die Bridge trägt diesen einfallsreichen Namen)
  • Ändere die Identität: System > Identity: „SW_3-2_OG2_IT_CRS328-24P-4Splus“

Eine Bridge erstellen, Ethernet Ports erstellen und zur Bridge hinzufügen müssen wir nicht, da das in der Basiskonfguration bereits enthalten ist.

Jetzt kommen ein paar Dinge, deren Code ich hier einfach mal notiere:

/ip dns
set servers=172.20.2.254
/ip route
add distance=1 gateway=172.20.2.254
/snmp
set enabled=yes
/system clock
set time-zone-name=Europe/Vienna
/system ntp client
set enabled=yes primary-ntp=172.20.2.254
/tool romon
set enabled=yes secrets=3&4e5-d08j
  • IP>DNS
  • IP>Route
  • SNMP
  • Zeitzone
  • NTP
  • RoMon

Damit ist der Switch nun im Netz auffindbar.

VLAN

  • Erstelle die VLANs: Dies geht am besten im Terminal, da es doch recht viele sind.
    /interface vlan add interface=bridge name=VLAN# vlan-id=#
    Hierbei ist # die ID des VLANs. Der Name darf natürlich noch mehr Informationen beinhalten. Ich schreibe gerne VLAN_123_beschreibung
  • Der nächste Schritt ist in der default-config bereits erledigt: /interface bridge port add bridge=bridge interface=ether#
  • Nun werden die VLANs an die interfaces angebracht: /interface bridge vlan add bridge=bridge untagged=ether#,ether# tagged=ether#,ether# vlan-ids=#

Wenn man sich irrt ist man am schnellsten im GUI unter Interfaces > VLAN

Was ich hier noch vermisse, ist, dass nirgends eine PVID gesetzt ist: /interface bridge port set [find default-name=ether#] pvid=1

Im Endeffekt haben wir beschlossen VLAN 1, da es nie getaggt verwendet wird, auch nicht ale VLAN anzulegen. Default ist eh quasi 1 nur die 1 muss nich ergänzt werden.

1. Test

Schließe den neuen Switch mit Port 23 (VLAN 1 untagged/pvid) am Port 5 des Core-Switch 0.1 an

Erreichbarkeit: ok

  • MAC-Telnet von Core-Router
  • Winbox von Server „Malachit“ (Steckt direkt an Core-Switch 0.1)
  • Winbox von Server „Zirkon“ (Route: Core-Switch 0.1 > Core-Switch 3.2 > Netgear-Switch .248 > Zirkon)

Ping tests ausgehend vom neuen Switch:

  • ping 172.20.2.101 (direkt nächster Switch): 0% Verlust
  • ping 172.20.2.248 (Netgear s.o.): 0% Verlust
  • ping 172.20.2.243 (TP-Link, 8 Port, hinter Netgear): 0% Verlust
  • ping 172.20.2.254 (Router): 16% Verlust, pendelt sich auf 7-8% Verlust ein
  • ping 172.20.2.133 (modernerer TP-Link): 0% Verlust
  • ping 172.25.2.152 (WordPress, von überall pingbar, VM auf Malachit): 7% Verlust
  • ping 172.18.2.115 (VM 115 Maintenance Debian, VM auf Malachit, VLAN 100): 1% Verlust
  • ping 172.20.2.115 (VM 115, VLAN 1): 0% verlust

Ab jetzt Paket Size 1500 Byte um Paketverluste better suchtbar zu machen.

  • ping 172.20.2.254: 20%
  • ping 172.20.2.115: 0%
  • ping 172.18.2.115: 14%
  • ping 172.20.2.101: 0%
  • ping 172.20.2.243: 0%
  • ping 172.25.2.152: 16% (schwankt stark)

Beobachtung: Wenn der Datenverkehr über den Router rennt, dann gibt es Probleme.

172.18.2.161: ping -n 100 -l 1500 172.25.2.152 : 0%
172.18.2.161: ping -n 100 -l 1500 172.18.2.254 : 0%
172.20.2.101, 2x10x, 1500Byte: ping 1500 172.20.2.254 : 0%
172.20.2.101, 2x10x, 1500Byte: ping 1500 172.20.2.136 : 0%

Nur wenn ein neues Routerboard mit dem alten Router kommuniziert gibt es Probleme?

Bonding

Als nächstes sind die zwei Link-Addregations zu erzeugen. (monitoring: mii or arp?, balancing: tlb or xor? rr can change order, tlb erlaubt kein arp, xor wie LACP, transmit-hash-policy: layer 2 oder layer-2-and-3? )

/interface bonding add name=bond_uplink slaves=sfp-sfpplus1,sfp-sfpplus2 link-monitoring=arp arp-ip-targets=172.20.2.131 mode=balance-xor transmit-hash-policy=layer-2-and-3
/interface bonding add name=bond_switch_3-1 slaves=ether19,ether20 link-monitoring=arp arp-ip-targets=172.20.2.101 mode=balance-xor transmit-hash-policy=layer-2-and-3

Nun kann man, wie im vorherigen Abschnitt, die VLANs zu dem Bonding hinzufügen, weil das Bonding sich wie ein ethernet-Interface verhält.

Nun muss ich mMn noch das Bonding zur Bridge hinzufügen. Vermutlich analog zu den ethernet Ports /interface bridge port add bridge=bridge interface=bond1 pvid=1

Bonding ist inzwischen erledigt. Siehe finale Konfiguration. Hier nich ergänzen.

Abschließend

Parallel kann man jetzt allerdings schon mal Testen, ob die Konfig so funktioniert, am besten mit Port 17: Sat-IP, da dieser untagged ist.

Hinweis: VLAN-Filtering ist noch nicht aktiv!

ToDo

Installationsprozess

Der einbau ist an der Stelle von Core-Switch 3.3 (also reativ weit unten, also 12 Rack-Units unterhalb des Panels mit den Glasfasern, welches sich zu aller oberst befindet). Der Grund für diese Position und nicht etwa näher an den Glasfasern ist, dass die CAT 7 Verlegekabel sehr steif sind und vorallem durch ihre Länge fix vorgeben, dass die Buchsen, die zu WLAN-Access-Points führen weiter unten sind, und jene, die zu Wohnungen führen, weiter oben. Zwecks Lesbarkeit ist es sinnvoll den Switch unterhalb des Patch-Panels zu montieren.

Zusätzliche Montageschrauben und Kabel liegen für den Installationsprozess bereit, der Prozes kann aber nicht gestartet werden, ehe das Packet-Loss Problem gelöst ist.

aktueller Stand (2022-01-31)

Stand nach dem Meeting mit Georg Bixa am 31.1.2022 12:00 bis 18:00

Core-Switch 3.3 (TP-Link T1600G-28PS) wurde in seinr Funktion vollständig durch den neuen Core-Switch 3.2 abgelöst, d.h. alle WLAN-APs hängen jetzt am neuen Switch. Außerdem hängt der SAT-IP-Server nun an diesem Switch.

Das Bonding hat zwischen Core-Switch 0.1 (TP-Link T1700X-16TS) und dem neuen Switch 3.2 (.136, Mikrotik CRS328) nicht geklappt. Die SFP+ Interfaces fallen aus, sobald am Core-Switch 0.1 LAG aktiviert wird (verschiedene Optionen ausprobiert, keine Infos online). Wir sind daher zu einem Failover-only Betrieb übergegangen, der vom neuen Mikrotik-Switch gesteuert wird.

Irgendwas hat am Bodning und mit den User-VLANs nicht geklappt. Der Switch 3.1 (zwei blaube Kabel) hat auf diesen Netzen einfach nichts erhalten. Ich habe daraufhin die alte Route Core-Switch 0.1 > Core-Switch 3.2 alt > Core-Switch 3.1 wiederhergestellt.

Stand 2022-02-12: Es kreuzen sich keine Kabel mehr

Historie

In der ursprünglichen Variante wurde ein Modell JetStream T1700G-28TQ von TP-Link verwendet . Dieser hatte allerdings nur Glasfaser und kein PoE. Es gab kein Modell, das beides konnte. Daher wurde alles, es das WLAN betrifft an WLAN Core-Switch 3.3 weiterverteilt. Außerdem ist noch der Sat-over-IP-Server mit Switch 3.2 Verbunden. Die IP-Adresse war von Anfang an 172.20.2.132 siehe auch interne statische IP-Adressen. Der Umstand, dass dieser Switch 3.2 ist und der 52-Port Switch, der eigentlich etwas weiter vom Core entfernt ist, die Nummer 3.1 erhalten hat, ist etwas unintuitiv. Es mag vielleicht damit zu Tun haben, dass MyTweak den großen Switch zuert konfiguriert hat.

Hardware features (TP-Link)

  • Hardware
    • Höhe: 1U
    • Spannungseingang: Kaltgerätestecker
    • 24x 1Gbase-T RJ-45 Ports
    • 4x 10G SFP+ Ports
  • Standards
    • 802.1q VLAN-Tagging
    • …
  • Leistungsaufnahme:
    • 100-20V 560/60Hz
    • max. 21,8W
  • Performance
    • Switchingkapazität: 128Gbps
    • Paketweiterleitungsrate: 95,2Mpps
    • MAC-Adresstabelle: 16k
    • Paketpufferspeicher: 1,5MB
    • Jumbo-Frames: 9kB
    • Anzahl ststischer Routen: 32 für IPv4
    • Anzahl IP Interfaces: 16
  • Quality of Service
    • Unterstützt 802.1p-CoS/DSCP-Priorität
    • Voice-VLAN
    • …
  • Layer 2 und 2+ Funktionen
    • Statisches Routing
    • 802.3ad-LACP
    • Loopback-Erkennung
    • …
  • VLAN
    • bis zu 4k VLANs
    • MAC-Adress-/protokollbasierendes VLAN
    • Privates VLAN
  • Sicherheit
    • Port-Sicherheit
    • IP-/MAC-Portbindung
    • 802.1x und RADIUS-Authentifizierung
    • …
  • Verwaltung
    • CLI und Web Interface
    • Dual Image
    • …
Erste Verbesserung der vVerkabelung. Kleine Änderungen an Sqitch 3.2 kanen dann noch.

Konfiguration (TP-Link)

IP-Adresse: 172.20.2.132
Protokoll: HTTPS (HTTP nicht verfügbar, Achtung: selbstsigniertes Zertifikat)

Port Verwendung

Die VLANS sind (derzeit noch) nur auszugsweise notiert. Derzeit sind noch keine aufgezeichnet.

Nr.VerwendungTagged VLANsUntagged VLANsPVIDLinkNotiz
1Management–11RJ-45 offlineManagement
2––999999RJ-45 offlinefrei und unkonfigueriert, VLAN und PVID 1
3––999999RJ-45 offlinefrei und unkonfigueriert, VLAN und PVID 1
4––999999RJ-45 offlinefrei und unkonfigueriert, VLAN und PVID 1
5––999999RJ-45 offlinefrei und unkonfigueriert, VLAN und PVID 1
6––999999RJ-45 offlinefrei und unkonfigueriert, VLAN und PVID 1
7––999999RJ-45 offlinefrei und unkonfigueriert, VLAN und PVID 1
8––999999RJ-45 offlinefrei und unkonfigueriert, VLAN und PVID 1
9––999999RJ-45 offlinefrei und unkonfigueriert, VLAN und PVID 1
10––999999RJ-45 offlinefrei und unkonfigueriert, VLAN und PVID 1
11––999999RJ-45 offlinefrei und unkonfigueriert, VLAN und PVID 1
12––999999RJ-45 offlinefrei und unkonfigueriert, VLAN und PVID 1
13––999999RJ-45 offlinefrei und unkonfigueriert, VLAN und PVID 1
14––999999RJ-45 offlinefrei und unkonfigueriert, VLAN und PVID 1
15––999999RJ-45 offlinefrei und unkonfigueriert, VLAN und PVID 1
16Sat-over-IP-Server–104104RJ-45 onlineReserviert für Sat-over-IP-Server, dunkelgrünes Kabel, VLANs 1 und 104
17Core-Switch für WLAN10511RJ-45 offlineReserviert für Verbindung zu WLAN-Core-Switch 3.3, LAG 2, rotes Kabel, VLANs 1 und 105
18Core-Switch für WLAN10511RJ-45 offlineReserviert für Verbindung zu WLAN-Core-Switch 3.3, LAG 2, rotes Kabel, VLANs 1 und 105
19Core-Switch für WLAN–11RJ-45 offlineReserviert für Verbindung zu WLAN-Core-Switch 3.3
20Core-Switch für WLAN–11RJ-45 offlineReserviert für Verbindung zu WLAN-Core-Switch 3.3
21Core-Switch für Tops101-107, 2xx11RJ-45 offlineReserviert für Verbindung zu TOP-Core-Switch 3.1, LAG 3, blaues Kabel
22Core-Switch für Tops101-107, 2xx11RJ-45 offlineReserviert für Verbindung zu TOP-Core-Switch 3.1, LAG 3, blaues Kabel
23Core-Switch für Tops11RJ-45 offlineReserviert für Verbindung zu TOP-Core-Switch 3.1
24Core-Switch für Tops11RJ-45 offlineReserviert für Verbindung zu TOP-Core-Switch 3.1
25Uplink101-107, 2xx11SFP+ online 10Gbit/sEs war eine LAG zwischen Port 25 und 26 geplant, ging nicht, daher nur VLAN-Separation.
26Uplink100998998SFP+ online 10Gbit/sEs war eine LAG zwischen Port 25 und 26 geplant, ging nicht, daher nur VLAN-Separation.
27leerSFP+ offline
2810G Verbindung Top 25b11SFP+ offlineHier ist ein SFP+ zu RJ-45 Transceiver drin.

Link Aggregation

Link Aggregation zu den Core Switches im gleichen Netzwerkschrank via 1G RJ-45 Ethernet ist geplant, erfolgreich getestet und derzeit online (siehe Switch ReKonfiguration 2021-07).

Die LAG in den Keller via Uplink Port 25 und 26 via 10G SFP+ Glasfaser ist nicht erfolglos getestet. Derzeit erfolgt eine Trennung über unterschiedliche VLANs. Details siehe Core-Switch 0.1.

Welche VLANs gehen wo rüber:

  • Port 25:
    • tagged: 101, 104, 105, 106, 214, 245
    • untagged, PVID: 1 (Management)
  • Port 26:
    • tagged: 100
    • untagged, PVID: 999 (no Service)

Probleme (TP-Link)

Im Laufe von 2021 sind Probleme mit dem Switch aufgetreten. Es kam immer wieder (ca. 1x pro Monat) Ausfällen, die das gesamte Hausnetzwerk lahmlegten. Diese Ausfälle zeigen sich am Gerät in Form eines vollständigen Einfrierens aller Funktionen. Dies lässt sich besonders gut beobachten, indem man das Kabel eines aktiven Anschlusses zieht – die Aktivitätsleuchte wird trotzdem weiter blinken. Georg Bixa vermutet einen Defekt der Hardware in einem Bereich, wo sich der Fehler nur zufällig und selten zeigt, also z.B. im Arbeitsspeicher des Geräts. In Konsequenz wird das Gerät ausgetauscht.

Als Ersatzgerät wurde ein Switch von Mikrotik gewählt. Dies hat mehrere Gründe:

  • Die neueste Generation von Mikrotik-Accesss-Points (jene die auf AR stat MIPS basieren) verursachen in Kombination mit TP-Link Switches (egal welche, und auch nur mit TP-Link, Netgear geht zum Beispiel) speziell bei größeren Datenpaketen mit absolut untoleriertbarer Warscheinlichkeit (manchmal bis zu 100% in Minutenzeiträumen und 40% langsfristig gemessen) Paketverluste. Es lag daher nahe auch gleich den Haupt-WLAN-Switch (Core-Switch 3.3) mit zu ersetzen. Der neue Switch soll also die Funktion beider ersetzen, d.h. Glasfaser mit SFP+ (10Gbit/s) und 24x PoE.
  • Unser Router ist ein Mikrotik Gerät und daher liegt es nahe das gewonnene Wissen über die Konfiguration des Core Routers weiter zu nutzen.

Das Ersatzmodell ist ein Core Router Switch CRS328-24P-4S+RM.

Zuletzt bearbeitet am 12. Februar 2022 von Adrian Kowar

Tags:

Schreibe einen Kommentar