"Christmas - the time to fix the computers of your loved ones" « Lord Wyrm

Routing-Problem mit opnsense FW?

daisho 11.08.2019 - 11:29 5608 18
Posts

daisho

SHODAN
Avatar
Registered: Nov 2002
Location: 4C4
Posts: 19561
Ich habe mir gerade eine opnsense fw aufgesetzt und aus irgendeinem Grund (ich vermute irgendein Routing-Problem aus eigener Dummheit) werden relativ viele Outbound-Connections geblockt durch die default Deny All rule.

Hardwaremäßig sieht es so aus:

LTE Router (10.1.1.1) > Heimnetzwerk < opnsense (10.1.1.2 = WAN)
opnsense (10.0.0.1 = LAN) > Heimnetzwerk > Diverse Geräte/PCs (10.0.0.x via DHCP von opnsense)

Vermutlich eigene Schuld dass LTE Router im selben Netz hängt (auch noch nicht via VLAN getrennt, da ich noch nicht weiß ob alle switches das beherrschen im Haus), aber trotzdem bin ich etwas verwirrt wie Verbindungen plötzlich als "Inbound" (Edit2: liegt anscheinend daran dass es "Inbound" für den LAN-Port der FW ist - sollte also korrekt sein) in opnsense auftauchen, überall wird Subnet /24 (255.255.255.0) verwendet.

Im FW-Log sehe ich ziemlich viele (lt. Statistik rund 2/3 aller Connections) geblockt und aus irgendeinem Grund fallen sie nicht in die "Allow all LAN outbound" rule hinein (scheinen als Inbound auf), z.B.:

click to enlarge
click to enlarge


Meine opnsense Config ...

Gateways (irgendwas falsch, den WAN gateway habe ich manuell erstellt?)
click to enlarge

Interfaces:
click to enlarge
click to enlarge

Outbound NAT, Port Forwarding:
click to enlarge
click to enlarge

FW Rules:
click to enlarge
click to enlarge
click to enlarge



Eventuell nur ein dummer Gedankenfehler, bin allerdings nicht so bewandert im Netzwerk-Routing Stuff und deswegen ein wenig verwirrt deswegen.

Symptome:
Prinzipiell kann ich "in's Internet", Webseiten etc. funktionieren meist.
Aber z.B. YouTube App am TV sehr langsam, manche Video-Thumbnails werden nicht angezeigt. Am Desktop z.B. funktioniert der Upload beim RTR Speedtest nicht und auch Upload der Attachments zu oc.at nicht :rolleyes: (deswegen der leere Thread vorhin).

/Edit: Added routes (automatically generated anscheinend)
click to enlarge
Bearbeitet von daisho am 11.08.2019, 12:27

Smut

takeover &amp; ether
Avatar
Registered: Feb 2003
Location: VIE
Posts: 16603
Pebcak
:p

userohnenamen

leider kein name
Avatar
Registered: Feb 2004
Location: -
Posts: 15840
ich verlange aufklärung :D ;)

daisho

SHODAN
Avatar
Registered: Nov 2002
Location: 4C4
Posts: 19561
:D

Symptom war leider auch dass Uploads fehlschlagen (z.B. RTR Upload beim Speedtest, leider auch Attachment Upload auf oc.at > deswegen leerer Thread, und irgendwie dürfte er trotzdem den Post angelegt haben :p)

schizo

Produkt der Gesellschaft
Avatar
Registered: Feb 2003
Location: Vienna
Posts: 2488
Es wundert mich etwas, dass du prinzipiell "ins Internet" kommst (wird in dem Fall ev. der LTE Router verwendet? Entferne diesen mal während dem Testen).
click to enlarge
click to enlarge

Entferne mal die "default deny rule" und die UDP blocking rules bei den Floating rules :)
Bearbeitet von schizo am 11.08.2019, 16:19

xtrm

social assassin
Avatar
Registered: Jul 2002
Location:
Posts: 11893
Die Deny Rule sollte halt am Ende stehen, nicht am Anfang :D.

schizo

Produkt der Gesellschaft
Avatar
Registered: Feb 2003
Location: Vienna
Posts: 2488
Die deny rule ist bei opnSense auch am Ende nicht notwendig, da diese am Ende sowieso hardcoded vorhanden ist (bzw. in seinem Fall durch die "let out anything by firewall host itself" rule auch hinfällig wäre).

Du solltest außeredem ein Objekt mit deinen Internen Netzen anlegen und dieses als Source für die "let out anything" Rule verwenden (und der Rule einen passenden Namen geben).
Bearbeitet von schizo am 11.08.2019, 16:35

xtrm

social assassin
Avatar
Registered: Jul 2002
Location:
Posts: 11893
Achso, hat opensense ein impliziertes deny all am Ende? Ok.

daisho

SHODAN
Avatar
Registered: Nov 2002
Location: 4C4
Posts: 19561
Die Deny-All Rule ist eh am Ende und bei den automatisch generierten Rules (kann man daher eh nicht verschieben).
Die blockierten Pakete habe ich erstmal gelöst indem ich Allow rules hinzugefügt habe für TCP und UDP die "Sloppy Packets" erlauben im LAN-net (dürfte also schon auch Asymmetrisches Routing vorhanden sein).

Hardware ist leider etwas shitty vom Aufbau her wegen LTE + Server-Schrank im Keller:
click to enlarge

Hier mit shitty paint skills.

Problem ist, im Keller ist natürlich quasi null Empfang daher kann ich den LTE Router nicht direkt an das WAN interface der FW anschließen, da sich diese im 19" Schrank im Keller befindet.
Natürlich könnte man ein eigenes Kabel legen, das wollte ich vorerst mal vermeiden und daher einfach mal für den Anfang via Switches umleiten.

Dachte mir es wird wohl kein Problem sein wenn LTE Router und LAN-interface der FW auf 2 unterschiedlichen Subnets arbeiten. Aus irgendeinem Grund sind Uploads aber ein Problem aber es wird nichts im Log angezeigt (alle Block-Rules sind für Log enabled).


Letzter Versuch war jetzt den LTE Router auf IP Passthrough zu setzen, funktioniert vermutlich aber nur wenn er alleine am FW-WAN Port angeschlossen ist nehme ich an. Wenn ich DHCP am WAN Port von opnsense aktiviere holt er sich natürlich (weil im selben Netzwerk) eine IP Adresse von sich selbst (vom LAN-net Port) anstatt vom LTE Router :(

schizo

Produkt der Gesellschaft
Avatar
Registered: Feb 2003
Location: Vienna
Posts: 2488
Was mir jetzt noch aufgefallen ist:
Entferne mal den GW_LAN (die IP ist ein Interface der FW, du würdest dir nur Pakete selbst weiterleiten) und die Monitor IP vom GW_WAN (dabei werden sämtliche Pakete, welche an den GW weitergeleitet werden auch an die dort angegebene IP gespiegelt).

Ersteres führt hoffentlich dazu, dass das LAN Interface auch als LAN erkannt wird und als Source beim Outbound NAT aufscheint (neben 127.0.0.1).

edit: warum sollte die "deny all" rule am Schluß sein? Firewall rulesets werden iA. von oben nach unten durchgearbeitet.
Bearbeitet von schizo am 11.08.2019, 18:24

daisho

SHODAN
Avatar
Registered: Nov 2002
Location: 4C4
Posts: 19561
Ev. wird es in opnsense verkehrt dargestellt, ich denke nicht dass es hier ein Problem ist.
Bin btw drauf gekommen warum ich anscheinend _überhaupt_ eine Verbindung hatte. Der LTE Router hatte noch 255.0.0.0 (/8) als Subnet-Maske eingestellt.

Wenn ich den zusammen mit dem WAN Interface auf 255.255.255.0 (/24) einstelle (dann dürften sich "LAN" und "WAN" nämlich eigentlich nicht sehen) habe ich GAR keine Verbindung mehr - Rechner im "LAN" Bereich sehen dann gar nicht mehr hinaus (Gateway auf 10.0.0.1 = LAN-Interface der opnsense).
(warum manche Pakete trotzdem durch die Firewall durch sind - da ja Block/Allows aufgeschienen sind) bei /8 verstehe ich allerdings nicht ...)



Sprich die FW leitet nichts von 10.0.0.1 (LAN-Interface) zum Router (10.1.1.1 via WAN-Interface 10.1.1.2) weiter!?

Ich habe opnsense gerade auf Werkseinstellungen zurückgesetzt. WAN-Gateway verschwindet übrigens sobald man WAN-Interface von DHCP auf Static stellt ... habe den WAN-Gateway jetzt manuell wieder erstellt (aber keinen LAN-GW).

Muss man um ein funktionierendes System zu haben selber Hand anlegen und eine Route vom LAN zum WAN Interface herstellen :confused: (ansonsten verstehe ich nicht warum NICHTS durchgeht sobald beide Seiten /24 Subnet verwenden) - dachte die FW fungiert hier als Gateway von Subnet A > B und umgekehrt?

/Edit: Derzeitige Config:

LTE Router: 10.1.1.1/24, kein DHCP
WAN-Port (opnsense): 10.1.1.2/24 static
LAN-Port (opnsense): 10.0.0.1/24 static + DHCP server (10.0.0.x/24)
PC: 10.0.0.50/24 static

WAN-Gateway in opnsense zeigt auf 10.1.1.1
Routes:
click to enlarge

(iirc gab es auch keine Verbindung zum Web-GUI von opnsense bei /24, habe jetzt wieder auf /8 umgestellt um hier posten zu können)
Bearbeitet von daisho am 11.08.2019, 19:02

schizo

Produkt der Gesellschaft
Avatar
Registered: Feb 2003
Location: Vienna
Posts: 2488
Ich kenn mich mit der automatischen Rulegenerierung von opnsense nicht wirklich aus, wenn du nur ein WAN Interface hast benötigst du diese im Grunde auch nicht.

Der LTE Router spricht IPv4 und IPv6? Bzw. nutzt du IPv6 in deiner privaten Range überhaupt? Wenn nicht kannst du den IPv6 Gateway sowieso entfernen (sollte er noch vorhanden sein).

Du brauchst ein WAN Interface mit statischer IP (10.1.1.2) und ein LAN interface mit lokaler IP (10.0.0.1). Dann richtest du den WAN Gateway ein (10.1.1.1), um die grundlegende Kommunikation zu ermöglichen.

Anschließend musst du die Firewall einrichten. Die einfachste Konfiguration (welche den Default Einstellungen eines 08/15 Routers entsprechen würde) wäre, eine IPv4 sowie eine IPv6 Freischaltung für das LAN Interface von Source 10.0.0.0/24 nach any.
Für eingehende Verbindungen brauchst du idR ein Port Forwarding (unter NAT) sowie einen dementsprechenden Firewalleintrag beim WAN Interface.

Was die FW genau macht siehst du in den FW Logs. Ich vermute aber, dass diese noch dem Eintrag aus deinem ersten Post entsprechen.

edit: defaultmäßig ist eine Anti Lockout Rule im LAN GW gesetzt, welche den Web UI Port als ersten Ruleeintrag freischaltet.
Der PC übernimmt die DHCP Einstellungen von der opnSense und verwendet auch diese als default GW?

edit2: Um etwaigen Fehlkonfigurationen vorzubeugen würde ich auch am LTE Router einrichten, dass nur Verbindungen von 10.1.1.2 ins Internet erlaubt sind (falls möglich).
Bearbeitet von schizo am 11.08.2019, 19:36

daisho

SHODAN
Avatar
Registered: Nov 2002
Location: 4C4
Posts: 19561
Jetzt habe ich mal durch Bug-Reports raus gefunden dass opnSense anscheinend bei statischer WAN-Konfiguration keine automatischen Outbound-NAT-Einträge setzt (fand es schon komisch dass die Liste quasi leer ist).

Habe den einzig vorhandenen (den sollte er ja eigentlich checken mit Auto-Detect) WAN-Gateway im WAN-Interface ausgewählt und siehe da, die Outbound-NAT Einträge werden erstellt:
click to enlarge

Geändert hat sich leider trotzdem noch nichts.
DHCP funktioniert normal soweit ich sehe (und setzt auch 10.0.0.1 als Gateway beim Client/Destkop-PC), wobei ich aber auch mit statischer IP-Konfig teste.
Besonders interessant finde ich folgenden Aspekt:



LTE-Router mit Subnet 255.0.0.0
PC mit 10.0.0.x/24 (also 255.255.255.0)
> Internet vorhanden (bis auf ein paar Probleme mit Uploads etc.) und Zugriff auf 10.0.0.1 Web-GUI kein Problem

LTE-Router auf Subnet 255.255.255.0 (/24) einstellen
> Connectivity bricht komplett zusammen.
Ich kann dann nicht einmal mehr auf das Web-GUI von der Firewall die ja eigentlich die Adresse des LAN-Gateway (10.0.0.1) hat :confused:

Ein ständiger Ping im Hintergrund zeigt mir auch dass sobald ich das Subnet vom LTE-Router ändere, Verbindung selbst zu 10.0.0.1 zusammenbricht.
Why!?

Es müsste doch komplett wurscht sein, selbst wenn ich den LTE-Router aus dem Fenster werfen, 10.0.0.1 von opnsense müsste ja weiterhin erreichbar sein wenn der Client/Desktop-PC im selben Subnet ist und 10.0.0.1 als Gateway eingerichtet *wut?*

schizo

Produkt der Gesellschaft
Avatar
Registered: Feb 2003
Location: Vienna
Posts: 2488
Ich vermute, dass die Verbindung funktioniert, indem Pakete an der Firewall irgendwie vorbeigeroutet werden (oder ev. über den LTE Router zur opnSense). Mit dem /8 Subnetz ist der LTE Router im selben Netz und akzeptiert die Pakete der Clients. Das ist bei /24 nicht mehr der Fall und die Verbindung ist nicht mehr möglich.

Was sagt denn mittlerweile das FW log bzw. ein "Tracert 10.0.0.1", sowie "netstat -r" am PC? Verwendest du ev. einen Proxy?
Bearbeitet von schizo am 11.08.2019, 20:23

daisho

SHODAN
Avatar
Registered: Nov 2002
Location: 4C4
Posts: 19561
Kein Proxy.

Ein tracert im Fall von getrennten Subnets führt zu einer Loop wie es scheint (über 30 hops ohne IP-Auflösung zum Gateway vom PC aus, obwohl es nur einer sein sollte ...).

Ich wollte heute Vormittag mal VLANs einrichten, zumindest der Switch beim PC und unten beim Server können das. Ein LTE-Router Port und WAN Port als VLAN 10 tagged.


Es funktioniert immerhin soweit dass das LAN vom WAN getrennt wird. Allerdings bekomme ich leider unten an der FW keine Verbindung zum LTE Router.


Great ... jetzt habe ich dazwischen einen unmanaged Switch hängen ... kann wohl nur raten ob der die Packets verunstaltet oder nicht.
Wollte via Laptop testen, aber der kann auch kein VLAN für seinen Netzwerkadapter setzen und sieht den LTE Router schon nicht (Router > Managed Switch > Patch-Panel).

Müsste der Nighthawk M1 LTE Router dafür auch VLAN können (also das geht nicht rein durch Switch der die eingehenden Pakete an dem Port tagged)?
Einstellung gibt es dafür leider keine in seiner Firmware ...



Jetzt habe ich mal einen Haufen LAN-Kabel nachbestellt und werde den unmanaged Switch in der Küche ersetzen, der ist mir sowieso ein Dorn im Auge (weil eigentlich nutzlos, fungiert nur als Verlängerung). Bringt mir aber vermutlich alles nichts wenn der LTE-Router dafür auch VLAN können müsste!?

Zweites Kabel rauf ziehen (hätte ich ja nicht müssen wenn der Elektriker damals wie ich es angeschafft hätte ein Duplex-Kabel gekauft hätte / 2in1) ist leider die extreme Shit-Arbeit ... ich glaube bevor ich das mache sch..... ich auf die FW, man braucht ja mittlerweile schon einen Doktor-Titel für den Dreck :bash:
Kontakt | Unser Forum | Über overclockers.at | Impressum | Datenschutz