Neue WUs bei LHC@Home!

So, gestern kam ich dazu das ganze mal zu testen. Ich habe zumindest einen Weg gefunden, wie es NICHT geht.

Zerst Suid. Befehle leicht anderst, aber kein Problem. Hatte ich ja schon vorher laufen. Aber mit den Angaben im Wiki und der hinterlegten Config geht es. Ich habe dazu einige Notitzen gemacht. Kann ich dann einstellen, wenn das ganze läuft.

Was aber nicht geht ist das mit dem einbinden vom cvmfs. Ich glaub da hängt es wohl noch an der config. Leider habe ich da keine speziele für Suse gefunden.
Folgende Pakete habe ich runtergeladen und verwendet:

Beide konnte ich über zypper installieren ink. der abhängigkeiten. Aber ich habe das Gefühl die config ist nicht die Richtige.
Irgendjemand eine Idee?

Hier mal der Auszug aus /var/log grep
Code:
grep cvmfs /var/log/messages
2021-03-06T21:39:40.653371+01:00 Shell dbus-daemon[993]: [system] Activating via systemd: service name='org.freedesktop.fwupd' unit='fwupd.service' requested by ':1.84' (uid=1000 pid=11544 comm="/usr/bin/plasma-discover /tmp/mozilla_p3d0/cvmfs-c")
2021-03-06T21:39:40.858448+01:00 Shell dbus-daemon[1778]: [session uid=1000 pid=1778] Activating service name='org.kde.kwalletd5' requested by ':1.57' (uid=1000 pid=11544 comm="/usr/bin/plasma-discover /tmp/mozilla_p3d0/cvmfs-c")
2021-03-06T21:39:41.546222+01:00 Shell dbus-daemon[993]: [system] Activating via systemd: service name='org.freedesktop.PackageKit' unit='packagekit.service' requested by ':1.82' (uid=1000 pid=11544 comm="/usr/bin/plasma-discover /tmp/mozilla_p3d0/cvmfs-c")
2021-03-06T21:46:10.714567+01:00 Shell [RPM][12541]: install cvmfs-config-default-2.0-1.noarch: success
2021-03-06T21:46:10.714642+01:00 Shell [RPM][12541]: install cvmfs-config-default-2.0-1.noarch: success
2021-03-06T22:06:21.796323+01:00 Shell groupadd[14001]: group added to /etc/group: name=cvmfs, GID=461
2021-03-06T22:06:21.798523+01:00 Shell groupadd[14001]: new group: name=cvmfs, GID=461
2021-03-06T22:06:21.805641+01:00 Shell useradd[14008]: new user: name=cvmfs, UID=459, GID=461, home=/var/lib/cvmfs, shell=/sbin/nologin, from=none
2021-03-06T22:06:22.818416+01:00 Shell [RPM][13998]: install cvmfs-2.8.0-1.sle12.x86_64: success
2021-03-06T22:06:22.818477+01:00 Shell [RPM][13998]: install cvmfs-2.8.0-1.sle12.x86_64: success
2021-03-06T22:23:56.174464+01:00 Shell sudo:     root : TTY=pts/1 ; PWD=/etc/cvmfs ; USER=root ; COMMAND=/usr/bin/wget http://lhcathome.cern.ch/lhcathome/download/create-boinc-cgroup -O /sbin/create-boinc-cgroup
2021-03-06T22:24:16.172570+01:00 Shell sudo:     root : TTY=pts/1 ; PWD=/etc/cvmfs ; USER=root ; COMMAND=/usr/bin/wget http://lhcathome.cern.ch/lhcathome/download/boinc-client.service -O /etc/systemd/system/boinc-client.service
2021-03-06T23:54:23.933592+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs
2021-03-06T23:54:23.935915+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs/domain.d
2021-03-06T23:54:23.938627+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs/config.d
2021-03-06T23:54:23.968799+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs
2021-03-06T23:54:23.971191+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs/domain.d
2021-03-06T23:54:23.974445+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs/config.d
2021-03-06T23:54:24.008050+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs
2021-03-06T23:54:24.010534+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs/domain.d
2021-03-06T23:54:24.013660+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs/config.d
2021-03-06T23:54:24.043220+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs
2021-03-06T23:54:24.045855+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs/domain.d
2021-03-06T23:54:24.049242+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs/config.d
2021-03-06T23:54:24.079544+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs
2021-03-06T23:54:24.082140+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs/domain.d
2021-03-06T23:54:24.085446+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs/config.d
2021-03-06T23:54:24.117751+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs
2021-03-06T23:54:24.120169+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs/domain.d
2021-03-06T23:54:24.123482+01:00 Shell cvmfs2: configuration repository directory does not exist: /cvmfs/cvmfs-config.cern.ch/etc/cvmfs/config.d

Und hier die zwei Testkommandos. Allerdings die Version 2.8.0 findet er.
Code:
cvmfs_config chksetup
Warning: CernVM-FS drop-in map /etc/auto.master.d/cvmfs.autofs is not referenced from autofs master map /etc/auto.master
Warning: failed to use Geo-API with s1ral-cvmfs.openhtc.io
Warning: failed to use Geo-API with s1ral-cvmfs.openhtc.io
Warning: failed to use Geo-API with s1ral-cvmfs.openhtc.io
Warning: failed to use Geo-API with s1ral-cvmfs.openhtc.io
Warning: failed to use Geo-API with s1ral-cvmfs.openhtc.io
Warning: failed to use Geo-API with s1ral-cvmfs.openhtc.io

cvmfs_config probe
Probing /cvmfs/atlas.cern.ch... Failed!
Probing /cvmfs/atlas-condb.cern.ch... Failed!
Probing /cvmfs/grid.cern.ch... Failed!
Probing /cvmfs/cernvm-prod.cern.ch... Failed!
Probing /cvmfs/sft.cern.ch... Failed!
Probing /cvmfs/alice.cern.ch... Failed! 

cvmfs2 --version
CernVM-FS version 2.8.0
 
irgendwas klappt hier nicht ...
Ich hab alle Änderungen gemacht wie beschrieben ... aber irgendwie bekommt squid selbst scheinbar kein zugriff aufs Netz oder so


Code:
192.168.178.56 3128 - - [07/Mar/2021:16:23:32 +0100] "CONNECT upload.worldcommunitygrid.org:443 HTTP/1.1" 403 4146 "-" "BOINC client (x86_64-pc-linux-gnu 7.16.12)" TCP_DENIED:HIER_NONE
192.168.178.56 3128 - - [07/Mar/2021:16:23:52 +0100] "CONNECT scheduler.worldcommunitygrid.org:443 HTTP/1.1" 403 4161 "-" "BOINC client (x86_64-pc-linux-gnu 7.16.12)" TCP_DENIED:HIER_NONE
192.168.178.56 3128 - - [07/Mar/2021:16:25:25 +0100] "GET http://cernvmfs.gridpp.rl.ac.uk/cvmfs/cvmfs-config.cern.ch/.cvmfspublished HTTP/1.1" 0 220 "-" "cvmfs Fuse 2.8.0" NONE_ABORTED:HIER_NONE
192.168.178.56 3128 - - [07/Mar/2021:16:25:30 +0100] "GET http://cernvmfs.gridpp.rl.ac.uk/cvmfs/cvmfs-config.cern.ch/.cvmfspublished HTTP/1.1" 0 220 "-" "cvmfs Fuse 2.8.0" NONE_ABORTED:HIER_NONE
192.168.178.56 3128 - - [07/Mar/2021:16:25:56 +0100] "GET http://cernvmfs.gridpp.rl.ac.uk/cvmfs/cvmfs-config.cern.ch/.cvmfspublished HTTP/1.1" 403 4248 "-" "curl/7.75.0" TCP_DENIED:HIER_NONE
 
Zuletzt bearbeitet:
Kannst du hier mal deine Config von Squid posten? Also mit deinen Änderungen Inklusive. Oder auch per PM wenn dir das lieber ist.
 
Probier mal den Netzzugriff über Squid mit einem Browser.

Ansonsten helfen ggf. ein paar Infos zu deinem Netzaufbau, deiner /etc/hosts, etc...
 
@koschi
ich habe nichts eingetragen in der hosts Datei oder habe sonstige Änderungen vorgenommen

@WhiteFire
Die Datei entspricht 1zu1 dem original bis auf die Eintragung für meine IP, bin gerade aber in Windows unterwegs, wenn ich später umboote poste ich die ;)
Doppelposting wurde automatisch zusammengeführt:

So hier die Config :)

Code:
# Squid configuration for BOINC
# Based on squid version 3.5
# See also: http://www.squid-cache.org/

# Every line starting with "#" represents a comment.

# Define your local hosts/networks here.
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.
# The examples show the principle.
# For advanced options read the Squid documentation.
#
# Examples:
#
# Either enter a list of IPs representing your computers that are permitted to use the proxy.
# Each IP on a separate line.
# acl crunchers src 198.51.100.20
# acl crunchers src 198.51.100.31
# acl crunchers src 198.51.100.37
# acl crunchers src 198.51.100.42
#
# Or enter complete network ranges.
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.
acl localnet src 0.0.0.1-0.255.255.255
# acl localnet src 198.51.100.0/24
# acl localnet src 203.0.113.0/24



acl SSL_ports port 443
acl Safe_ports port 80
acl Safe_ports port 443
acl Safe_ports port 1025-65535    # unregistered ports

acl CONNECT method CONNECT



follow_x_forwarded_for allow localhost
follow_x_forwarded_for deny all





#
# Start of extra section 1
# Requests that need special handling

# worldcommunitygrid doesn't like it if data is taken from the local cache
acl wcg_nocache dstdomain .worldcommunitygrid.org
cache deny wcg_nocache


# if CVMFS uses geoapi, ensure it's checked directly
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+
cache deny cvmfs_geoapi


# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+
cache deny boinc_nocache


# seriously: do NOT cache that!
# Based on a frontier cache suggestion
acl PragmaNoCache req_header Pragma no-cache
cache deny PragmaNoCache

# End of extra section 1
#



#
# Start of extra section 2
# parent cache configuration
#
# ATLAS tasks route frontier requests via predefined WLCG proxy chains including load balancing and fail-over.
# The following lines ensure those proxy chains are respected by a local squid as intended by the CERN ATLAS team.

acl request_via_atlasfrontier_chain url_regex -i ^http://+atlasfrontier[1-4]?-ai\.cern\.ch:8000/+[^/]+

cache_peer atlas-db-squid.grid.uio.no parent 3128 0 no-query no-digest weighted-round-robin no-netdb-exchange connect-timeout=7 connect-fail-limit=1
cache_peer_access atlas-db-squid.grid.uio.no allow request_via_atlasfrontier_chain

cache_peer dcache.ijs.si parent 3128 0 no-query no-digest weighted-round-robin no-netdb-exchange connect-timeout=7 connect-fail-limit=1
cache_peer_access dcache.ijs.si allow request_via_atlasfrontier_chain

cache_peer atlasfrontier-ai.cern.ch parent 8000 0 no-query no-digest no-netdb-exchange connect-fail-limit=1
cache_peer_access atlasfrontier-ai.cern.ch allow request_via_atlasfrontier_chain

never_direct allow request_via_atlasfrontier_chain

# End of extra section 2
#


acl Purge method PURGE


http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost manager
http_access deny manager
http_access deny to_localhost

#
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.
# Examples:
# http_access allow crunchers
# http_access allow localnet


http_access allow localhost
# Last "http_access" line.
# Order matters, hence all "http_access" lines following this one will be ignored.
http_access deny all



# http_port
# don't bind it to an IP that is accessible from outside unless you know what you do.
# Examples:
# http_port localhost:3128
#
# This assumes 198.51.100.99 is the external IP of the Squid box
# http_port 198.51.100.99:3128
#
# default setting that binds Squid to all IPs of the Squid box
http_port 3128


# A MUST on Windows.
# If unsure try the the LAN IP of your internet router.
# Avoid using external DNS here.
# On Linux this option shouldn't be necessary
dns_nameservers 198.51.100.1


max_filedescriptors 4096


# Required OFF for intercepted traffic from LHCb VMs
client_dst_passthru off


# You don't believe this is enough?
# For sure, it is!
cache_mem 256 MB
maximum_object_size_in_memory 24 KB
memory_replacement_policy heap GDSF


# Keep it large enough to store vdi files in the cache.
# See extra section 1 how to avoid onetimers eating up your disk storage.
# min-size=xxx keeps very small files away from your disk
# 20000 limits the disk cache to 20 GB
cache_replacement_policy heap LFUDA
maximum_object_size 6144 MB
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937


# default=10
logfile_rotate 10

# logformat has to be changed according to your needs and the capabilities of your logfile analyser
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh
access_log stdio:/var/log/squid/access.log logformat=my_awstats
#access_log none
strip_query_terms off

coredump_dir none
ftp_user anonymous@


# max_stale 1 week  #default
# extended to be prepared for a project reset
max_stale 37 days

# 1 line is required to avoid the ancient default settings
# be conservative
# don't violate the HTTP standards
refresh_pattern .    0    0%    0

store_avg_object_size 1800 KB

shutdown_lifetime 0 seconds


# booster 1!
collapsed_forwarding on


# booster 2!
client_persistent_connections on
server_persistent_connections on


log_icp_queries off


dns_defnames on
dns_v4_first on

forwarded_for transparent

##### End of squid.conf
 
Zuletzt bearbeitet:
acl localnet src 0.0.0.1-0.255.255.255
ist Unsinn und die extra section #2 kann raus
Doppelposting wurde automatisch zusammengeführt:

Das ist nicht die squid.conf aus unserem Wiki, sondern die alte aus dem LHC Forum
Doppelposting wurde automatisch zusammengeführt:

dns_nameservers 198.51.100.1
auf dein Gateway umstellen oder auskommentieren
 
ja hab ich geändert, aber ändert nichts
Doppelposting wurde automatisch zusammengeführt:

Problem bleibt bestehen :/
aktuell reagiert der proxi garnicht mehr so als wäre er aus ... allerdings kp wie ich das prüfen soll ob er an ist oder nicht
 
Zuletzt bearbeitet:
Nach der Änderung an der Konfiguration hast du diese in den Squid geladen via
Code:
squid -k reconfigure
oder Neustart des Services?

Wie gesagt, bitte auch mal über den Browser probieren.
Doppelposting wurde automatisch zusammengeführt:

acl localnet src 0.0.0.1-0.255.255.255
hast du abgeändert in was genau?
 
Bei Suse geht es mit folgendem Befehl zu überprüfen ob er läuft:
systemctl status squid

<Ausgabe console>
● squid.service - Squid caching proxy
Loaded: loaded (/usr/lib/systemd/system/squid.service; enabled; vendor preset: disabled)
Active: active (running) since Sat 2021-03-06 20:25:33 CET; 52s ago
</Ausgabe console>
 
ich hab das in 192.168.178.0/24 geändert so wie vorher auch, das machte keinen Unterschied

ja hab ich auch eingegeben und mit dem browser gehts auch nicht ;)
einzige Änderung jetzt siehe hier

Code:
192.168.178.56 3128 - - [07/Mar/2021:19:55:12 +0100] "CONNECT lhcathome.cern.ch:443 HTTP/1.1" 403 4086 "-" "BOINC client (x86_64-pc-linux-gnu 7.16.12)" TCP_DENIED:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [07/Mar/2021:20:17:28 +0100] "CONNECT www.gpugrid.net:443 HTTP/1.1" 403 4076 "-" "BOINC client (x86_64-pc-linux-gnu 7.16.12)" TCP_DENIED:HIER_NONE

da steht jetzt nicht mehr die IP sondern der Name vom PC ^^
Doppelposting wurde automatisch zusammengeführt:

@WhiteFire

das sagt er bei mir

Code:
[florian@BigBoyLinux ~]$ systemctl status squid
● squid.service - Squid Web Proxy Server
     Loaded: loaded (/usr/lib/systemd/system/squid.service; disabled; vendor preset: disabled)
     Active: active (running) since Sun 2021-03-07 20:16:10 CET; 8min ago
       Docs: man:squid(8)
    Process: 53978 ExecStartPre=/usr/sbin/squid --foreground -z (code=exited, status=0/SUCCESS)
   Main PID: 53981 (squid)
      Tasks: 2 (limit: 38417)
     Memory: 14.4M
     CGroup: /system.slice/squid.service
             ├─53981 /usr/sbin/squid --foreground -sYC
             └─53983 (squid-1) --kid squid-1 --foreground -sYC

Mär 07 20:16:16 BigBoyLinux squid[53983]: Adaptation support is off.
Mär 07 20:16:16 BigBoyLinux squid[53983]: Store logging disabled
Mär 07 20:16:16 BigBoyLinux squid[53983]: DNS Socket created at [::], FD 9
Mär 07 20:16:16 BigBoyLinux squid[53983]: DNS Socket created at 0.0.0.0, FD 10
Mär 07 20:16:16 BigBoyLinux squid[53983]: Adding domain fritz.box from /etc/resolv.conf
Mär 07 20:16:16 BigBoyLinux squid[53983]: Adding nameserver 192.168.178.1 from /etc/resolv.conf
Mär 07 20:16:16 BigBoyLinux squid[53983]: Adding nameserver fd00::464e:6dff:fee4:3348 from /etc/resolv.conf
Mär 07 20:16:16 BigBoyLinux squid[53983]: HTCP Disabled.
Mär 07 20:16:16 BigBoyLinux squid[53983]: Finished loading MIME types and icons.
Mär 07 20:16:16 BigBoyLinux squid[53983]: Accepting HTTP Socket connections at local=[::]:3128 remote=[::] FD 11 flags=9
 
liegt die squid.conf bei Arch auch in /etc/squid?
ich sehe auf unseren Squids ganz andere Einträge:

Code:
root@frickelbude:/etc/cvmfs# systemctl status squid
● squid.service - Squid Web Proxy Server
     Loaded: loaded (/lib/systemd/system/squid.service; enabled; vendor preset: enabled)
     Active: active (running) since Sun 2021-02-28 08:03:16 CET; 1 weeks 0 days ago
       Docs: man:squid(8)
   Main PID: 1808 (squid)
      Tasks: 19 (limit: 77031)
     Memory: 48.2M
     CGroup: /system.slice/squid.service
             ├─   1808 /usr/sbin/squid -sYC
             ├─   1811 (squid-1) --kid squid-1 -sYC
             └─3736318 (pinger)


Mär 07 19:24:11 frickelbude squid[1811]: Logfile: closing log stdio:/var/spool/squid/netdb.state
Mär 07 19:24:11 frickelbude squid[1811]: NETDB state saved; 13 entries, 0 msec
Mär 07 19:56:23 frickelbude squid[1811]: Detected DEAD Parent: atlasfrontier-ai.cern.ch
Mär 07 19:56:23 frickelbude squid[1811]: Detected DEAD Parent: dcache.ijs.si
Mär 07 19:56:23 frickelbude squid[1811]: Detected REVIVED Parent: atlasfrontier-ai.cern.ch
Mär 07 19:56:23 frickelbude squid[1811]: Configuring Parent atlas-db-squid.grid.uio.no/3128/0
Mär 07 19:56:23 frickelbude squid[1811]: WARNING: DNS lookup for 'atlas-db-squid.grid.uio.no' failed!
Mär 07 19:56:23 frickelbude squid[1811]: Detected REVIVED Parent: dcache.ijs.si
Mär 07 20:06:30 frickelbude systemd[1]: /lib/systemd/system/squid.service:15: PIDFile= references a path below legacy directory /var/run/, updating /var/run/squid.pid → /run/squid.pid; please update the unit fi>
Mär 07 20:17:09 frickelbude systemd[1]: /lib/systemd/system/squid.service:15: PIDFile= references a path below legacy directory /var/run/, updating /var/run/squid.pid → /run/squid.pid; please update the unit fi>

Von dem LHC Kram ist bei dir nichts zu sehen.

Wenn du im Browser den Squid Cache konfigurierst und ein Seitenaufruf fehlschlägt, erzeugt das Aufrufe im Squid log?
 
@WhiteFire
sowohl als auch

@koschi
Ja die liegt bei arch auch in der /etc/squid/
Ja fehlerhaft aufrufe werden erzeugt siehe hier

Code:
BigBoyLinux.fritz.box 3128 - - [07/Mar/2021:20:17:32 +0100] "CONNECT www.gpugrid.net:443 HTTP/1.1" 403 4076 "-" "BOINC client (x86_64-pc-linux-gnu 7.16.12)" TCP_DENIED:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [07/Mar/2021:20:20:08 +0100] "CONNECT wuprop.boinc-af.org:443 HTTP/1.1" 403 4222 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:86.0) Gecko/20100101 Firefox/86.0" TCP_DENIED:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [07/Mar/2021:20:20:10 +0100] "CONNECT wuprop.boinc-af.org:443 HTTP/1.1" 403 4222 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:86.0) Gecko/20100101 Firefox/86.0" TCP_DENIED:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [07/Mar/2021:20:20:10 +0100] "CONNECT wuprop.boinc-af.org:443 HTTP/1.1" 403 4222 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:86.0) Gecko/20100101 Firefox/86.0" TCP_DENIED:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [07/Mar/2021:20:20:11 +0100] "CONNECT wuprop.boinc-af.org:443 HTTP/1.1" 403 4222 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:86.0) Gecko/20100101 Firefox/86.0" TCP_DENIED:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [07/Mar/2021:20:20:11 +0100] "CONNECT wuprop.boinc-af.org:443 HTTP/1.1" 403 4222 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:86.0) Gecko/20100101 Firefox/86.0" TCP_DENIED:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [07/Mar/2021:20:20:11 +0100] "CONNECT wuprop.boinc-af.org:443 HTTP/1.1" 403 4222 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:86.0) Gecko/20100101 Firefox/86.0" TCP_DENIED:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [07/Mar/2021:20:20:12 +0100] "CONNECT wuprop.boinc-af.org:443 HTTP/1.1" 403 4222 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:86.0) Gecko/20100101 Firefox/86.0" TCP_DENIED:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [07/Mar/2021:20:20:24 +0100] "GET http://fritz.box/ HTTP/1.1" 403 4627 "http://fritz.box/" "Mozilla/5.0 (X11; Linux x86_64; rv:86.0) Gecko/20100101 Firefox/86.0" TCP_DENIED:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [07/Mar/2021:20:20:24 +0100] "GET http://bigboylinux:3128/squid-internal-static/icons/SN.png HTTP/1.1" 403 4579 "http://fritz.box/" "Mozilla/5.0 (X11; Linux x86_64; rv:86.0) Gecko/20100101 Firefox/86.0" TCP_DENIED:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [07/Mar/2021:20:29:33 +0100] "CONNECT lhcathome.cern.ch:443 HTTP/1.1" 403 4212 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:86.0) Gecko/20100101 Firefox/86.0" TCP_DENIED:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [07/Mar/2021:20:29:33 +0100] "CONNECT lhcathome.cern.ch:443 HTTP/1.1" 403 4212 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:86.0) Gecko/20100101 Firefox/86.0" TCP_DENIED:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [07/Mar/2021:20:29:33 +0100] "CONNECT lhcathome.cern.ch:443 HTTP/1.1" 403 4212 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:86.0) Gecko/20100101 Firefox/86.0" TCP_DENIED:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [07/Mar/2021:20:29:34 +0100] "CONNECT lhcathome.cern.ch:443 HTTP/1.1" 403 4212 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:86.0) Gecko/20100101 Firefox/86.0" TCP_DENIED:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [07/Mar/2021:20:29:34 +0100] "CONNECT lhcathome.cern.ch:443 HTTP/1.1" 403 4212 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:86.0) Gecko/20100101 Firefox/86.0" TCP_DENIED:HIER_NONE
Doppelposting wurde automatisch zusammengeführt:

Nachdem ich mit google gespielt habe, habe ich mal folgendes in die config eingetragen

http_access allow all

jetzt gehts ^^

Was stimmt denn hier nicht? Ich habe da allerdings auch nichts geändert:

http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost manager
http_access deny manager
http_access deny to_localhost
Doppelposting wurde automatisch zusammengeführt:

ich hab jetzt auch cvmfs umgestellt und es scheint zu laufen allerdings wundert mich das doch alles ein wenig warum ich mein squid anders einstellen muss als ihr :/
 
Zuletzt bearbeitet:
http_access allow all war bei mir nirgends nötig. Poste bitte nochmal die endgültige Konfiguration, deine /etc/hosts sowie die Ausgabe von
Code:
ip a s
 
Bin hoch ins Bett, mach ich morgen, für den Moment läuft es erst mal
 
computezrmle von LHC hat mich darauf hingewiesen dass wir in der Squidkonfiguration so noch einen Fehler drin haben. Wenn localnet definiert wurde, muss dieser Zugriff anschließend noch aktiviert werden indem
die Auskommentierung vor http_access allow localnet entfernt wird. Dieses war mir zuvor nicht aufgefallen, da anschließend lokal der Zugriff über
http_access allow localhost erlaubt wird. Bei mir klappte daher der Zugriff, habe es aber auch nicht von weiteren Rechnern im LAN probiert.

Bitte anpassen und http_access allow all entfernen. Solltest du deinen Rechner über entsprechende Routerkonfigurationen mal weltweit zugänglich machen, kann jeder deinen Proxy nutzen und darüber unter deiner IP Unfug treiben.
 
Fehler würde ich jetzt nicht sagen. Eher das man es als "Voreinstellung" in der Wiki anpasst.
Hatte es bei mir schon angepasst, weil ich mehrere Rechner drüber laufen habe.

Aber schön, das dort jemand Interesse dran hat, was hier bei uns getan wird.
 
Ja ich wäre womöglich auch eher drauf gekommen wenn ich mehrere Rechner hätte.
Ich hab im Wiki beide Möglichkeiten jetzt kurz erklärt und das localnet in der Voreinstellung erlaubt.
 
Also irgendwie scheint immer noch was nicht zu stimmen mit squid, Stderr ausgabe sagt auch immer noch ich soll openhtc.io verwenden, das müsste mit squid doch verschwinden oder?

Code:
BigBoyLinux.fritz.box 3128 - - [08/Mar/2021:05:46:47 +0100] "GET http://atlascern-frontier.openhtc.io:8080/atlr/Frontier/type=frontier_request:1:DEFAULT&encoding=BLOBzip5&p1=eNpdj8EKwjAQRH9lyaUXlbb3HkKSajBNSnZFPIUevClCjfj7RkxD8TbzZthlUBklCKyTKmgJHIFlzTZAfL-An8zM8kEV.jWZGyeOAYnTCUu8YrklFQqvR9LOltaKpRZeMGiLpPOblWfQezcA42Q4BuGccb0J5IntWFJjW9chHUQGf-Z8UF4tOztoGuBWljUdVDRHjPP0xjjF13O8znfxuG3rtvoATDlPtA__ HTTP/1.0" 200 2084 "-" "-" TCP_MEM_HIT:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [08/Mar/2021:05:46:47 +0100] "GET http://atlascern-frontier.openhtc.io:8080/atlr/Frontier/type=frontier_request:1:DEFAULT&encoding=BLOBzip5&p1=eNqdk01v4yAQhv8K4mR3q8Q4ibKWmmoJJgkrDF0gTXqa0-ZUqf--tmC79qR2pWpv8zIPzAczXmopAlne-SDGwl6ZGviFO0n.7MHwRmYNVyYn8VxewXngXmS-0hkR1mpQq05kZy8dBH4EVRMjL3CSvE62OHFjpE6mss-glRGytc4mKJ3nREdQmSN.VJTTCDmJEcDobM7VZpc8V9Z7WCf.P6275UeMhd3-ji1KKPeEDoreDwR6LSGjRMwYJiGD.kS04QeiVYjA1SQGaUT5Fw-K.KCaLhbSiNLch8bWUPPQYfgAcdapozJ8KA5pROHeJgppRNGn9-c39-eVtswgDs42hPIQM4CE2oOG4AJd0Gg9lUUBh6JgDPq.ehpb3M1JfPsb92IrhztqRcnlJOOAzzR1xwrCTT1X1e7WM37xrk-lZggQOfz0YyS5ll7ILCN.XLtx0a6snbtoZP0Uj7fzrkuTYhfTUj9W4KZO9nWd7Ms62bfrRJk.7FhZsor9ZNVmXW43RUHy.89H.XyP.rtlua6KVbXeVpsJ1.7E4ySEdbV0ZP8yv5Nifg-FP6IRU.A_ HTTP/1.0" 200 3194 "-" "-" TCP_MEM_HIT:HIER_NONE
Doppelposting wurde automatisch zusammengeführt:

hier noch meine aktuelle konfig, hier ist das update von koschi schon drin ;)

Code:
# Squid configuration for BOINC
# Based on squid version 3.5
# See also: http://www.squid-cache.org/

# Every line starting with "#" represents a comment.

# Define your local hosts/networks here.
# If neither "crunchers" nor "localnet" is set none of your devices will be permitted to use the proxy.
# The examples show the principle.
# For advanced options read the Squid documentation.
#
# Examples:
#
# Either enter a list of IPs representing your computers that are permitted to use the proxy.
# Each IP on a separate line.
# acl crunchers src 198.51.100.20
# acl crunchers src 198.51.100.31
# acl crunchers src 198.51.100.37
# acl crunchers src 198.51.100.42
#
# Or enter complete network ranges.
# Be aware that this may permit devices like printers or TVs that you may not want to use the proxy.
# acl localnet src 192.0.2.0/24
# acl localnet src 198.51.100.0/24
acl localnet src 192.168.178.0/24


acl SSL_ports port 443
acl Safe_ports port 80
acl Safe_ports port 443
acl Safe_ports port 1025-65535    # unregistered ports

acl CONNECT method CONNECT

follow_x_forwarded_for allow localhost
follow_x_forwarded_for deny all
http_access allow all


#
# Start of extra section 1
# Requests that need special handling

# worldcommunitygrid doesn't like it if data is taken from the local cache
acl wcg_nocache dstdomain .worldcommunitygrid.org
cache deny wcg_nocache


# if CVMFS uses geoapi, ensure it's checked directly
acl cvmfs_geoapi urlpath_regex -i ^/+cvmfs/+[0-9a-z._~-]+/+api/+[0-9a-z._~-]+/+geo/+[0-9a-z._~-]+/+[0-9a-z.,_~-]+
cache deny cvmfs_geoapi


# avoids polluting the disk cache with typical onetimers, e.g. ATLAS job data
acl boinc_nocache urlpath_regex -i /download[0-9a-z._~-]*/+[0-9a-z._~-]+/+.+
cache deny boinc_nocache


# seriously: do NOT cache that!
# Based on a frontier cache suggestion
acl PragmaNoCache req_header Pragma no-cache
cache deny PragmaNoCache

# End of extra section 1
#

acl Purge method PURGE

http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost manager
http_access deny manager
http_access deny to_localhost

#
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS
# Depending on the definition of "crunchers" or "localnet" above at least 1 of the following lines must be uncommented.
# Examples:
# http_access allow crunchers
http_access allow localnet

http_access allow localhost
# Last "http_access" line.
# Order matters, hence all "http_access" lines following this one will be ignored.
http_access deny all

# http_port
# don't bind it to an IP that is accessible from outside unless you know what you do.
# Examples:
# http_port localhost:3128
#
# This assumes 198.51.100.99 is the external IP of the Squid box
# http_port 198.51.100.99:3128
#
# default setting that binds Squid to all IPs of the Squid box
http_port 3128


# A MUST on Windows.
# If unsure try the the LAN IP of your internet router.
# Avoid using external DNS here.
# On Linux this option shouldn't be necessary
# dns_nameservers 198.51.100.1

max_filedescriptors 4096

# Required OFF for intercepted traffic from LHCb VMs
client_dst_passthru off

# You don't believe this is enough?
# For sure, it is!
cache_mem 256 MB
maximum_object_size_in_memory 24 KB
memory_replacement_policy heap GDSF


# Keep it large enough to store vdi files in the cache.
# See extra section 1 how to avoid onetimers eating up your disk storage.
# min-size=xxx keeps very small files away from your disk
# 20000 limits the disk cache to 20 GB
cache_replacement_policy heap LFUDA
maximum_object_size 6144 MB
cache_dir aufs /var/cache/squid 20000 16 64 min-size=7937

# default=10
logfile_rotate 10

# logformat has to be changed according to your needs and the capabilities of your logfile analyser
logformat my_awstats %>A %lp %ui %un [%tl] "%rm %>ru HTTP/%rv" %>Hs %st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh
access_log stdio:/var/log/squid/access.log logformat=my_awstats
#access_log none
strip_query_terms off

coredump_dir none
ftp_user anonymous@

# max_stale 1 week  #default
# extended to be prepared for a project reset
max_stale 37 days

# 1 line is required to avoid the ancient default settings
# be conservative
# don't violate the HTTP standards
refresh_pattern .    0    0%    0

store_avg_object_size 1800 KB

shutdown_lifetime 0 seconds

# booster 1!
collapsed_forwarding on

# booster 2!
client_persistent_connections on
server_persistent_connections on

log_icp_queries off

dns_defnames on
dns_v4_first on

forwarded_for transparent

##### End of squid.conf
 
Wie sieht denn deine CVMFS default.local aktuell aus?
 
Die ist recht leer :D

Code:
CVMFS_REPOSITORIES=atlas.cern.ch,atlas-condb.cern.ch,grid.cern.ch,sft.cern.ch,lhcb.cern.ch,lhcbdev.cern.ch
CVMFS_HTTP_PROXY=192.168.178.56
 
Hmm, wenn du einfach irgendwas in CVMFS_HTTP_PROXY schreibst wird das auch nicht funktionieren.

Nimm bitte die Version von LHC@home wie in https://dc.planet3dnow.de/wiki/index.php/LHC_native_Einrichtung#Installation_2 -> Basisinstallation beschrieben, dort passt du CVMFS_HTTP_PROXY an auf:
Code:
CVMFS_HTTP_PROXY="http://192.168.178.56:3128;DIRECT"

CVMFS_USE_CDN=yes sorgt dann dafür das openhtc.io genutzt wird. Anschließend CVMFS Konfiguration neu laden:
Code:
cvmfs_config reload
 
Ich kann halt nicht alles 1 zu 1 übernehmen mit arch das ist das problem, vieles funktioniert wie du vllt gemerkt hast nur über das try and error prinzip ^^
Das hier lässt sich auf arch nicht so ohne weiteres installieren: "cvmfs-config-default" also halt nicht zusammen mit cvmfs, da gibt es einen konflikt und dabei ist es unerheblich was ich zuerst installiere ;)

Ich kann paru leider auch nicht sagen er soll die konflikte ignorieren, paru löscht dann immer das andere um den Konflikt zu beseitigen :/

"CVMFS_USE_CDN=yes" muss das mit in die default.local?

Code:
sudo cvmfs_config stat

Running /usr/bin/cvmfs_config stat cvmfs-config.cern.ch:
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE
2.8.0.0 250365 315 30192 14 3 1 3687281 4096001 0 130560 0 70 100 0 0 http://cernvmfs.gridpp.rl.ac.uk/cvmfs/cvmfs-config.cern.ch http://192.168.178.56:3128 1

Running /usr/bin/cvmfs_config stat atlas.cern.ch:
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE
2.8.0.0 250474 314 51568 80381 3 1 3687281 4096001 0 130560 0 0 n/a 0 0 http://cernvmfs.gridpp.rl.ac.uk:8000/cvmfs/atlas.cern.ch http://192.168.178.56:3128 1

Running /usr/bin/cvmfs_config stat sft.cern.ch:
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE
2.8.0.0 251012 314 35548 19709 3 1 3687281 4096001 0 130560 0 0 n/a 0 0 http://cernvmfs.gridpp.rl.ac.uk:8000/cvmfs/sft.cern.ch http://192.168.178.56:3128 1

Running /usr/bin/cvmfs_config stat atlas-condb.cern.ch:
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE
2.8.0.0 458934 43 33912 8683 3 1 3687281 4096001 0 130560 0 0 n/a 0 0 http://cernvmfs.gridpp.rl.ac.uk:8000/cvmfs/atlas-condb.cern.ch http://192.168.178.56:3128 1

Running /usr/bin/cvmfs_config stat grid.cern.ch:
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE
2.8.0.0 459423 39 35236 14635 3 1 3687281 4096001 0 130560 0 0 n/a 0 0 http://cernvmfs.gridpp.rl.ac.uk:8000/cvmfs/grid.cern.ch http://192.168.178.56:3128 1

Running /usr/bin/cvmfs_config stat lhcb.cern.ch:
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE
2.8.0.0 459600 39 33180 77132 3 1 3687281 4096001 0 130560 0 0 n/a 0 0 http://cernvmfs.gridpp.rl.ac.uk:8000/cvmfs/lhcb.cern.ch http://192.168.178.56:3128 1

Running /usr/bin/cvmfs_config stat lhcbdev.cern.ch:
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE
2.8.0.0 459730 39 36568 1114707 3 1 3687281 4096001 0 130560 0 0 n/a 0 0 http://cvmfs-stratum-one.cern.ch:8000/cvmfs/lhcbdev.cern.ch http://192.168.178.56:3128 1

Running /usr/bin/cvmfs_config stat atlas-nightlies.cern.ch:
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE
2.8.0.0 461488 39 33564 40278 3 1 3687281 4096001 0 130560 0 0 n/a 0 0 http://cvmfs-stratum-one.cern.ch/cvmfs/atlas-nightlies.cern.ch http://192.168.178.56:3128 1

Running /usr/bin/cvmfs_config stat unpacked.cern.ch:
VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE
2.8.0.0 461589 39 32936 79963 3 1 3687281 4096001 0 130560 0 0 n/a 0 0 http://cernvmfs.gridpp.rl.ac.uk:8000/cvmfs/unpacked.cern.ch http://192.168.178.56:3128 1
 
Ich will doch letztendlich nur darauf hinaus dass du die default.local vom Projekt nehmen sollst, das ist doch unabhängig vom Paketmanager, etc...
Code:
sudo wget https://lhcathome.cern.ch/lhcathome/download/default.local -O /etc/cvmfs/default.local
Anpassen, neu laden, fertig.
Doppelposting wurde automatisch zusammengeführt:

CVMFS_USE_CDN=yes muss da mit rein und ist in der lhc@home Version auch schon drin. Mann muss doch das Rad nicht neu erfinden wenn das Projekt schon die richtige Konfiguration zur Verfügung stellt.
 
Das ist in dem ganzen installieren und deinstallieren vermutlich einfach untergegangen ...
Manchmal verliert man auch einfach den Überblick was man schon gemacht hat und was nicht seit der letzten Änderung xD

Jetzt sieht es so aus ... ich hoffe das es jetzt richtig ist, sonst verzweifel ich noch so langsam :P

Code:
BigBoyLinux.fritz.box 3128 - - [08/Mar/2021:09:29:26 +0100] "GET http://s1cern-cvmfs.openhtc.io/cvmfs/atlas-nightlies.cern.ch/.cvmfspublished HTTP/1.1" 200 1835 "-" "cvmfs Fuse 2.8.0" TCP_REFRESH_MODIFIED:HIER_DIRECT
BigBoyLinux.fritz.box 3128 - - [08/Mar/2021:09:29:26 +0100] "GET http://s1ral-cvmfs.openhtc.io/cvmfs/unpacked.cern.ch/.cvmfspublished HTTP/1.1" 200 1708 "-" "cvmfs Fuse 2.8.0" TCP_REFRESH_MODIFIED:HIER_DIRECT
BigBoyLinux.fritz.box 3128 - - [08/Mar/2021:09:29:55 +0100] "GET http://s1ral-cvmfs.openhtc.io/cvmfs/cvmfs-config.cern.ch/.cvmfspublished HTTP/1.1" 200 1723 "-" "cvmfs Fuse 2.8.0" TCP_REFRESH_MODIFIED:HIER_DIRECT
BigBoyLinux.fritz.box 3128 - - [08/Mar/2021:09:29:55 +0100] "GET http://s1ral-cvmfs.openhtc.io/cvmfs/atlas.cern.ch/.cvmfspublished HTTP/1.1" 200 1719 "-" "cvmfs Fuse 2.8.0" TCP_REFRESH_MODIFIED:HIER_DIRECT
BigBoyLinux.fritz.box 3128 - - [08/Mar/2021:09:29:55 +0100] "GET http://s1ral-cvmfs.openhtc.io/cvmfs/atlas.cern.ch/.cvmfswhitelist HTTP/1.1" 200 1745 "-" "cvmfs Fuse 2.8.0" TCP_MISS:HIER_DIRECT
BigBoyLinux.fritz.box 3128 - - [08/Mar/2021:09:29:55 +0100] "GET http://s1ral-cvmfs.openhtc.io/cvmfs/atlas.cern.ch/.cvmfspublished HTTP/1.1" 200 1563 "-" "cvmfs Fuse 2.8.0" TCP_MEM_HIT:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [08/Mar/2021:09:29:55 +0100] "GET http://s1ral-cvmfs.openhtc.io/cvmfs/atlas.cern.ch/.cvmfswhitelist HTTP/1.1" 200 1588 "-" "cvmfs Fuse 2.8.0" TCP_MEM_HIT:HIER_NONE
BigBoyLinux.fritz.box 3128 - - [08/Mar/2021:09:29:55 +0100] "GET http://s1ral-cvmfs.openhtc.io/cvmfs/atlas.cern.ch/data/3a/1d45f40a25db52266fc85148b4914a0152e74fC HTTP/1.1" 200 539391 "-" "cvmfs Fuse 2.8.0" TCP_MISS:HIER_DIRECT
 
Zurück
Oben Unten