/mandos/trunk

To get this branch, use:
bzr branch http://bzr.recompile.se/loggerhead/mandos/trunk

« back to all changes in this revision

Viewing changes to mandos

  • Committer: Teddy Hogeborn
  • Date: 2019-11-03 19:09:41 UTC
  • Revision ID: teddy@recompile.se-20191103190941-9gfivh2mjuvi4z3f
Add -I option to python 3 on the interpreter script ("shebang") line

* mandos: Add -I option to /usr/bin/python3.
* mandos-ctl: - '' -
* mandos-monitor: - '' -

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
#!/usr/bin/python
2
 
# -*- mode: python; coding: utf-8 -*-
 
1
#!/usr/bin/python3 -bI
 
2
# -*- mode: python; after-save-hook: (lambda () (let ((command (if (fboundp 'file-local-name) (file-local-name (buffer-file-name)) (or (file-remote-p (buffer-file-name) 'localname) (buffer-file-name))))) (if (= (progn (if (get-buffer "*Test*") (kill-buffer "*Test*")) (process-file-shell-command (format "%s --check" (shell-quote-argument command)) nil "*Test*")) 0) (let ((w (get-buffer-window "*Test*"))) (if w (delete-window w))) (progn (with-current-buffer "*Test*" (compilation-mode)) (display-buffer "*Test*" '(display-buffer-in-side-window)))))); coding: utf-8 -*-
3
3
#
4
4
# Mandos server - give out binary blobs to connecting clients.
5
5
#
77
77
import itertools
78
78
import collections
79
79
import codecs
 
80
import unittest
80
81
 
81
82
import dbus
82
83
import dbus.service
 
84
import gi
83
85
from gi.repository import GLib
84
86
from dbus.mainloop.glib import DBusGMainLoop
85
87
import ctypes
87
89
import xml.dom.minidom
88
90
import inspect
89
91
 
 
92
if sys.version_info.major == 2:
 
93
    __metaclass__ = type
 
94
 
 
95
# Show warnings by default
 
96
if not sys.warnoptions:
 
97
    import warnings
 
98
    warnings.simplefilter("default")
 
99
 
90
100
# Try to find the value of SO_BINDTODEVICE:
91
101
try:
92
102
    # This is where SO_BINDTODEVICE is in Python 3.3 (or 3.4?) and
115
125
if sys.version_info.major == 2:
116
126
    str = unicode
117
127
 
118
 
version = "1.7.20"
 
128
if sys.version_info < (3, 2):
 
129
    configparser.Configparser = configparser.SafeConfigParser
 
130
 
 
131
version = "1.8.9"
119
132
stored_state_file = "clients.pickle"
120
133
 
121
134
logger = logging.getLogger()
 
135
logging.captureWarnings(True)   # Show warnings via the logging system
122
136
syslogger = None
123
137
 
124
138
try:
179
193
    pass
180
194
 
181
195
 
182
 
class PGPEngine(object):
 
196
class PGPEngine:
183
197
    """A simple class for OpenPGP symmetric encryption & decryption"""
184
198
 
185
199
    def __init__(self):
189
203
            output = subprocess.check_output(["gpgconf"])
190
204
            for line in output.splitlines():
191
205
                name, text, path = line.split(b":")
192
 
                if name == "gpg":
 
206
                if name == b"gpg":
193
207
                    self.gpg = path
194
208
                    break
195
209
        except OSError as e:
200
214
                          '--force-mdc',
201
215
                          '--quiet']
202
216
        # Only GPG version 1 has the --no-use-agent option.
203
 
        if self.gpg == "gpg" or self.gpg.endswith("/gpg"):
 
217
        if self.gpg == b"gpg" or self.gpg.endswith(b"/gpg"):
204
218
            self.gnupgargs.append("--no-use-agent")
205
219
 
206
220
    def __enter__(self):
275
289
 
276
290
 
277
291
# Pretend that we have an Avahi module
278
 
class Avahi(object):
279
 
    """This isn't so much a class as it is a module-like namespace.
280
 
    It is instantiated once, and simulates having an Avahi module."""
 
292
class avahi:
 
293
    """This isn't so much a class as it is a module-like namespace."""
281
294
    IF_UNSPEC = -1               # avahi-common/address.h
282
295
    PROTO_UNSPEC = -1            # avahi-common/address.h
283
296
    PROTO_INET = 0               # avahi-common/address.h
287
300
    DBUS_INTERFACE_SERVER = DBUS_NAME + ".Server"
288
301
    DBUS_PATH_SERVER = "/"
289
302
 
290
 
    def string_array_to_txt_array(self, t):
 
303
    @staticmethod
 
304
    def string_array_to_txt_array(t):
291
305
        return dbus.Array((dbus.ByteArray(s.encode("utf-8"))
292
306
                           for s in t), signature="ay")
293
307
    ENTRY_GROUP_ESTABLISHED = 2  # avahi-common/defs.h
298
312
    SERVER_RUNNING = 2           # avahi-common/defs.h
299
313
    SERVER_COLLISION = 3         # avahi-common/defs.h
300
314
    SERVER_FAILURE = 4           # avahi-common/defs.h
301
 
avahi = Avahi()
302
315
 
303
316
 
304
317
class AvahiError(Exception):
316
329
    pass
317
330
 
318
331
 
319
 
class AvahiService(object):
 
332
class AvahiService:
320
333
    """An Avahi (Zeroconf) service.
321
334
 
322
335
    Attributes:
504
517
 
505
518
 
506
519
# Pretend that we have a GnuTLS module
507
 
class GnuTLS(object):
508
 
    """This isn't so much a class as it is a module-like namespace.
509
 
    It is instantiated once, and simulates having a GnuTLS module."""
 
520
class gnutls:
 
521
    """This isn't so much a class as it is a module-like namespace."""
510
522
 
511
523
    library = ctypes.util.find_library("gnutls")
512
524
    if library is None:
513
525
        library = ctypes.util.find_library("gnutls-deb0")
514
526
    _library = ctypes.cdll.LoadLibrary(library)
515
527
    del library
516
 
    _need_version = b"3.3.0"
517
 
    _tls_rawpk_version = b"3.6.6"
518
 
 
519
 
    def __init__(self):
520
 
        # Need to use "self" here, since this method is called before
521
 
        # the assignment to the "gnutls" global variable happens.
522
 
        if self.check_version(self._need_version) is None:
523
 
            raise self.Error("Needs GnuTLS {} or later"
524
 
                             .format(self._need_version))
525
528
 
526
529
    # Unless otherwise indicated, the constants and types below are
527
530
    # all from the gnutls/gnutls.h C header file.
569
572
 
570
573
    # Exceptions
571
574
    class Error(Exception):
572
 
        # We need to use the class name "GnuTLS" here, since this
573
 
        # exception might be raised from within GnuTLS.__init__,
574
 
        # which is called before the assignment to the "gnutls"
575
 
        # global variable has happened.
576
575
        def __init__(self, message=None, code=None, args=()):
577
576
            # Default usage is by a message string, but if a return
578
577
            # code is passed, convert it to a string with
579
578
            # gnutls.strerror()
580
579
            self.code = code
581
580
            if message is None and code is not None:
582
 
                message = GnuTLS.strerror(code)
583
 
            return super(GnuTLS.Error, self).__init__(
 
581
                message = gnutls.strerror(code)
 
582
            return super(gnutls.Error, self).__init__(
584
583
                message, *args)
585
584
 
586
585
    class CertificateSecurityError(Error):
587
586
        pass
588
587
 
589
588
    # Classes
590
 
    class Credentials(object):
 
589
    class Credentials:
591
590
        def __init__(self):
592
591
            self._c_object = gnutls.certificate_credentials_t()
593
592
            gnutls.certificate_allocate_credentials(
597
596
        def __del__(self):
598
597
            gnutls.certificate_free_credentials(self._c_object)
599
598
 
600
 
    class ClientSession(object):
 
599
    class ClientSession:
601
600
        def __init__(self, socket, credentials=None):
602
601
            self._c_object = gnutls.session_t()
603
602
            gnutls_flags = gnutls.CLIENT
604
 
            if gnutls.check_version("3.5.6"):
 
603
            if gnutls.check_version(b"3.5.6"):
605
604
                gnutls_flags |= gnutls.NO_TICKETS
606
605
            if gnutls.has_rawpk:
607
606
                gnutls_flags |= gnutls.ENABLE_RAWPK
744
743
    check_version.argtypes = [ctypes.c_char_p]
745
744
    check_version.restype = ctypes.c_char_p
746
745
 
 
746
    _need_version = b"3.3.0"
 
747
    if check_version(_need_version) is None:
 
748
        raise self.Error("Needs GnuTLS {} or later"
 
749
                         .format(_need_version))
 
750
 
 
751
    _tls_rawpk_version = b"3.6.6"
747
752
    has_rawpk = bool(check_version(_tls_rawpk_version))
748
753
 
749
754
    if has_rawpk:
803
808
                                                    ctypes.c_size_t)]
804
809
        openpgp_crt_get_fingerprint.restype = _error_code
805
810
 
806
 
    if check_version("3.6.4"):
 
811
    if check_version(b"3.6.4"):
807
812
        certificate_type_get2 = _library.gnutls_certificate_type_get2
808
813
        certificate_type_get2.argtypes = [session_t, ctypes.c_int]
809
814
        certificate_type_get2.restype = _error_code
810
815
 
811
816
    # Remove non-public functions
812
817
    del _error_code, _retry_on_error
813
 
# Create the global "gnutls" object, simulating a module
814
 
gnutls = GnuTLS()
815
818
 
816
819
 
817
820
def call_pipe(connection,       # : multiprocessing.Connection
825
828
    connection.close()
826
829
 
827
830
 
828
 
class Client(object):
 
831
class Client:
829
832
    """A representation of a client host served by this server.
830
833
 
831
834
    Attributes:
832
835
    approved:   bool(); 'None' if not yet approved/disapproved
833
836
    approval_delay: datetime.timedelta(); Time to wait for approval
834
837
    approval_duration: datetime.timedelta(); Duration of one approval
835
 
    checker:    subprocess.Popen(); a running checker process used
836
 
                                    to see if the client lives.
837
 
                                    'None' if no process is running.
 
838
    checker: multiprocessing.Process(); a running checker process used
 
839
             to see if the client lives. 'None' if no process is
 
840
             running.
838
841
    checker_callback_tag: a GLib event source tag, or None
839
842
    checker_command: string; External command which is run to check
840
843
                     if client lives.  %() expansions are done at
1047
1050
    def checker_callback(self, source, condition, connection,
1048
1051
                         command):
1049
1052
        """The checker has completed, so take appropriate actions."""
1050
 
        self.checker_callback_tag = None
1051
 
        self.checker = None
1052
1053
        # Read return code from connection (see call_pipe)
1053
1054
        returncode = connection.recv()
1054
1055
        connection.close()
 
1056
        if self.checker is not None:
 
1057
            self.checker.join()
 
1058
        self.checker_callback_tag = None
 
1059
        self.checker = None
1055
1060
 
1056
1061
        if returncode >= 0:
1057
1062
            self.last_checker_status = returncode
1146
1151
                kwargs=popen_args)
1147
1152
            self.checker.start()
1148
1153
            self.checker_callback_tag = GLib.io_add_watch(
1149
 
                pipe[0].fileno(), GLib.IO_IN,
 
1154
                GLib.IOChannel.unix_new(pipe[0].fileno()),
 
1155
                GLib.PRIORITY_DEFAULT, GLib.IO_IN,
1150
1156
                self.checker_callback, pipe[0], command)
1151
1157
        # Re-run this periodically if run by GLib.timeout_add
1152
1158
        return True
2219
2225
    del _interface
2220
2226
 
2221
2227
 
2222
 
class ProxyClient(object):
 
2228
class ProxyClient:
2223
2229
    def __init__(self, child_pipe, key_id, fpr, address):
2224
2230
        self._pipe = child_pipe
2225
2231
        self._pipe.send(('init', key_id, fpr, address))
2298
2304
            approval_required = False
2299
2305
            try:
2300
2306
                if gnutls.has_rawpk:
2301
 
                    fpr = ""
 
2307
                    fpr = b""
2302
2308
                    try:
2303
2309
                        key_id = self.key_id(
2304
2310
                            self.peer_certificate(session))
2308
2314
                    logger.debug("Key ID: %s", key_id)
2309
2315
 
2310
2316
                else:
2311
 
                    key_id = ""
 
2317
                    key_id = b""
2312
2318
                    try:
2313
2319
                        fpr = self.fingerprint(
2314
2320
                            self.peer_certificate(session))
2498
2504
        return hex_fpr
2499
2505
 
2500
2506
 
2501
 
class MultiprocessingMixIn(object):
 
2507
class MultiprocessingMixIn:
2502
2508
    """Like socketserver.ThreadingMixIn, but with multiprocessing"""
2503
2509
 
2504
2510
    def sub_process_main(self, request, address):
2516
2522
        return proc
2517
2523
 
2518
2524
 
2519
 
class MultiprocessingMixInWithPipe(MultiprocessingMixIn, object):
 
2525
class MultiprocessingMixInWithPipe(MultiprocessingMixIn):
2520
2526
    """ adds a pipe to the MixIn """
2521
2527
 
2522
2528
    def process_request(self, request, client_address):
2537
2543
 
2538
2544
 
2539
2545
class IPv6_TCPServer(MultiprocessingMixInWithPipe,
2540
 
                     socketserver.TCPServer, object):
 
2546
                     socketserver.TCPServer):
2541
2547
    """IPv6-capable TCP server.  Accepts 'None' as address and/or port
2542
2548
 
2543
2549
    Attributes:
2616
2622
                    raise
2617
2623
        # Only bind(2) the socket if we really need to.
2618
2624
        if self.server_address[0] or self.server_address[1]:
 
2625
            if self.server_address[1]:
 
2626
                self.allow_reuse_address = True
2619
2627
            if not self.server_address[0]:
2620
2628
                if self.address_family == socket.AF_INET6:
2621
2629
                    any_address = "::"  # in6addr_any
2674
2682
    def add_pipe(self, parent_pipe, proc):
2675
2683
        # Call "handle_ipc" for both data and EOF events
2676
2684
        GLib.io_add_watch(
2677
 
            parent_pipe.fileno(),
2678
 
            GLib.IO_IN | GLib.IO_HUP,
 
2685
            GLib.IOChannel.unix_new(parent_pipe.fileno()),
 
2686
            GLib.PRIORITY_DEFAULT, GLib.IO_IN | GLib.IO_HUP,
2679
2687
            functools.partial(self.handle_ipc,
2680
2688
                              parent_pipe=parent_pipe,
2681
2689
                              proc=proc))
2700
2708
            address = request[3]
2701
2709
 
2702
2710
            for c in self.clients.values():
 
2711
                if key_id == "E3B0C44298FC1C149AFBF4C8996FB92427AE41E4649B934CA495991B7852B855":
 
2712
                    continue
2703
2713
                if key_id and c.key_id == key_id:
2704
2714
                    client = c
2705
2715
                    break
2717
2727
                return False
2718
2728
 
2719
2729
            GLib.io_add_watch(
2720
 
                parent_pipe.fileno(),
2721
 
                GLib.IO_IN | GLib.IO_HUP,
 
2730
                GLib.IOChannel.unix_new(parent_pipe.fileno()),
 
2731
                GLib.PRIORITY_DEFAULT, GLib.IO_IN | GLib.IO_HUP,
2722
2732
                functools.partial(self.handle_ipc,
2723
2733
                                  parent_pipe=parent_pipe,
2724
2734
                                  proc=proc,
2756
2766
def rfc3339_duration_to_delta(duration):
2757
2767
    """Parse an RFC 3339 "duration" and return a datetime.timedelta
2758
2768
 
2759
 
    >>> rfc3339_duration_to_delta("P7D")
2760
 
    datetime.timedelta(7)
2761
 
    >>> rfc3339_duration_to_delta("PT60S")
2762
 
    datetime.timedelta(0, 60)
2763
 
    >>> rfc3339_duration_to_delta("PT60M")
2764
 
    datetime.timedelta(0, 3600)
2765
 
    >>> rfc3339_duration_to_delta("PT24H")
2766
 
    datetime.timedelta(1)
2767
 
    >>> rfc3339_duration_to_delta("P1W")
2768
 
    datetime.timedelta(7)
2769
 
    >>> rfc3339_duration_to_delta("PT5M30S")
2770
 
    datetime.timedelta(0, 330)
2771
 
    >>> rfc3339_duration_to_delta("P1DT3M20S")
2772
 
    datetime.timedelta(1, 200)
 
2769
    >>> rfc3339_duration_to_delta("P7D") == datetime.timedelta(7)
 
2770
    True
 
2771
    >>> rfc3339_duration_to_delta("PT60S") == datetime.timedelta(0, 60)
 
2772
    True
 
2773
    >>> rfc3339_duration_to_delta("PT60M") == datetime.timedelta(0, 3600)
 
2774
    True
 
2775
    >>> rfc3339_duration_to_delta("PT24H") == datetime.timedelta(1)
 
2776
    True
 
2777
    >>> rfc3339_duration_to_delta("P1W") == datetime.timedelta(7)
 
2778
    True
 
2779
    >>> rfc3339_duration_to_delta("PT5M30S") == datetime.timedelta(0, 330)
 
2780
    True
 
2781
    >>> rfc3339_duration_to_delta("P1DT3M20S") == datetime.timedelta(1, 200)
 
2782
    True
2773
2783
    """
2774
2784
 
2775
2785
    # Parsing an RFC 3339 duration with regular expressions is not
2855
2865
def string_to_delta(interval):
2856
2866
    """Parse a string and return a datetime.timedelta
2857
2867
 
2858
 
    >>> string_to_delta('7d')
2859
 
    datetime.timedelta(7)
2860
 
    >>> string_to_delta('60s')
2861
 
    datetime.timedelta(0, 60)
2862
 
    >>> string_to_delta('60m')
2863
 
    datetime.timedelta(0, 3600)
2864
 
    >>> string_to_delta('24h')
2865
 
    datetime.timedelta(1)
2866
 
    >>> string_to_delta('1w')
2867
 
    datetime.timedelta(7)
2868
 
    >>> string_to_delta('5m 30s')
2869
 
    datetime.timedelta(0, 330)
 
2868
    >>> string_to_delta('7d') == datetime.timedelta(7)
 
2869
    True
 
2870
    >>> string_to_delta('60s') == datetime.timedelta(0, 60)
 
2871
    True
 
2872
    >>> string_to_delta('60m') == datetime.timedelta(0, 3600)
 
2873
    True
 
2874
    >>> string_to_delta('24h') == datetime.timedelta(1)
 
2875
    True
 
2876
    >>> string_to_delta('1w') == datetime.timedelta(7)
 
2877
    True
 
2878
    >>> string_to_delta('5m 30s') == datetime.timedelta(0, 330)
 
2879
    True
2870
2880
    """
2871
2881
 
2872
2882
    try:
2974
2984
 
2975
2985
    options = parser.parse_args()
2976
2986
 
2977
 
    if options.check:
2978
 
        import doctest
2979
 
        fail_count, test_count = doctest.testmod()
2980
 
        sys.exit(os.EX_OK if fail_count == 0 else 1)
2981
 
 
2982
2987
    # Default values for config file for server-global settings
2983
2988
    if gnutls.has_rawpk:
2984
2989
        priority = ("SECURE128:!CTYPE-X.509:+CTYPE-RAWPK:!RSA"
3004
3009
    del priority
3005
3010
 
3006
3011
    # Parse config file for server-global settings
3007
 
    server_config = configparser.SafeConfigParser(server_defaults)
 
3012
    server_config = configparser.ConfigParser(server_defaults)
3008
3013
    del server_defaults
3009
3014
    server_config.read(os.path.join(options.configdir, "mandos.conf"))
3010
 
    # Convert the SafeConfigParser object to a dict
 
3015
    # Convert the ConfigParser object to a dict
3011
3016
    server_settings = server_config.defaults()
3012
3017
    # Use the appropriate methods on the non-string config options
3013
3018
    for option in ("debug", "use_dbus", "use_ipv6", "restore",
3085
3090
                                  server_settings["servicename"])))
3086
3091
 
3087
3092
    # Parse config file with clients
3088
 
    client_config = configparser.SafeConfigParser(Client
3089
 
                                                  .client_defaults)
 
3093
    client_config = configparser.ConfigParser(Client.client_defaults)
3090
3094
    client_config.read(os.path.join(server_settings["configdir"],
3091
3095
                                    "clients.conf"))
3092
3096
 
3163
3167
        # Close all input and output, do double fork, etc.
3164
3168
        daemon()
3165
3169
 
3166
 
    # multiprocessing will use threads, so before we use GLib we need
3167
 
    # to inform GLib that threads will be used.
3168
 
    GLib.threads_init()
 
3170
    if gi.version_info < (3, 10, 2):
 
3171
        # multiprocessing will use threads, so before we use GLib we
 
3172
        # need to inform GLib that threads will be used.
 
3173
        GLib.threads_init()
3169
3174
 
3170
3175
    global main_loop
3171
3176
    # From the Avahi example code
3247
3252
                             if isinstance(s, bytes)
3248
3253
                             else s) for s in
3249
3254
                            value["client_structure"]]
3250
 
                        # .name & .host
3251
 
                        for k in ("name", "host"):
 
3255
                        # .name, .host, and .checker_command
 
3256
                        for k in ("name", "host", "checker_command"):
3252
3257
                            if isinstance(value[k], bytes):
3253
3258
                                value[k] = value[k].decode("utf-8")
3254
 
                        if not value.has_key("key_id"):
 
3259
                        if "key_id" not in value:
3255
3260
                            value["key_id"] = ""
3256
 
                        elif not value.has_key("fingerprint"):
 
3261
                        elif "fingerprint" not in value:
3257
3262
                            value["fingerprint"] = ""
3258
3263
                    #  old_client_settings
3259
3264
                    # .keys()
3264
3269
                        for key, value in
3265
3270
                        bytes_old_client_settings.items()}
3266
3271
                    del bytes_old_client_settings
3267
 
                    # .host
 
3272
                    # .host and .checker_command
3268
3273
                    for value in old_client_settings.values():
3269
 
                        if isinstance(value["host"], bytes):
3270
 
                            value["host"] = (value["host"]
3271
 
                                             .decode("utf-8"))
 
3274
                        for attribute in ("host", "checker_command"):
 
3275
                            if isinstance(value[attribute], bytes):
 
3276
                                value[attribute] = (value[attribute]
 
3277
                                                    .decode("utf-8"))
3272
3278
            os.remove(stored_state_path)
3273
3279
        except IOError as e:
3274
3280
            if e.errno == errno.ENOENT:
3599
3605
                sys.exit(1)
3600
3606
            # End of Avahi example code
3601
3607
 
3602
 
        GLib.io_add_watch(tcp_server.fileno(), GLib.IO_IN,
3603
 
                          lambda *args, **kwargs:
3604
 
                          (tcp_server.handle_request
3605
 
                           (*args[2:], **kwargs) or True))
 
3608
        GLib.io_add_watch(
 
3609
            GLib.IOChannel.unix_new(tcp_server.fileno()),
 
3610
            GLib.PRIORITY_DEFAULT, GLib.IO_IN,
 
3611
            lambda *args, **kwargs: (tcp_server.handle_request
 
3612
                                     (*args[2:], **kwargs) or True))
3606
3613
 
3607
3614
        logger.debug("Starting main loop")
3608
3615
        main_loop.run()
3618
3625
    # Must run before the D-Bus bus name gets deregistered
3619
3626
    cleanup()
3620
3627
 
 
3628
 
 
3629
def should_only_run_tests():
 
3630
    parser = argparse.ArgumentParser(add_help=False)
 
3631
    parser.add_argument("--check", action='store_true')
 
3632
    args, unknown_args = parser.parse_known_args()
 
3633
    run_tests = args.check
 
3634
    if run_tests:
 
3635
        # Remove --check argument from sys.argv
 
3636
        sys.argv[1:] = unknown_args
 
3637
    return run_tests
 
3638
 
 
3639
# Add all tests from doctest strings
 
3640
def load_tests(loader, tests, none):
 
3641
    import doctest
 
3642
    tests.addTests(doctest.DocTestSuite())
 
3643
    return tests
3621
3644
 
3622
3645
if __name__ == '__main__':
3623
 
    main()
 
3646
    try:
 
3647
        if should_only_run_tests():
 
3648
            # Call using ./mandos --check [--verbose]
 
3649
            unittest.main()
 
3650
        else:
 
3651
            main()
 
3652
    finally:
 
3653
        logging.shutdown()