/mandos/trunk

To get this branch, use:
bzr branch http://bzr.recompile.se/loggerhead/mandos/trunk

« back to all changes in this revision

Viewing changes to mandos

  • Committer: Teddy Hogeborn
  • Date: 2019-08-24 14:46:13 UTC
  • Revision ID: teddy@recompile.se-20190824144613-z46mn4m8v5x2ifnj
Server: Show Python warnings

* mandos: Show Python warnings, and use the logging system to do it.

Show diffs side-by-side

added added

removed removed

Lines of Context:
mandos
1
1
#!/usr/bin/python
2
 
# -*- mode: python; coding: utf-8 -*-
 
2
# -*- mode: python; after-save-hook: (lambda () (let ((command (if (fboundp 'file-local-name) (file-local-name (buffer-file-name)) (or (file-remote-p (buffer-file-name) 'localname) (buffer-file-name))))) (if (= (progn (if (get-buffer "*Test*") (kill-buffer "*Test*")) (process-file-shell-command (format "%s --check" (shell-quote-argument command)) nil "*Test*")) 0) (let ((w (get-buffer-window "*Test*"))) (if w (delete-window w))) (progn (with-current-buffer "*Test*" (compilation-mode)) (display-buffer "*Test*" '(display-buffer-in-side-window)))))); coding: utf-8 -*-
3
3
#
4
4
# Mandos server - give out binary blobs to connecting clients.
5
5
#
77
77
import itertools
78
78
import collections
79
79
import codecs
 
80
import unittest
80
81
 
81
82
import dbus
82
83
import dbus.service
 
84
import gi
83
85
from gi.repository import GLib
84
86
from dbus.mainloop.glib import DBusGMainLoop
85
87
import ctypes
87
89
import xml.dom.minidom
88
90
import inspect
89
91
 
 
92
if sys.version_info.major == 2:
 
93
    __metaclass__ = type
 
94
 
 
95
# Show warnings by default
 
96
if not sys.warnoptions:
 
97
    import warnings
 
98
    warnings.simplefilter("default")
 
99
 
90
100
# Try to find the value of SO_BINDTODEVICE:
91
101
try:
92
102
    # This is where SO_BINDTODEVICE is in Python 3.3 (or 3.4?) and
115
125
if sys.version_info.major == 2:
116
126
    str = unicode
117
127
 
118
 
version = "1.8.3"
 
128
if sys.version_info < (3, 2):
 
129
    configparser.Configparser = configparser.SafeConfigParser
 
130
 
 
131
version = "1.8.8"
119
132
stored_state_file = "clients.pickle"
120
133
 
121
134
logger = logging.getLogger()
 
135
logging.captureWarnings(True)   # Show warnings via the logging system
122
136
syslogger = None
123
137
 
124
138
try:
179
193
    pass
180
194
 
181
195
 
182
 
class PGPEngine(object):
 
196
class PGPEngine:
183
197
    """A simple class for OpenPGP symmetric encryption & decryption"""
184
198
 
185
199
    def __init__(self):
275
289
 
276
290
 
277
291
# Pretend that we have an Avahi module
278
 
class Avahi(object):
279
 
    """This isn't so much a class as it is a module-like namespace.
280
 
    It is instantiated once, and simulates having an Avahi module."""
 
292
class avahi:
 
293
    """This isn't so much a class as it is a module-like namespace."""
281
294
    IF_UNSPEC = -1               # avahi-common/address.h
282
295
    PROTO_UNSPEC = -1            # avahi-common/address.h
283
296
    PROTO_INET = 0               # avahi-common/address.h
287
300
    DBUS_INTERFACE_SERVER = DBUS_NAME + ".Server"
288
301
    DBUS_PATH_SERVER = "/"
289
302
 
290
 
    def string_array_to_txt_array(self, t):
 
303
    @staticmethod
 
304
    def string_array_to_txt_array(t):
291
305
        return dbus.Array((dbus.ByteArray(s.encode("utf-8"))
292
306
                           for s in t), signature="ay")
293
307
    ENTRY_GROUP_ESTABLISHED = 2  # avahi-common/defs.h
298
312
    SERVER_RUNNING = 2           # avahi-common/defs.h
299
313
    SERVER_COLLISION = 3         # avahi-common/defs.h
300
314
    SERVER_FAILURE = 4           # avahi-common/defs.h
301
 
avahi = Avahi()
302
315
 
303
316
 
304
317
class AvahiError(Exception):
316
329
    pass
317
330
 
318
331
 
319
 
class AvahiService(object):
 
332
class AvahiService:
320
333
    """An Avahi (Zeroconf) service.
321
334
 
322
335
    Attributes:
504
517
 
505
518
 
506
519
# Pretend that we have a GnuTLS module
507
 
class GnuTLS(object):
508
 
    """This isn't so much a class as it is a module-like namespace.
509
 
    It is instantiated once, and simulates having a GnuTLS module."""
 
520
class gnutls:
 
521
    """This isn't so much a class as it is a module-like namespace."""
510
522
 
511
523
    library = ctypes.util.find_library("gnutls")
512
524
    if library is None:
513
525
        library = ctypes.util.find_library("gnutls-deb0")
514
526
    _library = ctypes.cdll.LoadLibrary(library)
515
527
    del library
516
 
    _need_version = b"3.3.0"
517
 
    _tls_rawpk_version = b"3.6.6"
518
 
 
519
 
    def __init__(self):
520
 
        # Need to use "self" here, since this method is called before
521
 
        # the assignment to the "gnutls" global variable happens.
522
 
        if self.check_version(self._need_version) is None:
523
 
            raise self.Error("Needs GnuTLS {} or later"
524
 
                             .format(self._need_version))
525
528
 
526
529
    # Unless otherwise indicated, the constants and types below are
527
530
    # all from the gnutls/gnutls.h C header file.
569
572
 
570
573
    # Exceptions
571
574
    class Error(Exception):
572
 
        # We need to use the class name "GnuTLS" here, since this
573
 
        # exception might be raised from within GnuTLS.__init__,
574
 
        # which is called before the assignment to the "gnutls"
575
 
        # global variable has happened.
576
575
        def __init__(self, message=None, code=None, args=()):
577
576
            # Default usage is by a message string, but if a return
578
577
            # code is passed, convert it to a string with
579
578
            # gnutls.strerror()
580
579
            self.code = code
581
580
            if message is None and code is not None:
582
 
                message = GnuTLS.strerror(code)
583
 
            return super(GnuTLS.Error, self).__init__(
 
581
                message = gnutls.strerror(code)
 
582
            return super(gnutls.Error, self).__init__(
584
583
                message, *args)
585
584
 
586
585
    class CertificateSecurityError(Error):
587
586
        pass
588
587
 
589
588
    # Classes
590
 
    class Credentials(object):
 
589
    class Credentials:
591
590
        def __init__(self):
592
591
            self._c_object = gnutls.certificate_credentials_t()
593
592
            gnutls.certificate_allocate_credentials(
597
596
        def __del__(self):
598
597
            gnutls.certificate_free_credentials(self._c_object)
599
598
 
600
 
    class ClientSession(object):
 
599
    class ClientSession:
601
600
        def __init__(self, socket, credentials=None):
602
601
            self._c_object = gnutls.session_t()
603
602
            gnutls_flags = gnutls.CLIENT
604
 
            if gnutls.check_version("3.5.6"):
 
603
            if gnutls.check_version(b"3.5.6"):
605
604
                gnutls_flags |= gnutls.NO_TICKETS
606
605
            if gnutls.has_rawpk:
607
606
                gnutls_flags |= gnutls.ENABLE_RAWPK
744
743
    check_version.argtypes = [ctypes.c_char_p]
745
744
    check_version.restype = ctypes.c_char_p
746
745
 
 
746
    _need_version = b"3.3.0"
 
747
    if check_version(_need_version) is None:
 
748
        raise self.Error("Needs GnuTLS {} or later"
 
749
                         .format(_need_version))
 
750
 
 
751
    _tls_rawpk_version = b"3.6.6"
747
752
    has_rawpk = bool(check_version(_tls_rawpk_version))
748
753
 
749
754
    if has_rawpk:
803
808
                                                    ctypes.c_size_t)]
804
809
        openpgp_crt_get_fingerprint.restype = _error_code
805
810
 
806
 
    if check_version("3.6.4"):
 
811
    if check_version(b"3.6.4"):
807
812
        certificate_type_get2 = _library.gnutls_certificate_type_get2
808
813
        certificate_type_get2.argtypes = [session_t, ctypes.c_int]
809
814
        certificate_type_get2.restype = _error_code
810
815
 
811
816
    # Remove non-public functions
812
817
    del _error_code, _retry_on_error
813
 
# Create the global "gnutls" object, simulating a module
814
 
gnutls = GnuTLS()
815
818
 
816
819
 
817
820
def call_pipe(connection,       # : multiprocessing.Connection
825
828
    connection.close()
826
829
 
827
830
 
828
 
class Client(object):
 
831
class Client:
829
832
    """A representation of a client host served by this server.
830
833
 
831
834
    Attributes:
832
835
    approved:   bool(); 'None' if not yet approved/disapproved
833
836
    approval_delay: datetime.timedelta(); Time to wait for approval
834
837
    approval_duration: datetime.timedelta(); Duration of one approval
835
 
    checker:    subprocess.Popen(); a running checker process used
836
 
                                    to see if the client lives.
837
 
                                    'None' if no process is running.
 
838
    checker: multiprocessing.Process(); a running checker process used
 
839
             to see if the client lives. 'None' if no process is
 
840
             running.
838
841
    checker_callback_tag: a GLib event source tag, or None
839
842
    checker_command: string; External command which is run to check
840
843
                     if client lives.  %() expansions are done at
1047
1050
    def checker_callback(self, source, condition, connection,
1048
1051
                         command):
1049
1052
        """The checker has completed, so take appropriate actions."""
1050
 
        self.checker_callback_tag = None
1051
 
        self.checker = None
1052
1053
        # Read return code from connection (see call_pipe)
1053
1054
        returncode = connection.recv()
1054
1055
        connection.close()
 
1056
        self.checker.join()
 
1057
        self.checker_callback_tag = None
 
1058
        self.checker = None
1055
1059
 
1056
1060
        if returncode >= 0:
1057
1061
            self.last_checker_status = returncode
2219
2223
    del _interface
2220
2224
 
2221
2225
 
2222
 
class ProxyClient(object):
 
2226
class ProxyClient:
2223
2227
    def __init__(self, child_pipe, key_id, fpr, address):
2224
2228
        self._pipe = child_pipe
2225
2229
        self._pipe.send(('init', key_id, fpr, address))
2298
2302
            approval_required = False
2299
2303
            try:
2300
2304
                if gnutls.has_rawpk:
2301
 
                    fpr = ""
 
2305
                    fpr = b""
2302
2306
                    try:
2303
2307
                        key_id = self.key_id(
2304
2308
                            self.peer_certificate(session))
2308
2312
                    logger.debug("Key ID: %s", key_id)
2309
2313
 
2310
2314
                else:
2311
 
                    key_id = ""
 
2315
                    key_id = b""
2312
2316
                    try:
2313
2317
                        fpr = self.fingerprint(
2314
2318
                            self.peer_certificate(session))
2498
2502
        return hex_fpr
2499
2503
 
2500
2504
 
2501
 
class MultiprocessingMixIn(object):
 
2505
class MultiprocessingMixIn:
2502
2506
    """Like socketserver.ThreadingMixIn, but with multiprocessing"""
2503
2507
 
2504
2508
    def sub_process_main(self, request, address):
2516
2520
        return proc
2517
2521
 
2518
2522
 
2519
 
class MultiprocessingMixInWithPipe(MultiprocessingMixIn, object):
 
2523
class MultiprocessingMixInWithPipe(MultiprocessingMixIn):
2520
2524
    """ adds a pipe to the MixIn """
2521
2525
 
2522
2526
    def process_request(self, request, client_address):
2537
2541
 
2538
2542
 
2539
2543
class IPv6_TCPServer(MultiprocessingMixInWithPipe,
2540
 
                     socketserver.TCPServer, object):
 
2544
                     socketserver.TCPServer):
2541
2545
    """IPv6-capable TCP server.  Accepts 'None' as address and/or port
2542
2546
 
2543
2547
    Attributes:
2616
2620
                    raise
2617
2621
        # Only bind(2) the socket if we really need to.
2618
2622
        if self.server_address[0] or self.server_address[1]:
 
2623
            if self.server_address[1]:
 
2624
                self.allow_reuse_address = True
2619
2625
            if not self.server_address[0]:
2620
2626
                if self.address_family == socket.AF_INET6:
2621
2627
                    any_address = "::"  # in6addr_any
2976
2982
 
2977
2983
    options = parser.parse_args()
2978
2984
 
2979
 
    if options.check:
2980
 
        import doctest
2981
 
        fail_count, test_count = doctest.testmod()
2982
 
        sys.exit(os.EX_OK if fail_count == 0 else 1)
2983
 
 
2984
2985
    # Default values for config file for server-global settings
2985
2986
    if gnutls.has_rawpk:
2986
2987
        priority = ("SECURE128:!CTYPE-X.509:+CTYPE-RAWPK:!RSA"
3006
3007
    del priority
3007
3008
 
3008
3009
    # Parse config file for server-global settings
3009
 
    server_config = configparser.SafeConfigParser(server_defaults)
 
3010
    server_config = configparser.ConfigParser(server_defaults)
3010
3011
    del server_defaults
3011
3012
    server_config.read(os.path.join(options.configdir, "mandos.conf"))
3012
 
    # Convert the SafeConfigParser object to a dict
 
3013
    # Convert the ConfigParser object to a dict
3013
3014
    server_settings = server_config.defaults()
3014
3015
    # Use the appropriate methods on the non-string config options
3015
3016
    for option in ("debug", "use_dbus", "use_ipv6", "restore",
3087
3088
                                  server_settings["servicename"])))
3088
3089
 
3089
3090
    # Parse config file with clients
3090
 
    client_config = configparser.SafeConfigParser(Client
3091
 
                                                  .client_defaults)
 
3091
    client_config = configparser.ConfigParser(Client.client_defaults)
3092
3092
    client_config.read(os.path.join(server_settings["configdir"],
3093
3093
                                    "clients.conf"))
3094
3094
 
3165
3165
        # Close all input and output, do double fork, etc.
3166
3166
        daemon()
3167
3167
 
3168
 
    # multiprocessing will use threads, so before we use GLib we need
3169
 
    # to inform GLib that threads will be used.
3170
 
    GLib.threads_init()
 
3168
    if gi.version_info < (3, 10, 2):
 
3169
        # multiprocessing will use threads, so before we use GLib we
 
3170
        # need to inform GLib that threads will be used.
 
3171
        GLib.threads_init()
3171
3172
 
3172
3173
    global main_loop
3173
3174
    # From the Avahi example code
3253
3254
                        for k in ("name", "host"):
3254
3255
                            if isinstance(value[k], bytes):
3255
3256
                                value[k] = value[k].decode("utf-8")
3256
 
                        if not value.has_key("key_id"):
 
3257
                        if "key_id" not in value:
3257
3258
                            value["key_id"] = ""
3258
 
                        elif not value.has_key("fingerprint"):
 
3259
                        elif "fingerprint" not in value:
3259
3260
                            value["fingerprint"] = ""
3260
3261
                    #  old_client_settings
3261
3262
                    # .keys()
3620
3621
    # Must run before the D-Bus bus name gets deregistered
3621
3622
    cleanup()
3622
3623
 
 
3624
 
 
3625
def should_only_run_tests():
 
3626
    parser = argparse.ArgumentParser(add_help=False)
 
3627
    parser.add_argument("--check", action='store_true')
 
3628
    args, unknown_args = parser.parse_known_args()
 
3629
    run_tests = args.check
 
3630
    if run_tests:
 
3631
        # Remove --check argument from sys.argv
 
3632
        sys.argv[1:] = unknown_args
 
3633
    return run_tests
 
3634
 
 
3635
# Add all tests from doctest strings
 
3636
def load_tests(loader, tests, none):
 
3637
    import doctest
 
3638
    tests.addTests(doctest.DocTestSuite())
 
3639
    return tests
3623
3640
 
3624
3641
if __name__ == '__main__':
3625
 
    main()
 
3642
    try:
 
3643
        if should_only_run_tests():
 
3644
            # Call using ./mandos --check [--verbose]
 
3645
            unittest.main()
 
3646
        else:
 
3647
            main()
 
3648
    finally:
 
3649
        logging.shutdown()