/mandos/trunk

To get this branch, use:
bzr branch http://bzr.recompile.se/loggerhead/mandos/trunk

« back to all changes in this revision

Viewing changes to mandos-ctl

  • Committer: Teddy Hogeborn
  • Date: 2015-05-23 20:18:34 UTC
  • mto: This revision was merged to the branch mainline in revision 756.
  • Revision ID: teddy@recompile.se-20150523201834-e89ex4ito93yni8x
mandos: Use multiprocessing module to run checkers.

For a long time, the Mandos server has occasionally logged the message
"ERROR: Child process vanished".  This was never a fatal error, but it
has been annoying and slightly worrying, since a definite cause was
not found.  One potential cause could be the "multiprocessing" and
"subprocess" modules conflicting w.r.t. SIGCHLD.  To avoid this,
change the running of checkers from using subprocess.Popen
asynchronously to instead first create a multiprocessing.Process()
(which is asynchronous) calling a function, and have that function
then call subprocess.call() (which is synchronous).  In this way, the
only thing using any asynchronous subprocesses is the multiprocessing
module.

This makes it necessary to change one small thing in the D-Bus API,
since the subprocesses.call() function does not expose the raw wait(2)
status value.

DBUS-API (CheckerCompleted): Change the second value provided by this
                             D-Bus signal from the raw wait(2) status
                             to the actual terminating signal number.
mandos (subprocess_call_pipe): New function to be called by
                               multiprocessing.Process (starting a
                               separate process).
(Client.last_checker signal): New attribute for signal which
                              terminated last checker.  Like
                              last_checker_status, only not accessible
                              via D-Bus.
(Client.checker_callback): Take new "connection" argument and use it
                           to get returncode; set last_checker_signal.
                           Return False so gobject does not call this
                           callback again.
(Client.start_checker): Start checker using a multiprocessing.Process
                        instead of a subprocess.Popen.
(ClientDBus.checker_callback): Take new "connection" argument.        Call
                               Client.checker_callback early to have
                               it set last_checker_status and
                               last_checker_signal; use those.  Change
                               second value provided to D-Bus signal
                               CheckerCompleted to use
                               last_checker_signal if checker was
                               terminated by signal.
mandos-monitor: Update to reflect DBus API change.
(MandosClientWidget.checker_completed): Take "signal" instead of
                                        "condition" argument.  Use it
                                        accordingly.  Remove dead code
                                        (os.WCOREDUMP case).

Show diffs side-by-side

added added

removed removed

Lines of Context:
mandos-ctl
1
1
#!/usr/bin/python
2
2
# -*- mode: python; coding: utf-8 -*-
3
 
#
 
3
# 
4
4
# Mandos Monitor - Control and monitor the Mandos server
5
 
#
6
 
# Copyright © 2008-2017 Teddy Hogeborn
7
 
# Copyright © 2008-2017 Björn Påhlsson
8
 
#
9
 
# This file is part of Mandos.
10
 
#
11
 
# Mandos is free software: you can redistribute it and/or modify it
12
 
# under the terms of the GNU General Public License as published by
 
5
# 
 
6
# Copyright © 2008-2015 Teddy Hogeborn
 
7
# Copyright © 2008-2015 Björn Påhlsson
 
8
# 
 
9
# This program is free software: you can redistribute it and/or modify
 
10
# it under the terms of the GNU General Public License as published by
13
11
# the Free Software Foundation, either version 3 of the License, or
14
12
# (at your option) any later version.
15
13
#
16
 
#     Mandos is distributed in the hope that it will be useful, but
17
 
#     WITHOUT ANY WARRANTY; without even the implied warranty of
 
14
#     This program is distributed in the hope that it will be useful,
 
15
#     but WITHOUT ANY WARRANTY; without even the implied warranty of
18
16
#     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19
17
#     GNU General Public License for more details.
20
 
#
 
18
# 
21
19
# You should have received a copy of the GNU General Public License
22
 
# along with Mandos.  If not, see <http://www.gnu.org/licenses/>.
23
 
#
 
20
# along with this program.  If not, see
 
21
# <http://www.gnu.org/licenses/>.
 
22
# 
24
23
# Contact the authors at <mandos@recompile.se>.
25
 
#
 
24
# 
26
25
 
27
26
from __future__ import (division, absolute_import, print_function,
28
27
                        unicode_literals)
39
38
import re
40
39
import os
41
40
import collections
42
 
import json
 
41
import doctest
43
42
 
44
43
import dbus
45
44
 
65
64
    "ApprovalDelay": "Approval Delay",
66
65
    "ApprovalDuration": "Approval Duration",
67
66
    "Checker": "Checker",
68
 
    "ExtendedTimeout": "Extended Timeout",
69
 
    "Expires": "Expires",
70
 
    "LastCheckerStatus": "Last Checker Status",
 
67
    "ExtendedTimeout": "Extended Timeout"
71
68
}
72
69
defaultkeywords = ("Name", "Enabled", "Timeout", "LastCheckedOK")
73
70
domain = "se.recompile"
75
72
server_path = "/"
76
73
server_interface = domain + ".Mandos"
77
74
client_interface = domain + ".Mandos.Client"
78
 
version = "1.7.15"
79
 
 
80
 
 
81
 
try:
82
 
    dbus.OBJECT_MANAGER_IFACE
83
 
except AttributeError:
84
 
    dbus.OBJECT_MANAGER_IFACE = "org.freedesktop.DBus.ObjectManager"
 
75
version = "1.6.9"
85
76
 
86
77
 
87
78
def milliseconds_to_string(ms):
88
79
    td = datetime.timedelta(0, 0, 0, ms)
89
 
    return ("{days}{hours:02}:{minutes:02}:{seconds:02}"
90
 
            .format(days="{}T".format(td.days) if td.days else "",
91
 
                    hours=td.seconds // 3600,
92
 
                    minutes=(td.seconds % 3600) // 60,
93
 
                    seconds=td.seconds % 60))
 
80
    return ("{days}{hours:02}:{minutes:02}:{seconds:02}".format(
 
81
        days = "{}T".format(td.days) if td.days else "",
 
82
        hours = td.seconds // 3600,
 
83
        minutes = (td.seconds % 3600) // 60,
 
84
        seconds = td.seconds % 60))
94
85
 
95
86
 
96
87
def rfc3339_duration_to_delta(duration):
97
88
    """Parse an RFC 3339 "duration" and return a datetime.timedelta
98
 
 
 
89
    
99
90
    >>> rfc3339_duration_to_delta("P7D")
100
91
    datetime.timedelta(7)
101
92
    >>> rfc3339_duration_to_delta("PT60S")
111
102
    >>> rfc3339_duration_to_delta("P1DT3M20S")
112
103
    datetime.timedelta(1, 200)
113
104
    """
114
 
 
 
105
    
115
106
    # Parsing an RFC 3339 duration with regular expressions is not
116
107
    # possible - there would have to be multiple places for the same
117
108
    # values, like seconds.  The current code, while more esoteric, is
118
109
    # cleaner without depending on a parsing library.  If Python had a
119
110
    # built-in library for parsing we would use it, but we'd like to
120
111
    # avoid excessive use of external libraries.
121
 
 
 
112
    
122
113
    # New type for defining tokens, syntax, and semantics all-in-one
123
 
    Token = collections.namedtuple("Token", (
124
 
        "regexp",  # To match token; if "value" is not None, must have
125
 
                   # a "group" containing digits
126
 
        "value",   # datetime.timedelta or None
127
 
        "followers"))           # Tokens valid after this token
 
114
    Token = collections.namedtuple("Token",
 
115
                                   ("regexp", # To match token; if
 
116
                                              # "value" is not None,
 
117
                                              # must have a "group"
 
118
                                              # containing digits
 
119
                                    "value",  # datetime.timedelta or
 
120
                                              # None
 
121
                                    "followers")) # Tokens valid after
 
122
                                                  # this token
128
123
    # RFC 3339 "duration" tokens, syntax, and semantics; taken from
129
124
    # the "duration" ABNF definition in RFC 3339, Appendix A.
130
125
    token_end = Token(re.compile(r"$"), None, frozenset())
157
152
                           frozenset((token_year, token_month,
158
153
                                      token_day, token_time,
159
154
                                      token_week)))
160
 
    # Define starting values:
161
 
    # Value so far
162
 
    value = datetime.timedelta()
 
155
    # Define starting values
 
156
    value = datetime.timedelta() # Value so far
163
157
    found_token = None
164
 
    # Following valid tokens
165
 
    followers = frozenset((token_duration, ))
166
 
    # String left to parse
167
 
    s = duration
 
158
    followers = frozenset((token_duration, )) # Following valid tokens
 
159
    s = duration                # String left to parse
168
160
    # Loop until end token is found
169
161
    while found_token is not token_end:
170
162
        # Search for any currently valid tokens
186
178
                break
187
179
        else:
188
180
            # No currently valid tokens were found
189
 
            raise ValueError("Invalid RFC 3339 duration: {!r}"
190
 
                             .format(duration))
 
181
            raise ValueError("Invalid RFC 3339 duration")
191
182
    # End token found
192
183
    return value
193
184
 
194
185
 
195
186
def string_to_delta(interval):
196
187
    """Parse a string and return a datetime.timedelta
197
 
 
198
 
    >>> string_to_delta('7d')
 
188
    
 
189
    >>> string_to_delta("7d")
199
190
    datetime.timedelta(7)
200
 
    >>> string_to_delta('60s')
 
191
    >>> string_to_delta("60s")
201
192
    datetime.timedelta(0, 60)
202
 
    >>> string_to_delta('60m')
 
193
    >>> string_to_delta("60m")
203
194
    datetime.timedelta(0, 3600)
204
 
    >>> string_to_delta('24h')
 
195
    >>> string_to_delta("24h")
205
196
    datetime.timedelta(1)
206
 
    >>> string_to_delta('1w')
 
197
    >>> string_to_delta("1w")
207
198
    datetime.timedelta(7)
208
 
    >>> string_to_delta('5m 30s')
 
199
    >>> string_to_delta("5m 30s")
209
200
    datetime.timedelta(0, 330)
210
201
    """
211
 
 
 
202
    
212
203
    try:
213
204
        return rfc3339_duration_to_delta(interval)
214
205
    except ValueError:
215
206
        pass
216
 
 
 
207
    
217
208
    value = datetime.timedelta(0)
218
209
    regexp = re.compile(r"(\d+)([dsmhw]?)")
219
 
 
 
210
    
220
211
    for num, suffix in regexp.findall(interval):
221
212
        if suffix == "d":
222
213
            value += datetime.timedelta(int(num))
241
232
                       "ApprovalDuration", "ExtendedTimeout"):
242
233
            return milliseconds_to_string(value)
243
234
        return str(value)
244
 
 
 
235
    
245
236
    # Create format string to print table rows
246
237
    format_string = " ".join("{{{key}:{width}}}".format(
247
 
        width=max(len(tablewords[key]),
248
 
                  max(len(valuetostring(client[key], key))
249
 
                      for client in clients)),
250
 
        key=key)
 
238
        width = max(len(tablewords[key]),
 
239
                    max(len(valuetostring(client[key], key))
 
240
                        for client in clients)),
 
241
        key = key)
251
242
                             for key in keywords)
252
243
    # Print header line
253
244
    print(format_string.format(**tablewords))
254
245
    for client in clients:
255
 
        print(format_string
256
 
              .format(**{key: valuetostring(client[key], key)
257
 
                         for key in keywords}))
 
246
        print(format_string.format(**{
 
247
            key: valuetostring(client[key], key)
 
248
            for key in keywords }))
258
249
 
259
250
 
260
251
def has_actions(options):
281
272
def main():
282
273
    parser = argparse.ArgumentParser()
283
274
    parser.add_argument("--version", action="version",
284
 
                        version="%(prog)s {}".format(version),
 
275
                        version = "%(prog)s {}".format(version),
285
276
                        help="show version number and exit")
286
277
    parser.add_argument("-a", "--all", action="store_true",
287
278
                        help="Select all clients")
288
279
    parser.add_argument("-v", "--verbose", action="store_true",
289
280
                        help="Print all fields")
290
 
    parser.add_argument("-j", "--dump-json", action="store_true",
291
 
                        help="Dump client data in JSON format")
292
281
    parser.add_argument("-e", "--enable", action="store_true",
293
282
                        help="Enable client")
294
283
    parser.add_argument("-d", "--disable", action="store_true",
333
322
                        help="Run self-test")
334
323
    parser.add_argument("client", nargs="*", help="Client name")
335
324
    options = parser.parse_args()
336
 
 
 
325
    
337
326
    if has_actions(options) and not (options.client or options.all):
338
327
        parser.error("Options require clients names or --all.")
339
328
    if options.verbose and has_actions(options):
340
 
        parser.error("--verbose can only be used alone.")
341
 
    if options.dump_json and (options.verbose
342
 
                              or has_actions(options)):
343
 
        parser.error("--dump-json can only be used alone.")
 
329
        parser.error("--verbose can only be used alone or with"
 
330
                     " --all.")
344
331
    if options.all and not has_actions(options):
345
332
        parser.error("--all requires an action.")
346
333
 
347
334
    if options.check:
348
 
        import doctest
349
335
        fail_count, test_count = doctest.testmod()
350
336
        sys.exit(os.EX_OK if fail_count == 0 else 1)
351
 
 
 
337
    
352
338
    try:
353
339
        bus = dbus.SystemBus()
354
340
        mandos_dbus_objc = bus.get_object(busname, server_path)
355
341
    except dbus.exceptions.DBusException:
356
342
        print("Could not connect to Mandos server", file=sys.stderr)
357
343
        sys.exit(1)
358
 
 
 
344
    
359
345
    mandos_serv = dbus.Interface(mandos_dbus_objc,
360
 
                                 dbus_interface=server_interface)
361
 
    mandos_serv_object_manager = dbus.Interface(
362
 
        mandos_dbus_objc, dbus_interface=dbus.OBJECT_MANAGER_IFACE)
363
 
 
364
 
    # block stderr since dbus library prints to stderr
 
346
                                 dbus_interface = server_interface)
 
347
    
 
348
    #block stderr since dbus library prints to stderr
365
349
    null = os.open(os.path.devnull, os.O_RDWR)
366
350
    stderrcopy = os.dup(sys.stderr.fileno())
367
351
    os.dup2(null, sys.stderr.fileno())
368
352
    os.close(null)
369
353
    try:
370
354
        try:
371
 
            mandos_clients = {path: ifs_and_props[client_interface]
372
 
                              for path, ifs_and_props in
373
 
                              mandos_serv_object_manager
374
 
                              .GetManagedObjects().items()
375
 
                              if client_interface in ifs_and_props}
 
355
            mandos_clients = mandos_serv.GetAllClientsWithProperties()
376
356
        finally:
377
 
            # restore stderr
 
357
            #restore stderr
378
358
            os.dup2(stderrcopy, sys.stderr.fileno())
379
359
            os.close(stderrcopy)
380
 
    except dbus.exceptions.DBusException as e:
381
 
        print("Access denied: "
382
 
              "Accessing mandos server through D-Bus: {}".format(e),
 
360
    except dbus.exceptions.DBusException:
 
361
        print("Access denied: Accessing mandos server through dbus.",
383
362
              file=sys.stderr)
384
363
        sys.exit(1)
385
 
 
 
364
    
386
365
    # Compile dict of (clients: properties) to process
387
 
    clients = {}
388
 
 
 
366
    clients={}
 
367
    
389
368
    if options.all or not options.client:
390
 
        clients = {bus.get_object(busname, path): properties
391
 
                   for path, properties in mandos_clients.items()}
 
369
        clients = { bus.get_object(busname, path): properties
 
370
                    for path, properties in mandos_clients.items() }
392
371
    else:
393
372
        for name in options.client:
394
373
            for path, client in mandos_clients.items():
400
379
                print("Client not found on server: {!r}"
401
380
                      .format(name), file=sys.stderr)
402
381
                sys.exit(1)
403
 
 
 
382
    
404
383
    if not has_actions(options) and clients:
405
 
        if options.verbose or options.dump_json:
 
384
        if options.verbose:
406
385
            keywords = ("Name", "Enabled", "Timeout", "LastCheckedOK",
407
386
                        "Created", "Interval", "Host", "Fingerprint",
408
387
                        "CheckerRunning", "LastEnabled",
409
388
                        "ApprovalPending", "ApprovedByDefault",
410
389
                        "LastApprovalRequest", "ApprovalDelay",
411
390
                        "ApprovalDuration", "Checker",
412
 
                        "ExtendedTimeout", "Expires",
413
 
                        "LastCheckerStatus")
 
391
                        "ExtendedTimeout")
414
392
        else:
415
393
            keywords = defaultkeywords
416
 
 
417
 
        if options.dump_json:
418
 
            json.dump({client["Name"]: {key:
419
 
                                        bool(client[key])
420
 
                                        if isinstance(client[key],
421
 
                                                      dbus.Boolean)
422
 
                                        else client[key]
423
 
                                        for key in keywords}
424
 
                       for client in clients.values()},
425
 
                      fp=sys.stdout, indent=4,
426
 
                      separators=(',', ': '))
427
 
            print()
428
 
        else:
429
 
            print_clients(clients.values(), keywords)
 
394
        
 
395
        print_clients(clients.values(), keywords)
430
396
    else:
431
397
        # Process each client in the list by all selected options
432
398
        for client in clients:
433
 
 
 
399
            
434
400
            def set_client_prop(prop, value):
435
401
                """Set a Client D-Bus property"""
436
402
                client.Set(client_interface, prop, value,
437
403
                           dbus_interface=dbus.PROPERTIES_IFACE)
438
 
 
 
404
            
439
405
            def set_client_prop_ms(prop, value):
440
406
                """Set a Client D-Bus property, converted
441
407
                from a string to milliseconds."""
442
408
                set_client_prop(prop,
443
409
                                string_to_delta(value).total_seconds()
444
410
                                * 1000)
445
 
 
 
411
            
446
412
            if options.remove:
447
413
                mandos_serv.RemoveClient(client.__dbus_object_path__)
448
414
            if options.enable:
456
422
            if options.stop_checker:
457
423
                set_client_prop("CheckerRunning", dbus.Boolean(False))
458
424
            if options.is_enabled:
459
 
                if client.Get(client_interface, "Enabled",
460
 
                              dbus_interface=dbus.PROPERTIES_IFACE):
461
 
                    sys.exit(0)
462
 
                else:
463
 
                    sys.exit(1)
 
425
                sys.exit(0 if client.Get(client_interface,
 
426
                                         "Enabled",
 
427
                                         dbus_interface=
 
428
                                         dbus.PROPERTIES_IFACE)
 
429
                         else 1)
464
430
            if options.checker is not None:
465
431
                set_client_prop("Checker", options.checker)
466
432
            if options.host is not None: