/mandos/trunk

To get this branch, use:
bzr branch http://bzr.recompile.se/loggerhead/mandos/trunk

« back to all changes in this revision

Viewing changes to mandos-ctl

  • Committer: Teddy Hogeborn
  • Date: 2015-05-23 20:18:34 UTC
  • mto: This revision was merged to the branch mainline in revision 756.
  • Revision ID: teddy@recompile.se-20150523201834-e89ex4ito93yni8x
mandos: Use multiprocessing module to run checkers.

For a long time, the Mandos server has occasionally logged the message
"ERROR: Child process vanished".  This was never a fatal error, but it
has been annoying and slightly worrying, since a definite cause was
not found.  One potential cause could be the "multiprocessing" and
"subprocess" modules conflicting w.r.t. SIGCHLD.  To avoid this,
change the running of checkers from using subprocess.Popen
asynchronously to instead first create a multiprocessing.Process()
(which is asynchronous) calling a function, and have that function
then call subprocess.call() (which is synchronous).  In this way, the
only thing using any asynchronous subprocesses is the multiprocessing
module.

This makes it necessary to change one small thing in the D-Bus API,
since the subprocesses.call() function does not expose the raw wait(2)
status value.

DBUS-API (CheckerCompleted): Change the second value provided by this
                             D-Bus signal from the raw wait(2) status
                             to the actual terminating signal number.
mandos (subprocess_call_pipe): New function to be called by
                               multiprocessing.Process (starting a
                               separate process).
(Client.last_checker signal): New attribute for signal which
                              terminated last checker.  Like
                              last_checker_status, only not accessible
                              via D-Bus.
(Client.checker_callback): Take new "connection" argument and use it
                           to get returncode; set last_checker_signal.
                           Return False so gobject does not call this
                           callback again.
(Client.start_checker): Start checker using a multiprocessing.Process
                        instead of a subprocess.Popen.
(ClientDBus.checker_callback): Take new "connection" argument.        Call
                               Client.checker_callback early to have
                               it set last_checker_status and
                               last_checker_signal; use those.  Change
                               second value provided to D-Bus signal
                               CheckerCompleted to use
                               last_checker_signal if checker was
                               terminated by signal.
mandos-monitor: Update to reflect DBus API change.
(MandosClientWidget.checker_completed): Take "signal" instead of
                                        "condition" argument.  Use it
                                        accordingly.  Remove dead code
                                        (os.WCOREDUMP case).

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
1
#!/usr/bin/python
2
2
# -*- mode: python; coding: utf-8 -*-
3
 
#
 
3
4
4
# Mandos Monitor - Control and monitor the Mandos server
5
 
#
6
 
# Copyright © 2008-2019 Teddy Hogeborn
7
 
# Copyright © 2008-2019 Björn Påhlsson
8
 
#
9
 
# This file is part of Mandos.
10
 
#
11
 
# Mandos is free software: you can redistribute it and/or modify it
12
 
# under the terms of the GNU General Public License as published by
 
5
 
6
# Copyright © 2008-2015 Teddy Hogeborn
 
7
# Copyright © 2008-2015 Björn Påhlsson
 
8
 
9
# This program is free software: you can redistribute it and/or modify
 
10
# it under the terms of the GNU General Public License as published by
13
11
# the Free Software Foundation, either version 3 of the License, or
14
12
# (at your option) any later version.
15
13
#
16
 
#     Mandos is distributed in the hope that it will be useful, but
17
 
#     WITHOUT ANY WARRANTY; without even the implied warranty of
 
14
#     This program is distributed in the hope that it will be useful,
 
15
#     but WITHOUT ANY WARRANTY; without even the implied warranty of
18
16
#     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19
17
#     GNU General Public License for more details.
20
 
#
 
18
21
19
# You should have received a copy of the GNU General Public License
22
 
# along with Mandos.  If not, see <http://www.gnu.org/licenses/>.
23
 
#
 
20
# along with this program.  If not, see
 
21
# <http://www.gnu.org/licenses/>.
 
22
24
23
# Contact the authors at <mandos@recompile.se>.
25
 
#
 
24
26
25
 
27
26
from __future__ import (division, absolute_import, print_function,
28
27
                        unicode_literals)
39
38
import re
40
39
import os
41
40
import collections
42
 
import json
 
41
import doctest
43
42
 
44
43
import dbus
45
44
 
58
57
    "Interval": "Interval",
59
58
    "Host": "Host",
60
59
    "Fingerprint": "Fingerprint",
61
 
    "KeyID": "Key ID",
62
60
    "CheckerRunning": "Check Is Running",
63
61
    "LastEnabled": "Last Enabled",
64
62
    "ApprovalPending": "Approval Is Pending",
66
64
    "ApprovalDelay": "Approval Delay",
67
65
    "ApprovalDuration": "Approval Duration",
68
66
    "Checker": "Checker",
69
 
    "ExtendedTimeout": "Extended Timeout",
70
 
    "Expires": "Expires",
71
 
    "LastCheckerStatus": "Last Checker Status",
 
67
    "ExtendedTimeout": "Extended Timeout"
72
68
}
73
69
defaultkeywords = ("Name", "Enabled", "Timeout", "LastCheckedOK")
74
70
domain = "se.recompile"
76
72
server_path = "/"
77
73
server_interface = domain + ".Mandos"
78
74
client_interface = domain + ".Mandos.Client"
79
 
version = "1.8.3"
80
 
 
81
 
 
82
 
try:
83
 
    dbus.OBJECT_MANAGER_IFACE
84
 
except AttributeError:
85
 
    dbus.OBJECT_MANAGER_IFACE = "org.freedesktop.DBus.ObjectManager"
 
75
version = "1.6.9"
86
76
 
87
77
 
88
78
def milliseconds_to_string(ms):
89
79
    td = datetime.timedelta(0, 0, 0, ms)
90
 
    return ("{days}{hours:02}:{minutes:02}:{seconds:02}"
91
 
            .format(days="{}T".format(td.days) if td.days else "",
92
 
                    hours=td.seconds // 3600,
93
 
                    minutes=(td.seconds % 3600) // 60,
94
 
                    seconds=td.seconds % 60))
 
80
    return ("{days}{hours:02}:{minutes:02}:{seconds:02}".format(
 
81
        days = "{}T".format(td.days) if td.days else "",
 
82
        hours = td.seconds // 3600,
 
83
        minutes = (td.seconds % 3600) // 60,
 
84
        seconds = td.seconds % 60))
95
85
 
96
86
 
97
87
def rfc3339_duration_to_delta(duration):
98
88
    """Parse an RFC 3339 "duration" and return a datetime.timedelta
99
 
 
 
89
    
100
90
    >>> rfc3339_duration_to_delta("P7D")
101
91
    datetime.timedelta(7)
102
92
    >>> rfc3339_duration_to_delta("PT60S")
112
102
    >>> rfc3339_duration_to_delta("P1DT3M20S")
113
103
    datetime.timedelta(1, 200)
114
104
    """
115
 
 
 
105
    
116
106
    # Parsing an RFC 3339 duration with regular expressions is not
117
107
    # possible - there would have to be multiple places for the same
118
108
    # values, like seconds.  The current code, while more esoteric, is
119
109
    # cleaner without depending on a parsing library.  If Python had a
120
110
    # built-in library for parsing we would use it, but we'd like to
121
111
    # avoid excessive use of external libraries.
122
 
 
 
112
    
123
113
    # New type for defining tokens, syntax, and semantics all-in-one
124
 
    Token = collections.namedtuple("Token", (
125
 
        "regexp",  # To match token; if "value" is not None, must have
126
 
                   # a "group" containing digits
127
 
        "value",   # datetime.timedelta or None
128
 
        "followers"))           # Tokens valid after this token
 
114
    Token = collections.namedtuple("Token",
 
115
                                   ("regexp", # To match token; if
 
116
                                              # "value" is not None,
 
117
                                              # must have a "group"
 
118
                                              # containing digits
 
119
                                    "value",  # datetime.timedelta or
 
120
                                              # None
 
121
                                    "followers")) # Tokens valid after
 
122
                                                  # this token
129
123
    # RFC 3339 "duration" tokens, syntax, and semantics; taken from
130
124
    # the "duration" ABNF definition in RFC 3339, Appendix A.
131
125
    token_end = Token(re.compile(r"$"), None, frozenset())
158
152
                           frozenset((token_year, token_month,
159
153
                                      token_day, token_time,
160
154
                                      token_week)))
161
 
    # Define starting values:
162
 
    # Value so far
163
 
    value = datetime.timedelta()
 
155
    # Define starting values
 
156
    value = datetime.timedelta() # Value so far
164
157
    found_token = None
165
 
    # Following valid tokens
166
 
    followers = frozenset((token_duration, ))
167
 
    # String left to parse
168
 
    s = duration
 
158
    followers = frozenset((token_duration, )) # Following valid tokens
 
159
    s = duration                # String left to parse
169
160
    # Loop until end token is found
170
161
    while found_token is not token_end:
171
162
        # Search for any currently valid tokens
187
178
                break
188
179
        else:
189
180
            # No currently valid tokens were found
190
 
            raise ValueError("Invalid RFC 3339 duration: {!r}"
191
 
                             .format(duration))
 
181
            raise ValueError("Invalid RFC 3339 duration")
192
182
    # End token found
193
183
    return value
194
184
 
195
185
 
196
186
def string_to_delta(interval):
197
187
    """Parse a string and return a datetime.timedelta
198
 
 
199
 
    >>> string_to_delta('7d')
 
188
    
 
189
    >>> string_to_delta("7d")
200
190
    datetime.timedelta(7)
201
 
    >>> string_to_delta('60s')
 
191
    >>> string_to_delta("60s")
202
192
    datetime.timedelta(0, 60)
203
 
    >>> string_to_delta('60m')
 
193
    >>> string_to_delta("60m")
204
194
    datetime.timedelta(0, 3600)
205
 
    >>> string_to_delta('24h')
 
195
    >>> string_to_delta("24h")
206
196
    datetime.timedelta(1)
207
 
    >>> string_to_delta('1w')
 
197
    >>> string_to_delta("1w")
208
198
    datetime.timedelta(7)
209
 
    >>> string_to_delta('5m 30s')
 
199
    >>> string_to_delta("5m 30s")
210
200
    datetime.timedelta(0, 330)
211
201
    """
212
 
 
 
202
    
213
203
    try:
214
204
        return rfc3339_duration_to_delta(interval)
215
205
    except ValueError:
216
206
        pass
217
 
 
 
207
    
218
208
    value = datetime.timedelta(0)
219
209
    regexp = re.compile(r"(\d+)([dsmhw]?)")
220
 
 
 
210
    
221
211
    for num, suffix in regexp.findall(interval):
222
212
        if suffix == "d":
223
213
            value += datetime.timedelta(int(num))
242
232
                       "ApprovalDuration", "ExtendedTimeout"):
243
233
            return milliseconds_to_string(value)
244
234
        return str(value)
245
 
 
 
235
    
246
236
    # Create format string to print table rows
247
237
    format_string = " ".join("{{{key}:{width}}}".format(
248
 
        width=max(len(tablewords[key]),
249
 
                  max(len(valuetostring(client[key], key))
250
 
                      for client in clients)),
251
 
        key=key)
 
238
        width = max(len(tablewords[key]),
 
239
                    max(len(valuetostring(client[key], key))
 
240
                        for client in clients)),
 
241
        key = key)
252
242
                             for key in keywords)
253
243
    # Print header line
254
244
    print(format_string.format(**tablewords))
255
245
    for client in clients:
256
 
        print(format_string
257
 
              .format(**{key: valuetostring(client[key], key)
258
 
                         for key in keywords}))
 
246
        print(format_string.format(**{
 
247
            key: valuetostring(client[key], key)
 
248
            for key in keywords }))
259
249
 
260
250
 
261
251
def has_actions(options):
282
272
def main():
283
273
    parser = argparse.ArgumentParser()
284
274
    parser.add_argument("--version", action="version",
285
 
                        version="%(prog)s {}".format(version),
 
275
                        version = "%(prog)s {}".format(version),
286
276
                        help="show version number and exit")
287
277
    parser.add_argument("-a", "--all", action="store_true",
288
278
                        help="Select all clients")
289
279
    parser.add_argument("-v", "--verbose", action="store_true",
290
280
                        help="Print all fields")
291
 
    parser.add_argument("-j", "--dump-json", action="store_true",
292
 
                        help="Dump client data in JSON format")
293
281
    parser.add_argument("-e", "--enable", action="store_true",
294
282
                        help="Enable client")
295
283
    parser.add_argument("-d", "--disable", action="store_true",
334
322
                        help="Run self-test")
335
323
    parser.add_argument("client", nargs="*", help="Client name")
336
324
    options = parser.parse_args()
337
 
 
 
325
    
338
326
    if has_actions(options) and not (options.client or options.all):
339
327
        parser.error("Options require clients names or --all.")
340
328
    if options.verbose and has_actions(options):
341
 
        parser.error("--verbose can only be used alone.")
342
 
    if options.dump_json and (options.verbose
343
 
                              or has_actions(options)):
344
 
        parser.error("--dump-json can only be used alone.")
 
329
        parser.error("--verbose can only be used alone or with"
 
330
                     " --all.")
345
331
    if options.all and not has_actions(options):
346
332
        parser.error("--all requires an action.")
347
333
 
348
334
    if options.check:
349
 
        import doctest
350
335
        fail_count, test_count = doctest.testmod()
351
336
        sys.exit(os.EX_OK if fail_count == 0 else 1)
352
 
 
 
337
    
353
338
    try:
354
339
        bus = dbus.SystemBus()
355
340
        mandos_dbus_objc = bus.get_object(busname, server_path)
356
341
    except dbus.exceptions.DBusException:
357
342
        print("Could not connect to Mandos server", file=sys.stderr)
358
343
        sys.exit(1)
359
 
 
 
344
    
360
345
    mandos_serv = dbus.Interface(mandos_dbus_objc,
361
 
                                 dbus_interface=server_interface)
362
 
    mandos_serv_object_manager = dbus.Interface(
363
 
        mandos_dbus_objc, dbus_interface=dbus.OBJECT_MANAGER_IFACE)
364
 
 
365
 
    # block stderr since dbus library prints to stderr
 
346
                                 dbus_interface = server_interface)
 
347
    
 
348
    #block stderr since dbus library prints to stderr
366
349
    null = os.open(os.path.devnull, os.O_RDWR)
367
350
    stderrcopy = os.dup(sys.stderr.fileno())
368
351
    os.dup2(null, sys.stderr.fileno())
369
352
    os.close(null)
370
353
    try:
371
354
        try:
372
 
            mandos_clients = {path: ifs_and_props[client_interface]
373
 
                              for path, ifs_and_props in
374
 
                              mandos_serv_object_manager
375
 
                              .GetManagedObjects().items()
376
 
                              if client_interface in ifs_and_props}
 
355
            mandos_clients = mandos_serv.GetAllClientsWithProperties()
377
356
        finally:
378
 
            # restore stderr
 
357
            #restore stderr
379
358
            os.dup2(stderrcopy, sys.stderr.fileno())
380
359
            os.close(stderrcopy)
381
 
    except dbus.exceptions.DBusException as e:
382
 
        print("Access denied: "
383
 
              "Accessing mandos server through D-Bus: {}".format(e),
 
360
    except dbus.exceptions.DBusException:
 
361
        print("Access denied: Accessing mandos server through dbus.",
384
362
              file=sys.stderr)
385
363
        sys.exit(1)
386
 
 
 
364
    
387
365
    # Compile dict of (clients: properties) to process
388
 
    clients = {}
389
 
 
 
366
    clients={}
 
367
    
390
368
    if options.all or not options.client:
391
 
        clients = {bus.get_object(busname, path): properties
392
 
                   for path, properties in mandos_clients.items()}
 
369
        clients = { bus.get_object(busname, path): properties
 
370
                    for path, properties in mandos_clients.items() }
393
371
    else:
394
372
        for name in options.client:
395
373
            for path, client in mandos_clients.items():
401
379
                print("Client not found on server: {!r}"
402
380
                      .format(name), file=sys.stderr)
403
381
                sys.exit(1)
404
 
 
 
382
    
405
383
    if not has_actions(options) and clients:
406
 
        if options.verbose or options.dump_json:
 
384
        if options.verbose:
407
385
            keywords = ("Name", "Enabled", "Timeout", "LastCheckedOK",
408
 
                        "Created", "Interval", "Host", "KeyID",
409
 
                        "Fingerprint", "CheckerRunning",
410
 
                        "LastEnabled", "ApprovalPending",
411
 
                        "ApprovedByDefault", "LastApprovalRequest",
412
 
                        "ApprovalDelay", "ApprovalDuration",
413
 
                        "Checker", "ExtendedTimeout", "Expires",
414
 
                        "LastCheckerStatus")
 
386
                        "Created", "Interval", "Host", "Fingerprint",
 
387
                        "CheckerRunning", "LastEnabled",
 
388
                        "ApprovalPending", "ApprovedByDefault",
 
389
                        "LastApprovalRequest", "ApprovalDelay",
 
390
                        "ApprovalDuration", "Checker",
 
391
                        "ExtendedTimeout")
415
392
        else:
416
393
            keywords = defaultkeywords
417
 
 
418
 
        if options.dump_json:
419
 
            json.dump({client["Name"]: {key:
420
 
                                        bool(client[key])
421
 
                                        if isinstance(client[key],
422
 
                                                      dbus.Boolean)
423
 
                                        else client[key]
424
 
                                        for key in keywords}
425
 
                       for client in clients.values()},
426
 
                      fp=sys.stdout, indent=4,
427
 
                      separators=(',', ': '))
428
 
            print()
429
 
        else:
430
 
            print_clients(clients.values(), keywords)
 
394
        
 
395
        print_clients(clients.values(), keywords)
431
396
    else:
432
397
        # Process each client in the list by all selected options
433
398
        for client in clients:
434
 
 
 
399
            
435
400
            def set_client_prop(prop, value):
436
401
                """Set a Client D-Bus property"""
437
402
                client.Set(client_interface, prop, value,
438
403
                           dbus_interface=dbus.PROPERTIES_IFACE)
439
 
 
 
404
            
440
405
            def set_client_prop_ms(prop, value):
441
406
                """Set a Client D-Bus property, converted
442
407
                from a string to milliseconds."""
443
408
                set_client_prop(prop,
444
409
                                string_to_delta(value).total_seconds()
445
410
                                * 1000)
446
 
 
 
411
            
447
412
            if options.remove:
448
413
                mandos_serv.RemoveClient(client.__dbus_object_path__)
449
414
            if options.enable:
457
422
            if options.stop_checker:
458
423
                set_client_prop("CheckerRunning", dbus.Boolean(False))
459
424
            if options.is_enabled:
460
 
                if client.Get(client_interface, "Enabled",
461
 
                              dbus_interface=dbus.PROPERTIES_IFACE):
462
 
                    sys.exit(0)
463
 
                else:
464
 
                    sys.exit(1)
 
425
                sys.exit(0 if client.Get(client_interface,
 
426
                                         "Enabled",
 
427
                                         dbus_interface=
 
428
                                         dbus.PROPERTIES_IFACE)
 
429
                         else 1)
465
430
            if options.checker is not None:
466
431
                set_client_prop("Checker", options.checker)
467
432
            if options.host is not None: