DAOS API: src/include/daos_prop.h Source File

| DAOS API (v2.1 - dev)

Loading...
Searching...
No Matches
daos_prop.h
1
10
11#ifndef __DAOS_PROP_H__
12#define __DAOS_PROP_H__
13
14#if defined(__cplusplus)
15extern "C" {
16#endif
17
18#include <ctype.h>
19#include <daos_types.h>
20
25enum daos_pool_props {
26 DAOS_PROP_PO_MIN = 0,
31 DAOS_PROP_PO_LABEL,
38 DAOS_PROP_PO_ACL,
43 DAOS_PROP_PO_SPACE_RB,
49 DAOS_PROP_PO_SELF_HEAL,
56 DAOS_PROP_PO_RECLAIM,
61 DAOS_PROP_PO_OWNER,
66 DAOS_PROP_PO_OWNER_GROUP,
70 DAOS_PROP_PO_SVC_LIST,
74 DAOS_PROP_PO_EC_CELL_SZ,
78 DAOS_PROP_PO_DATA_THRESH,
82 DAOS_PROP_PO_REDUN_FAC,
86 DAOS_PROP_PO_EC_PDA,
91 DAOS_PROP_PO_RP_PDA,
92
97 DAOS_PROP_PO_GLOBAL_VERSION,
101 DAOS_PROP_PO_UPGRADE_STATUS,
102 /*
103 * Schedule that the checksum scrubber will run. See
104 * DAOS_SCRUBBER_SCHED_*
105 *
106 * default: DAOS_SCRUB_MODE_OFF
107 */
108 DAOS_PROP_PO_SCRUB_MODE,
114 DAOS_PROP_PO_SCRUB_FREQ,
120 DAOS_PROP_PO_SCRUB_THRESH,
124 DAOS_PROP_PO_SVC_REDUN_FAC,
126 DAOS_PROP_PO_OBJ_VERSION,
130 DAOS_PROP_PO_PERF_DOMAIN,
132 DAOS_PROP_PO_CHECKPOINT_MODE,
134 DAOS_PROP_PO_CHECKPOINT_FREQ,
136 DAOS_PROP_PO_CHECKPOINT_THRESH,
138 DAOS_PROP_PO_REINT_MODE,
140 DAOS_PROP_PO_SVC_OPS_ENABLED,
142 DAOS_PROP_PO_SVC_OPS_ENTRY_AGE,
143 DAOS_PROP_PO_MAX,
144};
145
146#define DAOS_PROP_PO_NUM (DAOS_PROP_PO_MAX - DAOS_PROP_PO_MIN - 1)
147
148#define DAOS_PROP_PO_EC_CELL_SZ_MIN (1UL << 10)
149#define DAOS_PROP_PO_EC_CELL_SZ_MAX (1UL << 30)
150
151#define DAOS_PROP_PO_REDUN_FAC_MAX 4
152#define DAOS_PROP_PO_REDUN_FAC_DEFAULT 3
153
154static inline bool
155daos_rf_is_valid(unsigned long long rf)
156{
157 return rf <= DAOS_PROP_PO_REDUN_FAC_MAX;
158}
159
160#define DAOS_PROP_PDA_MAX ((uint32_t)-1)
167#define DAOS_PROP_PO_RP_PDA_DEFAULT DAOS_PROP_PDA_MAX
172#define DAOS_PROP_PO_EC_PDA_DEFAULT ((uint32_t)1)
173
175enum {
176 DAOS_UPGRADE_STATUS_NOT_STARTED = 0,
177 DAOS_UPGRADE_STATUS_IN_PROGRESS = 1,
178 DAOS_UPGRADE_STATUS_COMPLETED = 2,
179 DAOS_UPGRADE_STATUS_FAILED = 3,
180};
181
182#define DAOS_PROP_PO_SVC_REDUN_FAC_MAX 4
183#define DAOS_PROP_PO_SVC_REDUN_FAC_DEFAULT 2
184
185static inline bool
186daos_svc_rf_is_valid(uint64_t svc_rf)
187{
188 return svc_rf <= DAOS_PROP_PO_SVC_REDUN_FAC_MAX;
189}
190
194enum {
195 DAOS_PROP_PERF_DOMAIN_ROOT = 255,
196 DAOS_PROP_PERF_DOMAIN_GROUP = 200,
197};
198
202#define DAOS_PROP_PO_PERF_DOMAIN_DEFAULT DAOS_PROP_PERF_DOMAIN_ROOT
203#define DAOS_PROP_CO_PERF_DOMAIN_DEFAULT DAOS_PROP_PERF_DOMAIN_ROOT
204
208#define DAOS_PROP_PO_NUM (DAOS_PROP_PO_MAX - DAOS_PROP_PO_MIN - 1)
209
211enum {
212 DAOS_RECLAIM_DISABLED = 0,
213 DAOS_RECLAIM_LAZY,
214 DAOS_RECLAIM_SNAPSHOT,
215 DAOS_RECLAIM_BATCH,
216 DAOS_RECLAIM_TIME,
217};
218
219enum {
220 DAOS_REINT_MODE_DATA_SYNC = 0,
221 DAOS_REINT_MODE_NO_DATA_SYNC = 1,
222 DAOS_REINT_MODE_INCREMENTAL = 2,
223};
224
228#define DAOS_PROP_PO_REINT_MODE_DEFAULT DAOS_REINT_MODE_DATA_SYNC
229
234enum {
235 DAOS_SCRUB_MODE_OFF = 0,
236 DAOS_SCRUB_MODE_LAZY = 1,
237 DAOS_SCRUB_MODE_TIMED = 2,
238 DAOS_SCRUB_MODE_INVALID = 3,
239};
240
241/* Checksum Scrubbing Defaults */
242#define DAOS_PROP_PO_SCRUB_MODE_DEFAULT DAOS_SCRUB_MODE_OFF
243
244#define DAOS_PROP_PO_SCRUB_FREQ_DEFAULT 604800 /* 1 week in seconds */
245#define DAOS_PROP_PO_SCRUB_THRESH_DEFAULT 0
246
248enum {
249 DAOS_CHECKPOINT_DISABLED = 0,
250 DAOS_CHECKPOINT_TIMED,
251 DAOS_CHECKPOINT_LAZY,
252};
253
254#define DAOS_PROP_PO_CHECKPOINT_MODE_DEFAULT DAOS_CHECKPOINT_TIMED
255#define DAOS_PROP_PO_CHECKPOINT_FREQ_DEFAULT 5 /* 5 seconds */
256#define DAOS_PROP_PO_CHECKPOINT_FREQ_MIN 1 /* 1 seconds */
257#define DAOS_PROP_PO_CHECKPOINT_FREQ_MAX (1 << 20) /* 1 million seconds */
258#define DAOS_PROP_PO_CHECKPOINT_THRESH_DEFAULT 50 /* 50 % WAL capacity */
259#define DAOS_PROP_PO_CHECKPOINT_THRESH_MAX 75 /* 75 % WAL capacity */
260#define DAOS_PROP_PO_CHECKPOINT_THRESH_MIN 10 /* 10 % WAL capacity */
261#define DAOS_PROP_PO_SVC_OPS_ENABLED_DEFAULT 1 /* true: enabled by default */
262#define DAOS_PROP_PO_SVC_OPS_ENTRY_AGE_DEFAULT 300 /* 300 seconds */
263#define DAOS_PROP_PO_SVC_OPS_ENTRY_AGE_MIN 60 /* 60 seconds */
264#define DAOS_PROP_PO_SVC_OPS_ENTRY_AGE_MAX 600 /* 600 seconds */
265
267#define DAOS_SELF_HEAL_AUTO_EXCLUDE (1U << 0)
268#define DAOS_SELF_HEAL_AUTO_REBUILD (1U << 1)
269#define DAOS_SELF_HEAL_DELAY_REBUILD (1U << 2)
270
275enum daos_cont_props {
276 DAOS_PROP_CO_MIN = 0x1000,
281 DAOS_PROP_CO_LABEL,
286 DAOS_PROP_CO_LAYOUT_TYPE,
291 DAOS_PROP_CO_LAYOUT_VER,
296 DAOS_PROP_CO_CSUM,
301 DAOS_PROP_CO_CSUM_CHUNK_SIZE,
306 DAOS_PROP_CO_CSUM_SERVER_VERIFY,
312 DAOS_PROP_CO_REDUN_FAC,
317 DAOS_PROP_CO_REDUN_LVL,
321 DAOS_PROP_CO_SNAPSHOT_MAX,
328 DAOS_PROP_CO_ACL,
334 DAOS_PROP_CO_COMPRESS,
344 DAOS_PROP_CO_ENCRYPT,
349 DAOS_PROP_CO_OWNER,
354 DAOS_PROP_CO_OWNER_GROUP,
361 DAOS_PROP_CO_DEDUP,
366 DAOS_PROP_CO_DEDUP_THRESHOLD,
368 DAOS_PROP_CO_ROOTS,
373 DAOS_PROP_CO_STATUS,
375 DAOS_PROP_CO_ALLOCED_OID,
377 DAOS_PROP_CO_EC_CELL_SZ,
379 DAOS_PROP_CO_EC_PDA,
381 DAOS_PROP_CO_RP_PDA,
383 DAOS_PROP_CO_GLOBAL_VERSION,
385 DAOS_PROP_CO_SCRUBBER_DISABLED,
387 DAOS_PROP_CO_OBJ_VERSION,
389 DAOS_PROP_CO_PERF_DOMAIN,
390 DAOS_PROP_CO_MAX,
391};
392
394 struct daos_prop_co_roots {
396 daos_obj_id_t cr_oids[4];
397};
398
402#define DAOS_PROP_CO_NUM (DAOS_PROP_CO_MAX - DAOS_PROP_CO_MIN - 1)
403
404typedef uint16_t daos_cont_layout_t;
405
407enum {
408 DAOS_PROP_CO_LAYOUT_UNKNOWN,
409 DAOS_PROP_CO_LAYOUT_UNKOWN = DAOS_PROP_CO_LAYOUT_UNKNOWN,
410 DAOS_PROP_CO_LAYOUT_POSIX,
411 DAOS_PROP_CO_LAYOUT_HDF5,
412 DAOS_PROP_CO_LAYOUT_PYTHON,
413 DAOS_PROP_CO_LAYOUT_SPARK,
414 DAOS_PROP_CO_LAYOUT_DATABASE,
415 DAOS_PROP_CO_LAYOUT_ROOT,
416 DAOS_PROP_CO_LAYOUT_SEISMIC,
417 DAOS_PROP_CO_LAYOUT_METEO,
418 DAOS_PROP_CO_LAYOUT_MAX
419};
420
422enum {
423 DAOS_PROP_CO_CSUM_OFF,
424 DAOS_PROP_CO_CSUM_CRC16,
425 DAOS_PROP_CO_CSUM_CRC32,
426 DAOS_PROP_CO_CSUM_CRC64,
427 DAOS_PROP_CO_CSUM_SHA1,
428 DAOS_PROP_CO_CSUM_SHA256,
429 DAOS_PROP_CO_CSUM_SHA512,
430 DAOS_PROP_CO_CSUM_ADLER32
431};
432
434enum {
435 DAOS_PROP_CO_CSUM_SV_OFF,
436 DAOS_PROP_CO_CSUM_SV_ON
437};
438
440enum {
441 DAOS_PROP_CO_DEDUP_OFF,
442 DAOS_PROP_CO_DEDUP_MEMCMP,
443 DAOS_PROP_CO_DEDUP_HASH
444};
445
447enum {
448 DAOS_PROP_CO_COMPRESS_OFF,
449 DAOS_PROP_CO_COMPRESS_LZ4,
450 DAOS_PROP_CO_COMPRESS_DEFLATE,
451 DAOS_PROP_CO_COMPRESS_DEFLATE1,
452 DAOS_PROP_CO_COMPRESS_DEFLATE2,
453 DAOS_PROP_CO_COMPRESS_DEFLATE3,
454 DAOS_PROP_CO_COMPRESS_DEFLATE4,
455};
456
458enum {
459 DAOS_PROP_CO_ENCRYPT_OFF,
460 DAOS_PROP_CO_ENCRYPT_AES_XTS128,
461 DAOS_PROP_CO_ENCRYPT_AES_XTS256,
462 DAOS_PROP_CO_ENCRYPT_AES_CBC128,
463 DAOS_PROP_CO_ENCRYPT_AES_CBC192,
464 DAOS_PROP_CO_ENCRYPT_AES_CBC256,
465 DAOS_PROP_CO_ENCRYPT_AES_GCM128,
466 DAOS_PROP_CO_ENCRYPT_AES_GCM256
467};
468
470enum {
471 DAOS_PROP_CO_REDUN_RF0 = 0,
472 DAOS_PROP_CO_REDUN_RF1 = 1,
473 DAOS_PROP_CO_REDUN_RF2 = 2,
474 DAOS_PROP_CO_REDUN_RF3 = 3,
475 DAOS_PROP_CO_REDUN_RF4 = 4,
476 DAOS_RF_MAX = 4,
477};
478
483enum {
484 DAOS_PROP_CO_REDUN_MIN = 1,
485 /* server rank (engine) level */
486 DAOS_PROP_CO_REDUN_RANK = 1,
487 /* server node level */
488 DAOS_PROP_CO_REDUN_NODE = 2,
489 /* pool fault domain level */
490 DAOS_PROP_CO_REDUN_FAULT = 3,
491 DAOS_PROP_CO_REDUN_MAX = 254,
492};
493
495#define DAOS_PROP_CO_REDUN_DEFAULT DAOS_PROP_CO_REDUN_NODE
496
498enum {
499 /* in healthy status, data protection work as expected */
500 DAOS_PROP_CO_HEALTHY,
501 /* in unclean status, data protection possibly cannot work.
502 * typical scenario - cascading failed targets exceed the container
503 * redundancy factor, that possibly cause lost data cannot be detected
504 * or rebuilt.
505 */
506 DAOS_PROP_CO_UNCLEAN,
507};
508
510#define DAOS_PROP_CO_CLEAR (0x1)
511
513 struct daos_co_status {
515 uint16_t dcs_status;
517 uint16_t dcs_flags;
519 uint32_t dcs_pm_ver;
520};
521
522#define DAOS_PROP_CO_STATUS_VAL(status, flag, pm_ver) \
523 ((((uint64_t)(flag)) << 48) | \
524 (((uint64_t)(status) & 0xFFFF) << 32) | \
525 ((uint64_t)(pm_ver)))
526
527static inline uint64_t
528daos_prop_co_status_2_val(struct daos_co_status *co_status)
529{
530 return DAOS_PROP_CO_STATUS_VAL(co_status->dcs_status,
531 co_status->dcs_flags,
532 co_status->dcs_pm_ver);
533}
534
535static inline void
536daos_prop_val_2_co_status(uint64_t val, struct daos_co_status *co_status)
537{
538 co_status->dcs_flags = (uint16_t)(val >> 48);
539 co_status->dcs_status = (uint16_t)((val >> 32) & 0xFFFF);
540 co_status->dcs_pm_ver = (uint32_t)(val & 0xFFFFFFFF);
541}
542
543enum {
544 DAOS_PROP_ENTRY_NOT_SET = (1 << 0),
545};
546
548 struct daos_prop_entry {
550 uint32_t dpe_type;
552 uint16_t dpe_flags;
554 uint16_t dpe_reserv;
559 union {
560 uint64_t dpe_val;
561 d_string_t dpe_str;
562 void *dpe_val_ptr;
563 };
564};
565
567#define DAOS_PROP_ENTRIES_MAX_NR (128)
568
570#define DAOS_PROP_LABEL_MAX_LEN (127)
572#define DAOS_PROP_MAX_LABEL_BUF_LEN (DAOS_PROP_LABEL_MAX_LEN + 1)
573
575#define DAOS_PROP_CO_LABEL_DEFAULT "container_label_not_set"
576#define DAOS_PROP_PO_LABEL_DEFAULT "pool_label_not_set"
577
589static inline bool
590daos_label_is_valid(const char *label)
591{
592 int len;
593 int i;
594 bool maybe_uuid = false;
595
597 if (label == NULL)
598 return false;
599
601 len = strnlen(label, DAOS_PROP_LABEL_MAX_LEN + 1);
602 if (len == 0 || len > DAOS_PROP_LABEL_MAX_LEN)
603 return false;
604
606 for (i = 0; i < len; i++) {
607 char c = label[i];
608
609 if (isalnum(c) || c == '.' || c == '_' || c == ':')
610 continue;
611 if (c == '-') {
612 maybe_uuid = true;
613 continue;
614 }
615
616 return false;
617 }
618
620 if (maybe_uuid && daos_is_valid_uuid_string(label, UUID_SST_NONE))
621 return false;
622
623 return true;
624}
625
626/* default data threshold size of 4KiB */
627#define DAOS_PROP_PO_DATA_THRESH_DEFAULT (1UL << 12)
628
629/* For the case of no label is set for the pool. */
630#define DAOS_PROP_NO_PO_LABEL "pool_label_not_set"
631
632/* Default container label */
633#define DEFAULT_CONT_LABEL "container_label_not_set"
634
635/* For the case of no label is set for the container. */
636#define DAOS_PROP_NO_CO_LABEL DEFAULT_CONT_LABEL
637
642static inline bool
643daos_perf_domain_is_valid(const char *perf_domain)
644{
645 return daos_label_is_valid(perf_domain);
646}
647
649 typedef struct {
651 uint32_t dpp_nr;
653 uint32_t dpp_reserv;
655 struct daos_prop_entry *dpp_entries;
656} daos_prop_t;
657
665 daos_prop_t *
666daos_prop_alloc(uint32_t entries_nr);
667
673void
674daos_prop_fini(daos_prop_t *prop);
675
681void
682daos_prop_free(daos_prop_t *prop);
683
697int
698daos_prop_from_str(const char *str, daos_size_t len, daos_prop_t **prop);
699
710int
711daos_prop_merge2(daos_prop_t *old_prop, daos_prop_t *new_prop, daos_prop_t **out_prop);
712
721 daos_prop_t *
722daos_prop_merge(daos_prop_t *old_prop, daos_prop_t *new_prop);
723
732struct daos_prop_entry *
733daos_prop_entry_get(daos_prop_t *prop, uint32_t type);
734
747int
748daos_prop_set_str(daos_prop_t *prop, uint32_t type, const char *str, daos_size_t len);
749
758int
759daos_prop_entry_set_str(struct daos_prop_entry *entry, const char *str, daos_size_t len);
760
773int
774daos_prop_set_ptr(daos_prop_t *prop, uint32_t type, const void *ptr, daos_size_t size);
775
784int
785daos_prop_entry_set_ptr(struct daos_prop_entry *entry, const void *ptr, daos_size_t size);
786
798int
799daos_prop_entry_dup_ptr(struct daos_prop_entry *entry_dst,
800 struct daos_prop_entry *entry_src, size_t len);
801
811int
812daos_prop_entry_cmp_acl(struct daos_prop_entry *entry1,
813 struct daos_prop_entry *entry2);
814
825int
826daos_prop_entry_dup_co_roots(struct daos_prop_entry *dst,
827 struct daos_prop_entry *src);
828
837bool
838daos_prop_has_str(struct daos_prop_entry *entry);
839
848bool
849daos_prop_has_ptr(struct daos_prop_entry *entry);
850
859static inline bool
860daos_prop_is_set(struct daos_prop_entry *entry)
861{
862 if (entry->dpe_flags & DAOS_PROP_ENTRY_NOT_SET)
863 return false;
864
865 return true;
866}
867
868#if defined(__cplusplus)
869}
870#endif
871
872#endif /* __DAOS_PROP_H__ */
daos_co_status
Definition daos_prop.h:513
daos_co_status::dcs_status
uint16_t dcs_status
Definition daos_prop.h:515
daos_co_status::dcs_flags
uint16_t dcs_flags
Definition daos_prop.h:517
daos_co_status::dcs_pm_ver
uint32_t dcs_pm_ver
Definition daos_prop.h:519
daos_obj_id_t
Definition daos_types.h:231
daos_prop_co_roots
Definition daos_prop.h:394
daos_prop_co_roots::cr_oids
daos_obj_id_t cr_oids[4]
Definition daos_prop.h:396
daos_prop_entry
Definition daos_prop.h:548
daos_prop_entry::dpe_flags
uint16_t dpe_flags
Definition daos_prop.h:552
daos_prop_entry::dpe_reserv
uint16_t dpe_reserv
Definition daos_prop.h:554
daos_prop_entry::dpe_type
uint32_t dpe_type
Definition daos_prop.h:550
daos_prop_t
Definition daos_prop.h:649
daos_prop_t::dpp_entries
struct daos_prop_entry * dpp_entries
Definition daos_prop.h:655
daos_prop_t::dpp_reserv
uint32_t dpp_reserv
Definition daos_prop.h:653
daos_prop_t::dpp_nr
uint32_t dpp_nr
Definition daos_prop.h:651