Libc Heap

Tip

Вивчайте та практикуйте AWS Hacking:HackTricks Training AWS Red Team Expert (ARTE)
Вивчайте та практикуйте GCP Hacking: HackTricks Training GCP Red Team Expert (GRTE) Вивчайте та практикуйте Azure Hacking: HackTricks Training Azure Red Team Expert (AzRTE)

Підтримайте HackTricks

• Перевірте плани підписки!
• Приєднуйтесь до 💬 групи Discord або групи telegram або слідкуйте за нами в Twitter 🐦 @hacktricks_live.
• Діліться хакерськими трюками, надсилаючи PR до HackTricks та HackTricks Cloud репозиторіїв на github.

Основи Heap

The heap is basically the place where a program is going to be able to store data when it requests data calling functions like malloc, calloc… Moreover, when this memory is no longer needed it’s made available calling the function free.

As it’s shown, its just after where the binary is being loaded in memory (check the [heap] section):

Базове виділення чанків

When some data is requested to be stored in the heap, some space of the heap is allocated to it. This space will belong to a bin and only the requested data + the space of the bin headers + minimum bin size offset will be reserved for the chunk. The goal is to just reserve as minimum memory as possible without making it complicated to find where each chunk is. For this, the metadata chunk information is used to know where each used/free chunk is.

There are different ways to reserver the space mainly depending on the used bin, but a general methodology is the following:

• The program starts by requesting certain amount of memory.
• If in the list of chunks there someone available big enough to fulfil the request, it’ll be used
• This might even mean that part of the available chunk will be used for this request and the rest will be added to the chunks list
• If there isn’t any available chunk in the list but there is still space in allocated heap memory, the heap manager creates a new chunk
• If there is not enough heap space to allocate the new chunk, the heap manager asks the kernel to expand the memory allocated to the heap and then use this memory to generate the new chunk
• If everything fails, malloc returns null.

Note that if the requested memory passes a threshold, mmap will be used to map the requested memory.

Arenas

In багатопотокових applications, the heap manager must prevent умови гонки that could lead to crashes. Initially, this was done using a глобальний mutex to ensure that only one thread could access the heap at a time, but this caused проблеми з продуктивністю due to the mutex-induced bottleneck.

To address this, the ptmalloc2 heap allocator introduced “arenas,” where each arena acts as a separate heap with its own data structures and mutex, allowing multiple threads to perform heap operations without interfering with each other, as long as they use different arenas.

The default “main” arena handles heap operations for single-threaded applications. When new threads are added, the heap manager assigns them secondary arenas to reduce contention. It first attempts to attach each new thread to an unused arena, creating new ones if needed, up to a limit of 2 times the number of CPU cores for 32-bit systems and 8 times for 64-bit systems. Once the limit is reached, threads must share arenas, leading to potential contention.

Unlike the main arena, which expands using the brk system call, secondary arenas create “subheaps” using mmap and mprotect to simulate the heap behaviour, allowing flexibility in managing memory for multithreaded operations.

Subheaps

Subheaps serve as memory reserves for secondary arenas in multithreaded applications, allowing them to grow and manage their own heap regions separately from the main heap. Here’s how subheaps differ from the initial heap and how they operate:

1. Початковий heap vs. Subheaps:

• The initial heap is located directly after the program’s binary in memory, and it expands using the sbrk system call.
• Subheaps, used by secondary arenas, are created through mmap, a system call that maps a specified memory region.

2. Резервування пам’яті з mmap:

• When the heap manager creates a subheap, it reserves a large block of memory through mmap. This reservation doesn’t allocate memory immediately; it simply designates a region that other system processes or allocations shouldn’t use.
• By default, the reserved size for a subheap is 1 MB for 32-bit processes and 64 MB for 64-bit processes.

3. Поступове розширення з mprotect:

• The reserved memory region is initially marked as PROT_NONE, indicating that the kernel doesn’t need to allocate physical memory to this space yet.
• To “grow” the subheap, the heap manager uses mprotect to change page permissions from PROT_NONE to PROT_READ | PROT_WRITE, prompting the kernel to allocate physical memory to the previously reserved addresses. This step-by-step approach allows the subheap to expand as needed.
• Once the entire subheap is exhausted, the heap manager creates a new subheap to continue allocation.

heap_info

This struct allocates relevant information of the heap. Moreover, heap memory might not be continuous after more allocations, this struct will also store that info.

// From https://github.com/bminor/glibc/blob/a07e000e82cb71238259e674529c37c12dc7d423/malloc/arena.c#L837

typedef struct _heap_info
{
mstate ar_ptr; /* Arena for this heap. */
struct _heap_info *prev; /* Previous heap. */
size_t size;   /* Current size in bytes. */
size_t mprotect_size; /* Size in bytes that has been mprotected
PROT_READ|PROT_WRITE.  */
size_t pagesize; /* Page size used when allocating the arena.  */
/* Make sure the following data is properly aligned, particularly
that sizeof (heap_info) + 2 * SIZE_SZ is a multiple of
MALLOC_ALIGNMENT. */
char pad[-3 * SIZE_SZ & MALLOC_ALIGN_MASK];
} heap_info;

malloc_state

Кожен heap (main arena або арени інших потоків) має malloc_state структуру.
Важливо зауважити, що структура main arena malloc_state є глобальною змінною в libc (тому розташована в адресному просторі пам’яті libc).
У випадку структур malloc_state для heap-ів потоків, вони розташовані всередині власного “heap” потоку.

Є кілька цікавих моментів у цій структурі (див. C код нижче):

• __libc_lock_define (, mutex); Використовується, щоб гарантувати, що до цієї структури з heap звертається лише 1 потік одночасно

• Прапори:

#define NONCONTIGUOUS_BIT (2U)

#define contiguous(M) (((M)->flags & NONCONTIGUOUS_BIT) == 0) #define noncontiguous(M) (((M)->flags & NONCONTIGUOUS_BIT) != 0) #define set_noncontiguous(M) ((M)->flags |= NONCONTIGUOUS_BIT) #define set_contiguous(M) ((M)->flags &= ~NONCONTIGUOUS_BIT)

- `mchunkptr bins[NBINS * 2 - 2];` містить **pointers** до **first and last chunks** для small, large та unsorted **bins** (ці -2 через те, що індекс 0 не використовується)
- Тому **first chunk** з цих bins матиме **backwards pointer to this structure**, а **last chunk** з цих bins матиме **forward pointer** до цієї структури. Це фактично означає, що якщо ви зможете l**eak these addresses in the main arena** ви отримаєте вказівник на структуру в **libc**.
- Структури `struct malloc_state *next;` та `struct malloc_state *next_free;` — це зв'язані списки арени
- `top` chunk — це останній "chunk", який по суті містить **весь залишковий простір heap**. Коли top chunk "empty", heap повністю використано і необхідно запросити більше простору.
- `last reminder` chunk виникає в випадках, коли точний розмір chunk недоступний і тому більший chunk розділяється, а вказівник на залишену частину розміщується тут.
```c
// From https://github.com/bminor/glibc/blob/a07e000e82cb71238259e674529c37c12dc7d423/malloc/malloc.c#L1812

struct malloc_state
{
/* Serialize access.  */
__libc_lock_define (, mutex);

/* Flags (formerly in max_fast).  */
int flags;

/* Set if the fastbin chunks contain recently inserted free blocks.  */
/* Note this is a bool but not all targets support atomics on booleans.  */
int have_fastchunks;

/* Fastbins */
mfastbinptr fastbinsY[NFASTBINS];

/* Base of the topmost chunk -- not otherwise kept in a bin */
mchunkptr top;

/* The remainder from the most recent split of a small request */
mchunkptr last_remainder;

/* Normal bins packed as described above */
mchunkptr bins[NBINS * 2 - 2];

/* Bitmap of bins */
unsigned int binmap[BINMAPSIZE];

/* Linked list */
struct malloc_state *next;

/* Linked list for free arenas.  Access to this field is serialized
by free_list_lock in arena.c.  */
struct malloc_state *next_free;

/* Number of threads attached to this arena.  0 if the arena is on
the free list.  Access to this field is serialized by
free_list_lock in arena.c.  */
INTERNAL_SIZE_T attached_threads;

/* Memory allocated from the system in this arena.  */
INTERNAL_SIZE_T system_mem;
INTERNAL_SIZE_T max_system_mem;
};

malloc_chunk

Ця структура представляє певний блок пам’яті. Різні поля мають різне значення для виділених та невиділених блоків.

// https://github.com/bminor/glibc/blob/master/malloc/malloc.c
struct malloc_chunk {
INTERNAL_SIZE_T      mchunk_prev_size;  /* Size of previous chunk, if it is free. */
INTERNAL_SIZE_T      mchunk_size;       /* Size in bytes, including overhead. */
struct malloc_chunk* fd;                /* double links -- used only if this chunk is free. */
struct malloc_chunk* bk;
/* Only used for large blocks: pointer to next larger size.  */
struct malloc_chunk* fd_nextsize; /* double links -- used only if this chunk is free. */
struct malloc_chunk* bk_nextsize;
};

typedef struct malloc_chunk* mchunkptr;

Як уже згадувалося раніше, ці chunks також мають деякі метадані, дуже добре представлені на цьому зображенні:

Метадані зазвичай 0x08B, що вказує поточний розмір chunk, використовуючи останні 3 біти для позначення:

• A: Якщо 1 — він походить із subheap, якщо 0 — у main arena
• M: Якщо 1 — цей chunk є частиною простору, виділеного через mmap і не є частиною heap
• P: Якщо 1 — попередній chunk у використанні

Далі — простір для user data, і нарешті 0x08B, що позначає розмір попереднього chunk, коли chunk доступний (або для зберігання user data, коли він виділений).

Більше того, коли він доступний, user data також використовується для зберігання деяких даних:

• fd: Вказівник на наступний chunk
• bk: Вказівник на попередній chunk
• fd_nextsize: Вказівник на перший chunk у списку, який менший за нього
• bk_nextsize: Вказівник на перший chunk у списку, який більший за нього

Tip

Зверніть увагу, як зв’язування списку таким чином усуває потребу мати масив, де кожен окремий chunk реєструється.

Вказівники chunk

Коли використовується malloc, повертається вказівник на вміст, в який можна записувати (безпосередньо після заголовків), проте при керуванні chunks потрібен вказівник на початок заголовків (metadata).
Для цих перетворень використовуються такі функції:

// https://github.com/bminor/glibc/blob/master/malloc/malloc.c

/* Convert a chunk address to a user mem pointer without correcting the tag.  */
#define chunk2mem(p) ((void*)((char*)(p) + CHUNK_HDR_SZ))

/* Convert a user mem pointer to a chunk address and extract the right tag.  */
#define mem2chunk(mem) ((mchunkptr)tag_at (((char*)(mem) - CHUNK_HDR_SZ)))

/* The smallest possible chunk */
#define MIN_CHUNK_SIZE        (offsetof(struct malloc_chunk, fd_nextsize))

/* The smallest size we can malloc is an aligned minimal chunk */

#define MINSIZE  \
(unsigned long)(((MIN_CHUNK_SIZE+MALLOC_ALIGN_MASK) & ~MALLOC_ALIGN_MASK))

Вирівнювання та мінімальний розмір

Вказівник на chunk і 0x0f повинні бути 0.

// From https://github.com/bminor/glibc/blob/a07e000e82cb71238259e674529c37c12dc7d423/sysdeps/generic/malloc-size.h#L61
#define MALLOC_ALIGN_MASK (MALLOC_ALIGNMENT - 1)

// https://github.com/bminor/glibc/blob/a07e000e82cb71238259e674529c37c12dc7d423/sysdeps/i386/malloc-alignment.h
#define MALLOC_ALIGNMENT 16


// https://github.com/bminor/glibc/blob/master/malloc/malloc.c
/* Check if m has acceptable alignment */
#define aligned_OK(m)  (((unsigned long)(m) & MALLOC_ALIGN_MASK) == 0)

#define misaligned_chunk(p) \
((uintptr_t)(MALLOC_ALIGNMENT == CHUNK_HDR_SZ ? (p) : chunk2mem (p)) \
& MALLOC_ALIGN_MASK)


/* pad request bytes into a usable size -- internal version */
/* Note: This must be a macro that evaluates to a compile time constant
if passed a literal constant.  */
#define request2size(req)                                         \
(((req) + SIZE_SZ + MALLOC_ALIGN_MASK < MINSIZE)  ?             \
MINSIZE :                                                      \
((req) + SIZE_SZ + MALLOC_ALIGN_MASK) & ~MALLOC_ALIGN_MASK)

/* Check if REQ overflows when padded and aligned and if the resulting
value is less than PTRDIFF_T.  Returns the requested size or
MINSIZE in case the value is less than MINSIZE, or 0 if any of the
previous checks fail.  */
static inline size_t
checked_request2size (size_t req) __nonnull (1)
{
if (__glibc_unlikely (req > PTRDIFF_MAX))
return 0;

/* When using tagged memory, we cannot share the end of the user
block with the header for the next chunk, so ensure that we
allocate blocks that are rounded up to the granule size.  Take
care not to overflow from close to MAX_SIZE_T to a small
number.  Ideally, this would be part of request2size(), but that
must be a macro that produces a compile time constant if passed
a constant literal.  */
if (__glibc_unlikely (mtag_enabled))
{
/* Ensure this is not evaluated if !mtag_enabled, see gcc PR 99551.  */
asm ("");

req = (req + (__MTAG_GRANULE_SIZE - 1)) &
~(size_t)(__MTAG_GRANULE_SIZE - 1);
}

return request2size (req);
}

Зверніть увагу, що при обчисленні загального необхідного простору SIZE_SZ додається лише один раз, оскільки поле prev_size може використовуватися для зберігання даних, тому потрібен лише початковий заголовок.

Отримання даних Chunk і зміна metadata

Ці функції працюють, отримуючи вказівник на Chunk і корисні для перевірки/встановлення metadata:

• Перевірити chunk flags

// From https://github.com/bminor/glibc/blob/master/malloc/malloc.c


/* size field is or'ed with PREV_INUSE when previous adjacent chunk in use */
#define PREV_INUSE 0x1

/* extract inuse bit of previous chunk */
#define prev_inuse(p)       ((p)->mchunk_size & PREV_INUSE)


/* size field is or'ed with IS_MMAPPED if the chunk was obtained with mmap() */
#define IS_MMAPPED 0x2

/* check for mmap()'ed chunk */
#define chunk_is_mmapped(p) ((p)->mchunk_size & IS_MMAPPED)


/* size field is or'ed with NON_MAIN_ARENA if the chunk was obtained
from a non-main arena.  This is only set immediately before handing
the chunk to the user, if necessary.  */
#define NON_MAIN_ARENA 0x4

/* Check for chunk from main arena.  */
#define chunk_main_arena(p) (((p)->mchunk_size & NON_MAIN_ARENA) == 0)

/* Mark a chunk as not being on the main arena.  */
#define set_non_main_arena(p) ((p)->mchunk_size |= NON_MAIN_ARENA)

• Розміри та вказівники на інші блоки

/*
Bits to mask off when extracting size

Note: IS_MMAPPED is intentionally not masked off from size field in
macros for which mmapped chunks should never be seen. This should
cause helpful core dumps to occur if it is tried by accident by
people extending or adapting this malloc.
*/
#define SIZE_BITS (PREV_INUSE | IS_MMAPPED | NON_MAIN_ARENA)

/* Get size, ignoring use bits */
#define chunksize(p) (chunksize_nomask (p) & ~(SIZE_BITS))

/* Like chunksize, but do not mask SIZE_BITS.  */
#define chunksize_nomask(p)         ((p)->mchunk_size)

/* Ptr to next physical malloc_chunk. */
#define next_chunk(p) ((mchunkptr) (((char *) (p)) + chunksize (p)))

/* Size of the chunk below P.  Only valid if !prev_inuse (P).  */
#define prev_size(p) ((p)->mchunk_prev_size)

/* Set the size of the chunk below P.  Only valid if !prev_inuse (P).  */
#define set_prev_size(p, sz) ((p)->mchunk_prev_size = (sz))

/* Ptr to previous physical malloc_chunk.  Only valid if !prev_inuse (P).  */
#define prev_chunk(p) ((mchunkptr) (((char *) (p)) - prev_size (p)))

/* Treat space at ptr + offset as a chunk */
#define chunk_at_offset(p, s)  ((mchunkptr) (((char *) (p)) + (s)))

• Insue bit

/* extract p's inuse bit */
#define inuse(p)							      \
((((mchunkptr) (((char *) (p)) + chunksize (p)))->mchunk_size) & PREV_INUSE)

/* set/clear chunk as being inuse without otherwise disturbing */
#define set_inuse(p)							      \
((mchunkptr) (((char *) (p)) + chunksize (p)))->mchunk_size |= PREV_INUSE

#define clear_inuse(p)							      \
((mchunkptr) (((char *) (p)) + chunksize (p)))->mchunk_size &= ~(PREV_INUSE)


/* check/set/clear inuse bits in known places */
#define inuse_bit_at_offset(p, s)					      \
(((mchunkptr) (((char *) (p)) + (s)))->mchunk_size & PREV_INUSE)

#define set_inuse_bit_at_offset(p, s)					      \
(((mchunkptr) (((char *) (p)) + (s)))->mchunk_size |= PREV_INUSE)

#define clear_inuse_bit_at_offset(p, s)					      \
(((mchunkptr) (((char *) (p)) + (s)))->mchunk_size &= ~(PREV_INUSE))

• Встановити head і footer (коли chunk nos використовуються

/* Set size at head, without disturbing its use bit */
#define set_head_size(p, s)  ((p)->mchunk_size = (((p)->mchunk_size & SIZE_BITS) | (s)))

/* Set size/use field */
#define set_head(p, s)       ((p)->mchunk_size = (s))

/* Set size at footer (only when chunk is not in use) */
#define set_foot(p, s)       (((mchunkptr) ((char *) (p) + (s)))->mchunk_prev_size = (s))

• Отримати розмір фактично доступних даних всередині chunk

#pragma GCC poison mchunk_size
#pragma GCC poison mchunk_prev_size

/* This is the size of the real usable data in the chunk.  Not valid for
dumped heap chunks.  */
#define memsize(p)                                                    \
(__MTAG_GRANULE_SIZE > SIZE_SZ && __glibc_unlikely (mtag_enabled) ? \
chunksize (p) - CHUNK_HDR_SZ :                                    \
chunksize (p) - CHUNK_HDR_SZ + (chunk_is_mmapped (p) ? 0 : SIZE_SZ))

/* If memory tagging is enabled the layout changes to accommodate the granule
size, this is wasteful for small allocations so not done by default.
Both the chunk header and user data has to be granule aligned.  */
_Static_assert (__MTAG_GRANULE_SIZE <= CHUNK_HDR_SZ,
"memory tagging is not supported with large granule.");

static __always_inline void *
tag_new_usable (void *ptr)
{
if (__glibc_unlikely (mtag_enabled) && ptr)
{
mchunkptr cp = mem2chunk(ptr);
ptr = __libc_mtag_tag_region (__libc_mtag_new_tag (ptr), memsize (cp));
}
return ptr;
}

Приклади

Швидкий Heap приклад

Швидкий heap приклад з https://guyinatuxedo.github.io/25-heap/index.html але для arm64:

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

void main(void)
{
char *ptr;
ptr = malloc(0x10);
strcpy(ptr, "panda");
}

Встановіть точку зупину в кінці функції main і дізнаємось, де було збережено інформацію:

Можна побачити, що рядок panda був збережений за 0xaaaaaaac12a0 (що й була адреса, повернута malloc у x0). Перейшовши на 0x10 байтів назад, можна помітити, що 0x0 означає, що попередній chunk не використовується (довжина 0), а довжина цього chunk — 0x21.

Додаткові зарезервовані байти (0x21-0x10=0x11) походять від доданих headers (0x10), і 0x1 не означає, що було зарезервовано 0x21B — це означає, що останні 3 біти поля довжини поточного header мають спеціальні значення. Оскільки довжина завжди вирівняна за 16 байтів (на 64-бітних машинах), ці біти фактично ніколи не використовуються у числовому значенні довжини.

0x1:     Previous in Use     - Specifies that the chunk before it in memory is in use
0x2:     Is MMAPPED          - Specifies that the chunk was obtained with mmap()
0x4:     Non Main Arena      - Specifies that the chunk was obtained from outside of the main arena

Приклад багатонитевості

</details>

Налагоджуючи попередній приклад, можна побачити, як на початку є лише 1 arena:

<figure><img src="../../images/image (1) (1) (1) (1) (1) (1) (1) (1) (1).png" alt=""><figcaption></figcaption></figure>

Потім, після виклику першого thread, того, що викликає malloc, створюється новий arena:

<figure><img src="../../images/image (1) (1) (1) (1) (1) (1) (1) (1) (1) (1).png" alt=""><figcaption></figcaption></figure>

і всередині нього можна знайти кілька chunks:

<figure><img src="../../images/image (2) (1) (1) (1) (1) (1).png" alt=""><figcaption></figcaption></figure>

## Bins та виділення/звільнення пам'яті

Перевірте, які існують bins, як вони організовані та як відбувається виділення і звільнення пам'яті в:

<a class="content_ref" href="bins-and-memory-allocations.md"><span class="content_ref_label">Bins & Memory Allocations</span></a>

## Перевірки безпеки Heap-функцій

Функції, що працюють з heap, виконують певні перевірки перед діями, щоб переконатися, що heap не був пошкоджений:

<a class="content_ref" href="heap-memory-functions/heap-functions-security-checks.md"><span class="content_ref_label">Heap Functions Security Checks</span></a>

## Примітки з експлуатації musl mallocng (Alpine)

- **Slab group/slot grooming for huge linear copies:** mallocng sizeclasses використовують mmap()'d групи, слоти яких повністю `munmap()`'д, коли вони порожні. Для довгих лінійних копій (~0x15555555 bytes) тримайте span mapped (уникайте дірок від released groups) і розміщуйте victim allocation поруч із source slot.
- **Cycling offset mitigation:** При повторному використанні слотів mallocng може просунути початок user-data на кратні `UNIT` (0x10), коли slack вміщає додатковий 4-байтний заголовок. Це зсуває overwrite offsets (наприклад, LSB pointer hits), якщо ви не контролюєте reuse counts або не дотримуєтеся stride без slack (наприклад, Lua `Table` objects при stride 0x50 показують offset 0). Перевіряйте offsets за допомогою muslheap’s `mchunkinfo`:
```gdb
pwndbg> mchunkinfo 0x7ffff7a94e40
... stride: 0x140
... cycling offset : 0x1 (userdata --> 0x7ffff7a94e40)