TVM Object类型系统

2024-04-10 23:44
文章标签 类型 系统 object tvm

本文主要是介绍TVM Object类型系统，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在TVM Object类型系统中最重要的是三个类：Object、ObjectPtr、ObjectRef

为什么需要这三个类？

设计目的：为了能够在不更改python前端的情况下扩展c++中的语言对象，且能够对任何语言对象序列化。

  • Object：编译器中所有的语言对象（命名一般以Node结尾）都是Object的子类，Object的子类保存了一般保存了数据成员变量
  • ObjectPtr：Object的子定义智能指针，用于进行内存管理
  • ObjectRef：Object的引用，ObjectRef的子类一般包含操作Object类的函数

代码实现

class TVM_DLL Object {protected:uint32_t type_index_{0};RefCounterType ref_counter_{0};FDeleter deleter_ = nullptr;inline void IncRef(); // 增加引用计数inline void DecRef(); // 减少引用计数private:inline int use_count() const; // 返回引用计数
};template <typename T>
class ObjectPtr {public:// 默认构造函数ObjectPtr() {}ObjectPtr(std::nullptr_t) {}// 拷贝构造，会调用构造函数从而增加引用数ObjectPtr(const ObjectPtr<T>& other) : ObjectPtr(other.data_) {}template <typename U>ObjectPtr(const ObjectPtr<U>& other) : ObjectPtr(other.data_) {static_assert(std::is_base_of<T, U>::value,"can only assign of child class ObjectPtr to parent");}// 移动构造函数，不调用构造函数，引用数不变ObjectPtr(ObjectPtr<T>&& other) : data_(other.data_) { other.data_ = nullptr; }template <typename Y>ObjectPtr(ObjectPtr<Y>&& other) : data_(other.data_) {static_assert(std::is_base_of<T, Y>::value, "can only assign of child class ObjectPtr to parent");other.data_ = nullptr;}// 析构函数~ObjectPtr() {if (data_ != nullptr) {data_->DecRef();data_ = nullptr;}// 使用计数int use_count() const { return data_ != nullptr ? data_->use_count() : 0; }// 访问成员变量T* get() const { return static_cast<T*>(data_); }T* operator->() const { return get(); }T& operator*() const { return *get(); }private:Object* data_{nullptr};// 构造函数，explicit意味着参数不能进行隐式转换explicit ObjectPtr(Object* data) : data_(data) {if (data != nullptr) {data_->IncRef();}}
};class ObjectRef {public:const Object* get() const { return data_.get(); }const Object* operator->() const { return get(); }using ContainerType = Object;protected:ObjectPtr<Object> data_;
};

ObjectPtr类中有Object*类型的data_成员变量，可以通过->操作符和get()函数返回Object*指针。
ObjectRef类中有ObjectPtr<Object>类型的data_成员变量，也可以通过->操作符和get()函数返回Object*指针（调用了data_成员变量的get()函数）。

我们以StringObj、String类为例来展示功能：

class StringObj : public Object {public:const char* data;uint64_t size;static constexpr const uint32_t _type_index = TypeIndex::kRuntimeString;static constexpr const char* _type_key = "runtime.String";TVM_DECLARE_FINAL_OBJECT_INFO(StringObj, Object);private:class FromStd; // 内部类，用于从std::string初始化data和size
};class StringObj::FromStd : public StringObj {public:explicit FromStd(std::string other) : data_container{other} {}private:std::string data_container;
};class String : public ObjectRef {public:String() : String(std::string()) {}String(std::string other);String(const char* other): String(std::string(other)) {}String(std::nullptr_t): ObjectRef(nullptr) {}const char* c_str() const { return get()->data; }const char* data() const { return get()->data; }// 类型转换运算符重载operator std::string() const { return std::string{get()->data, size()}; }size_t size() const {const auto* ptr = get();return ptr->size;}size_t length() const { return size(); }bool empty() const { return size() == 0; }char at(size_t pos) const {...}TVM_DEFINE_NOTNULLABLE_OBJECT_REF_METHODS(String, ObjectRef, StringObj);
};

StringObj类中定义了字符串的首字符的指针和字符串的长度，定义了类型键和类型索引，并使用了TVM_DECLARE_FINAL_OBJECT_INFO宏，定义如下：

#define TVM_DECLARE_FINAL_OBJECT_INFO(TypeName, ParentType) \static const constexpr bool _type_final = true;           \static const constexpr int _type_child_slots = 0;         \TVM_DECLARE_BASE_OBJECT_INFO(TypeName, ParentType)#define TVM_DECLARE_BASE_OBJECT_INFO(TypeName, ParentType)                                     \static_assert(!ParentType::_type_final, "ParentObj marked as final");                        \static uint32_t RuntimeTypeIndex() {                                                         \static_assert(TypeName::_type_child_slots == 0 || ParentType::_type_child_slots == 0 ||    \TypeName::_type_child_slots < ParentType::_type_child_slots,             \"Need to set _type_child_slots when parent specifies it.");                  \if (TypeName::_type_index != ::tvm::runtime::TypeIndex::kDynamic) {                        \return TypeName::_type_index;                                                            \}                                                                                          \return _GetOrAllocRuntimeTypeIndex();                                                      \}                                                                                            \static uint32_t _GetOrAllocRuntimeTypeIndex() {                                              \static uint32_t tindex = Object::GetOrAllocRuntimeTypeIndex(                               \TypeName::_type_key, TypeName::_type_index, ParentType::_GetOrAllocRuntimeTypeIndex(), \TypeName::_type_child_slots, TypeName::_type_child_slots_can_overflow);                \return tindex;                                                                             \}

TVM_DECLARE_BASE_OBJECT_INFO宏定义了两个静态变量以及两个静态函数，RuntimeTypeIndex()用于获取运行时类型索引，在StringObj构造时type_index_成员变量的值通过该函数得到。

tvm::runtime::String类中定义了对StringObj进行操作的函数，如size()，并使用了TVM_DEFINE_NOTNULLABLE_OBJECT_REF_METHODS宏，定义如下：

#define TVM_DEFINE_NOTNULLABLE_OBJECT_REF_METHODS(TypeName, ParentType, ObjectName)            \explicit TypeName(::tvm::runtime::ObjectPtr<::tvm::runtime::Object> n) : ParentType(n) {}    \TVM_DEFINE_DEFAULT_COPY_MOVE_AND_ASSIGN(TypeName);                                           \const ObjectName* operator->() const { return static_cast<const ObjectName*>(data_.get()); } \const ObjectName* get() const { return operator->(); }                                       \static constexpr bool _type_is_nullable = false;                                             \using ContainerType = ObjectName;

TVM_DEFINE_NOTNULLABLE_OBJECT_REF_METHODS宏定义了一个构造函数，重载了->运算符和get()函数（返回值类型不再是Object*而是StringObj*），标记该类型是不可为空的，定义了容器类型。

构造过程

构造函数String(std::string other);的实现如下：

inline String::String(std::string other) {auto ptr = make_object<StringObj::FromStd>(std::move(other));ptr->size = ptr->data_container.size();ptr->data = ptr->data_container.data();data_ = std::move(ptr);
}

可以看到在构造tvm::runtime::String时，首先使用分配器由std::string参数创建一个ObjectPtr<StringObj::FromStd>类型的对象。分配器创建完成后将StringObj::FromStd的data_container的size和data直接赋值给StringObj的size和data，然后将ptr移动到tvm::runtime::String的data_。


// include/tvm/runtime/memory.h
template <typename T, typename... Args>
inline ObjectPtr<T> make_object(Args&&... args) {return SimpleObjAllocator().make_object<T>(std::forward<Args>(args)...);
}template <typename Derived>
class ObjAllocatorBase {public:template <typename T, typename... Args>inline ObjectPtr<T> make_object(Args&&... args) {using Handler = typename Derived::template Handler<T>;static_assert(std::is_base_of<Object, T>::value, "make can only be used to create Object");T* ptr = Handler::New(static_cast<Derived*>(this), std::forward<Args>(args)...);ptr->type_index_ = T::RuntimeTypeIndex();ptr->deleter_ = Handler::Deleter();return ObjectPtr<T>(ptr);}
}

使用分配器创建时把std::string移动到了data_container中，这时调用了StringObj的构造函数，然后设置了StringObj的type_index_和deleter_，最后构造（通过ObjectPtr(Object* data)）并返回了ObjectPtr，在构造时增加了Object的引用数。

总结

构造ObjectRef的过程中对Object进行了构造，主要使用Object保存数据，ObjectPtr用于内存管理，ObjectRef表示引用并对数据进行操作。

这篇关于TVM Object类型系统的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/892486。

相关文章

Python中Json和其他类型相互转换的实现示例

Python中Json和其他类型相互转换的实现示例

《Python中Json和其他类型相互转换的实现示例》本文介绍了在Python中使用json模块实现json数据与dict、object之间的高效转换,包括loads(),load(),dumps()... 项目中经常会用到json格式转为object对象、dict字典格式等。在此做个记录，方便后续用到该方
阅读更多...
JWT + 拦截器实现无状态登录系统

JWT + 拦截器实现无状态登录系统

《JWT+拦截器实现无状态登录系统》JWT（JSONWebToken）提供了一种无状态的解决方案：用户登录后,服务器返回一个Token,后续请求携带该Token即可完成身份验证,无需服务器存储会话... 目录✅ 引言 一、JWT 是什么？ 二、技术选型 三、项目结构 四、核心代码实现4.1 添加依赖（pom
阅读更多...
基于Python实现自动化邮件发送系统的完整指南

基于Python实现自动化邮件发送系统的完整指南

《基于Python实现自动化邮件发送系统的完整指南》在现代软件开发和自动化流程中,邮件通知是一个常见且实用的功能,无论是用于发送报告、告警信息还是用户提醒,通过Python实现自动化的邮件发送功能都能... 目录一、前言：二、项目概述三、配置文件 `.env` 解析四、代码结构解析1. 导入模块2. 加载环
阅读更多...
linux系统上安装JDK8全过程

linux系统上安装JDK8全过程

《linux系统上安装JDK8全过程》文章介绍安装JDK的必要性及Linux下JDK8的安装步骤,包括卸载旧版本、下载解压、配置环境变量等,强调开发需JDK,运行可选JRE,现JDK已集成JRE... 目录为什么要安装jdk？1.查看linux系统是否有自带的jdk：2.下载jdk压缩包2.解压3.配置环境
阅读更多...
python中的显式声明类型参数使用方式

python中的显式声明类型参数使用方式

《python中的显式声明类型参数使用方式》文章探讨了Python3.10+版本中类型注解的使用,指出FastAPI官方示例强调显式声明参数类型,通过|操作符替代Union/Optional,可提升代... 目录背景python函数显式声明的类型汇总基本类型集合类型Optional and Union(py
阅读更多...
MySQL中查询和展示LONGBLOB类型数据的技巧总结

MySQL中查询和展示LONGBLOB类型数据的技巧总结

《MySQL中查询和展示LONGBLOB类型数据的技巧总结》在MySQL中LONGBLOB是一种二进制大对象（BLOB）数据类型,用于存储大量的二进制数据,：本文主要介绍MySQL中查询和展示LO... 目录前言1. 查询 LONGBLOB 数据的大小2. 查询并展示 LONGBLOB 数据2.1 转换为十
阅读更多...
Linux查询服务器系统版本号的多种方法

Linux查询服务器系统版本号的多种方法

《Linux查询服务器系统版本号的多种方法》在Linux系统管理和维护工作中,了解当前操作系统的版本信息是最基础也是最重要的操作之一,系统版本不仅关系到软件兼容性、安全更新策略,还直接影响到故障排查和... 目录一、引言：系统版本查询的重要性二、基础命令解析：cat /etc/Centos-release详
阅读更多...
MyBatis的xml中字符串类型判空与非字符串类型判空处理方式(最新整理)

MyBatis的xml中字符串类型判空与非字符串类型判空处理方式(最新整理)

《MyBatis的xml中字符串类型判空与非字符串类型判空处理方式(最新整理)》本文给大家介绍MyBatis的xml中字符串类型判空与非字符串类型判空处理方式,本文给大家介绍的非常详细,对大家的学习或... 目录完整 Hutool 写法版本对比优化为什么status变成Long？为什么 price 没事？怎
阅读更多...
更改linux系统的默认Python版本方式

更改linux系统的默认Python版本方式

《更改linux系统的默认Python版本方式》通过删除原Python软链接并创建指向python3.6的新链接,可切换系统默认Python版本,需注意版本冲突、环境混乱及维护问题,建议使用pyenv... 目录更改系统的默认python版本软链接软链接的特点创建软链接的命令使用场景注意事项总结更改系统的默
阅读更多...
C#之枚举类型与随机数详解

C#之枚举类型与随机数详解

《C#之枚举类型与随机数详解》文章讲解了枚举类型的定义与使用方法,包括在main外部声明枚举,用于表示游戏状态和周几状态,枚举值默认从0开始递增,也可手动设置初始值以生成随机数... 目录枚举类型1.定义枚举类型(main外)2.使用生成随机数总结枚举类型1.定义枚举类型(main外)enum 类型名字
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2